Dalam suatu riwayat diceritakan bahwa Nabi Muhammad selalu mempercepat langkahnya ketika melewati Kota Al Ula. Bahkan saat berjalan melewatinya, Nabi Muhammad tidak menoleh ke kanan atau kiri.

Selain itu, Ibnu Battutah pernah melewati kota ini dan mencatat bahwa ada rombongan karavan yang bersamanya enggan untuk berhenti di Al Ula. Keengganan untuk berhenti konon dikaitkan dengan kota tersebut yang disebut kota hantu atau kota jin yang terkutuk.
Masyarakat Arab kuno menyebut Al Ula sebagai markas jin yang harus dijauhi karena kaum Nabatean menolak meninggalkan kepercayaan mereka. Mereka disebut tidak menyembah Tuhan, tetapi menyembah dewa-dewi. Di Madain Saleh juga terdapat situs Jabal Ithlib, yang dipercaya sebagai tempat suci bagi kaum Nabatean.