Camiyle ilgili bir rivayet daha var. Buna göre, Ahmet bin Tolun, caminin sarp kayaların bulunduğu yüksek bir yere yapılmasını ister. Bunun sebebi sorulduğunda ise Tolunoğlu, "Öyle bir yere inşa etmeliyim ki Mısır`ı sel alsa da cami kuru kalsın, bütün Mısır yansa da ateş camiye dokunmasın." der.