Bu mescid, Mescid-i Nebevî'nin batısında, Medine'nin kuzeyine doğru sol tarafta, Menâha Caddesi yakınındadır. Mescid-i Nebevî'ye uzaklığı dört yüz metreden daha fazla değildir. Mescid, Ebu Bekir Sıddık (r.a.) Mescidi yakınında olup Gamame Mescidinin kuzeybatısında yer almaktadır.
es-Semhudi, İbn Şibah ve İbn Zebale'den, Ebu Hureyre'den (Allah ondan razı olsun) rivayetle şöyle dedi: Allah'ın Resulü, Allah'ın salat ve selamı üzerine olsun, medinede ilk kıldığı Ramazan ve Kurban Bayramlarını Hakim ibn el-A'adah'ın evinin avlusunda, hamallarla (yani onları yapan ve satanlarla birlikte) bayram namazı kıldı.
İbn Şibah'ın rivayetine göre; mescidin Ali bin Ebi Talib'e (Allah ondan razı olsun) atfedilmesi Osman bin Affan -Allah ondan razı olsun- Medine'de kuşatma altındayken Hz. Ali’nin (Allah ondan razı olsun) burada bayram namazını kıldırmasından kaynaklı olabilir. es-Semhudi’ye göre mescidin Ali bin Ebi Talib'e (Allah ondan razı olsun) atfedilme sebebi Rasûlullah'ın (s.a.v.) ikinci bayram namazını bu mescitte kıldığını, Ali'nin de (Allah'tan razı olsun) Osman bin Affan'ın kuşatma günlerinde mescitte halka bayram namazı kıldırmasıdır.
Ömer bin Abdülaziz'in Medine valiliği sırasında yaptırılan cami, Hicri 881 yılında Medine valisi Zieygam el-Mansuri tarafından yenilenmiş, daha sonra da Osmanlı sultanı I. Abdülmecid tarafından hicri 1269 yılında yenilenmiştir.
Yapısı dikdörtgen planlı olup, doğudan batıya uzunluğu 35 metre, genişliği ise 9 metredir.
Bazalt taşlardan inşa edilen caminin dış surların girişinin üzerinde şu sözler yazılı olan bir levha vardır:
Hz. Ali Camii (H.881 / M 1476) - caminin yapıldığı tarihtir - ve şu dizeler yazılıdır: Sultanımız Abdulmecid'in hayır işleri, uzun zaman boyunca eksilmeden devam etmiştir. Onun kurduğu yapılar sağlam temeller üzerine kurulmuştur. Zira o, işlerinde hem isim hem de fiil olarak güzel bir yönetici idi. Onun yaptırdığı cami, Darü'l-Baha'nın içinde, güneşin parlaklığını aşan bir güzelliğe sahiptir. Bu cami için yazılan tarih, "Melikimiz Abdulmecid-i Ali'nin yüce saltanatı boyunca var olacaktır" Tarih: 1269 H.
