Die Moschee von Ali befindet sich westlich der Al-Masjid an-Nabawi in der Nähe der Al-Manakhah-Straße. Wenn man in Richtung Norden von Al-Madinah Al-Munawwarah fährt, befindet sie sich auf der linken Seite und ist weniger als 400 Meter von Al-Masjid an-Nabawi entfernt. In der Nähe befindet sich auch die Moschee von Abu Bakr (möge Allah mit ihm zufrieden sein), und die Moschee von Ali befindet sich im nordwestlichen Teil der Al-Ghamamah-Moschee.
Abu Hurairah (möge Allah mit ihm zufrieden sein) berichtete, dass der Prophet (Allahs Frieden und Segen seien auf ihm) das Gebet am ersten Tag des Fitr- und Adha-Festes in Al-Madinah Al-Munawwarah im Hof von Hakeem ibn Al-Ade'a's Haus in der Nähe der Lastenträger betete, wo sie ihre Lasten herstellen und verkaufen. Die Moschee wird vermutlich nach Ali ibn Abi Talib (möge Allah mit ihm zufrieden sein) benannt, weil er das Festgebet an diesem Ort für die Menschen betete, sowie auch Uthman ibn Affan (möge Allah mit ihm zufrieden sein) während der Belagerung von Al-Madinah Al-Munawwarah, wie von Ibn Shubah berichtet wurde. Al-Samhudi berichtet, dass der Prophet (Allahs Frieden und Segen seien auf ihm) das zweite Festgebet an dem Ort der Moschee betete, die Ali ibn Abi Talib (möge Allah mit ihm zufrieden sein) zugeschrieben wird, und dass Ali (möge Allah mit ihm zufrieden sein) das Festgebet für die Menschen an dem Ort der Moschee während der Belagerung von Uthman ibn Affan (möge Allah mit ihm zufrieden sein) betete.
Die Moschee wurde während der Regierungszeit von Umar ibn Abd al-Aziz in Al-Madinah Al-Munawwarah erbaut und im Jahr 881 n. Chr. von Amir Dhiygham Al-Mansuri renoviert. Im Jahr 1269 n. Chr. wurde sie erneut renoviert, diesmal durch Sultan Abdul Majid I. aus dem Osmanischen Reich.
Die Moschee ist rechteckig und misst 35 Meter von Osten nach Westen und 9 Meter in der Breite. Sie wurde aus Basaltsteinen gebaut, und über dem Eingang befindet sich eine Tafel mit der folgenden Inschrift: Moschee Sayyiduna Ali (881 H / 1476-7 M) - dies ist das Gründungsdatum der Moschee, wie man sehen kann - und es gibt auch einige Gedichte, darunter: Die Wohltaten unseres Sultans Abdul Majid wuchsen über die Zeit ohne Gnade Die Säulen wurden erhoben, als der Schöpfer sie zeichnete Ein edler Führer, dessen Name und Werk fein sind Oh, welch ein Gebäude, das Haus der Schönheit Es übertrifft den Morgenstern in der Wohnstätte des Trägers Seine Grundlagen wurden im Laufe der Zeit gelegt Durch unseren glorreichen König, den erhabenen Herrscher der Nationen Jahr 1269 n.H."
