Al-Habib Al-Imam Al-Allamah Ali bin Muhammad bin Husin Al-Habsyi dilahirkan pada hari Jum’at 24 Syawal 1259 H di Qasam, sebuah kota di negeri Hadhramaut. Beliau dibesarkan di bawah asuhan dan pengawasan kedua orang tuanya: ayahandanya Al-Imam Al-Arif Billah Muhammad bin Husin bin Abdullah Al-Habsyi dan ibundanya As-Syarifah Alawiyyah binti Husain bin Ahmad Al-Hadi Al-Jufri, yang pada masa itu terkenal sebagai seorang wanita yang solihah yang amat bijaksana.
Pada usia yang amat muda, Habib Ali Al-Habsyi telah mempelajari dan mengkhatamkan Al-Quran dan berhasil menguasai ilmu-ilmu dzahir dan batin sebelum mencapai usia yang biasanya diperlukan untuk itu. Oleh karenanya, sejak itu beliau diizinkan oleh para guru dan pendidiknya untuk memberikan ceramah-ceramah dan pengajian-pengajian di hadapan khalayak ramai, sehingga dengan cepat sekali, beliau menjadi pusat perhatian dan kekaguman serta memperoleh tempat terhormat di hati setiap orang. Kepadanya diserahkan tampuk kepimpinan tiap majlis ilmu, lembaga pendidikan serta pertemuan-pertemuan besar yang diadakan pada masa itu.
Selanjutnya, beliau melaksanakan tugas-tugas suci yang dipercayakan padanya dengan sebaik-baiknya. Menghidupkan ilmu pengetahuan agama yang sebelumnya banyak dilupakan. Mengumpulkan, mengarahkan dan mendidik para siswa agar menuntut ilmu, di samping membangkitkan semangat mereka dalam mengejar cita-cita yang tinggi dan mulia.
Untuk menampung mereka, dibangunnya Masjid “Riyadh” di kota Seiwun (Hadhramaut), pondok-pondok dan asrama-asrama yang diperlengkapi dengan berbagai sarana untuk memenuhi keperluan mereka, termasuk soal makan-minum, sehingga mereka dapat belajar dengan tenang dan tenteram, bebas dari segala pikiran yang mengganggu, khususnya yang bersangkutan dengan keperluan hidup sehari-hari.
Bimbingan dan asuhan beliau seperti ini telah memberinya hasil kepuasan yang tak terhingga dengan menyaksikan banyak sekali di antara murid-muridnya yang berhasil mencapai apa yang dicitakannya, kemudian meneruskan serta menyiarkan ilmu yang telah mereka peroleh, bukan sahaja di daerah Hadhramaut, tetapi tersebar luas di beberapa negeri lainnya – di Afrika dan Asia, termasuk di Indonesia.
Di tempat-tempat itu, mereka mendirikan pusat-pusat dakwah dan penyiaran agama, mereka sendiri menjadi perintis dan pejuang yang gigih, sehingga mendapat tempat terhormat dan disegani di kalangan masyarakat setempat. Pertemuan-pertemuan keagamaan diadakan pada berbagai kesempatan. Lembaga-lembaga pendidikan dan majlis-majlis ilmu didirikan di banyak tempat, sehingga manfaatnya benar-benar dapat dirasakan dalam ruang lingkup yang luas sekali.
Beliau meninggal dunia di kota Seiwun, Hadhramaut, pada hari Ahad 20 Rabi’ul Akhir 1333 H dan meninggalkan beberapa orang putera yang telah memperoleh pendidikan sebaik-baiknya dari beliau sendiri, yang meneruskan cita-cita beliau dalam berdakwah dan menyiarkan agama.
Di antara putera-putera beliau yang dikenal di Indonesia ialah puteranya yang bungsu: Al-Habib Alwi bin Ali Al-Habsyi, pendiri Masjid “Riyadh” di kota Solo (Surakarta). Beliau dikenal sebagai pribadi yang amat luhur budi pekertinya, lemah-lembut, sopan-santun, serta ramah-tamah terhadap siapa pun terutama kaum yang lemah, fakir miskin, yatim piatu dan sebagainya. Rumah kediamannya selalu terbuka bagi para tamu dari berbagai golongan dan tidak pernah sepi dari pengajian dan pertemuan-pertemuan keagamaan.Beliau meninggal dunia di kota Palembang pada tanggal 20 Rabi’ul Awal 1373 H dan dimakamkan di kota Surakarta. Banyak sekali ucapan Al-Habib Ali bin Muhammad Al-Habsyi yang telah dicatat dan dibukukan, di samping tulisan-tulisannya yang berupa pesan-pesan ataupun surat-menyurat dengan para ulama di masa hidupnya, juga dengan keluarga dan sanak kerabat, kawan-kawan serta murid-murid beliau, yang semuanya itu merupakan perbendaharaan ilmu dan hikmah yang tiada habisnya.