Родился в г. Файзабад, провинция Бадахшан. Этнический таджик. Отец - мулла Мохаммад Юсуф.

Окончил среднюю школу в Файзабаде, медресе Дар-оль-олюме шариа (Абу-Ханифа), Кабул (1957-61), шариатский факультет Кабульского университета (1961-64). Магистр Каирского университета "Аль-Азхар" (защитил диссертацию по теме - "Научно-философские стороны творчества Джами", 1968). Стажировался 3 месяца в Анкарском университете, Турция (1969).

В 1964-66 - преподаватель шариатского факультета Кабульского университета.
В 1965 - один из организаторов фундаменталистского студенческого кружка в университете, впоследствии влившийся в организацию "Мусульманская молодежь".
С 1968 - вновь преподаватель, декан шариатского факультета.
В 1968 - организовал и неформально возглавил "Исламское общество Афганистана" - подпольную организацию фундаменталистов. В 1972 - избран и формальным лидером, став председателем совета ИОА.
В начале 1970-х - один из организаторов и участников мусульманских демонстраций и акций протеста в Кабуле, Джалалабаде и др. городах.
С 1970 - редактор журнала "Шариат".
21 июля 1975 - вместе со своими сторонниками пытался поднять антикоролевский мятех в Панджшере. Мятеж провалился, бежал в Пакистан.
С конца 1970-х отряды ИОА начали вооржуенную борьбу против НДПА. Штаб-квартира "общества" располагалась в г. Мешхед (Иран), с июля 1980 - вновь в Пакистане.
С 1985 - ИОА входит в состав объединения моджахедов "Альянс семи".
В 21 февраля 1988-89 - министр восстановления т.н. "переходного правительства" моджахедов, сформированного в Пешаваре (Пакистан).
В 1989-92 - министр иностранных дел Пешаварского правительства.
С 4 мая 1992 - председатель т.н. "Руководящего совета" в Кабуле (создан в противовес возглавляемому С.Моджаддеди "Совету джихада").
В июне 1992 года исполнительный совет моджахеддов избрал его президентом Исламского совета сроком на один год.
В декабре 1992 г. на т.н. "Совете по принятию решений"(Шурайе хал ва акд", заседал в Кабуле с декабря 1992 по январь 1993) избран президентом на два года - до 27.12.1994).
Однако он оставался на этом посту до 1996 года, то есть до того времени, когда талибы захватили Кабул. ООН и некоторые продолжали считать Раббани президентом Афганистана вплоть до 22 декабря 2001.
Сам также продолжал именовать себя президентом "Исламского государства Афганистан", проживал в Пакистане и Таджикистане.

В 2000-2001 гг. - политический лидер и - номинально - глава Северного альянса, официально называвшегося "Единый национально-исламский фронт за спасение Афганистана" (ЕНИФСА). Кроме того, он продолжал оставаться лидером ИОА- "Джамият-э-ислами", крупнейшей политической партии, входящей в альянс.
Его основная база - в провинции Бадахшан на северо-востоке Афганистана.

22 декабря 2001 в Кабуле во время торжественной церемонии официально сложил свои полномочия и передал власть новому президенту Х.Карзаю.

Депутат Парламента Афганистана.

С марта 2007 - лидер созданного умеренно-оппохиционного альянса "Национальный фррнт".

возглавлял организацию "Высший совет мира" (=2011=).

Женат. Несколько жен. Одна из них - Захира Раббани, Сыновья - Салахуддин и Джамаль.

Убит взрывом близ посольства США в Кабуле.