Родился в провинции Нангархар (по другим данным - в Кабуле). Сын - наследственного суфийского пира Саида Хасана Гилани, прямой потомок жившего в 1077-1166 гг. в Ираке основателя Суфийского ордена Кидирийа Абдул Кадера Гилани, который, в свою очередь, прямой потомок имама Али и дочери пророка Мухаммада Фатимы. Считает себя пуштуном. Имеет священническое суфийское звание – пир афганского отделения ордена Кадирийа (признан после смерти старшего брата Саида Али). Владелец обширных наследственных земельных владений и состояния.

Окончил медресе Абу-Ханифа в Кабуле и шариатский факультет Кабульского университета (1960). Стажировался и повышал квалификацию как теолог в высших исламских учебных заведениях Ирака, Египта и Саудовской Аравии.
Имеет также и высшее светское образование - учился в вузах Англии и Франции.

Был близок к королю Захир Шаху.

После "саурской/апрельской " революции 1978 года поначалу лоялен новой власти, работает советником в одном из министерств (два месяца). Однако после конфискации большей части его земель и недвижимости бежит в Пакистан.

В конце 1979 года основал и возглавил "Национальный исламский фронт Афганистана" (НИФА), (штаб-квартира в Пешаваре). Один из самых умеренных в т.н. "Пешаварской семерке" первых организаций моджахедов, реальных боевых отрядов у НИФА - не много (контролиуют отдельные небольшие районы в южных провинциях - Пактия, Газни и в провинции Кабул). Однако, в полосе т.н. "свободных пуштунских племен" у него порядка 15 тысяч официально зарегистрированных мюридов.
В 1981 вошел в состав руководства, соучредитель "Исламского союза моджахеддинов Афганситана" - очередной попытки сформировать единые блок оппозиции, но сам же первым из него и вышел в том же 1981.
В 1983-85 соруководитель т.н. "Союза трех" (НИФА, ДИРА, НФСА).
С мая 1985 вновь соучредитель (первая встреча прошла в Пакистане) "Исламского союза моджахеддинов Афганистана" или т.н. "Альянса Семи" В 1986 соучредитель новой т.н. "Группы Пяти" (из объединения исключен Г.Хекматьяр и А.Р.Сайяф).
В 1988 вошел в состав сформированного в Пакистане "переходного правительства моджахедов", как председатель Верховного суда.
С апреля 1992 (после свержения Наджибуллы) - член т.н. "Руководящего совета страны", однако почти сразу рассорился с Б.Раббани и А.Ш.Масудом и отказался от всех постов.
С 1993 - последовательный сторонник созыва Всеафганской Джирги и реставрации Захир-Шаха.
В октябре 2001 г. провел в Пешаваре "Конференцию мира и спасения", которую пытался представить, как прообраз будущего пост-талибского правительства. Предлагал включить в состав нового пр-ва "умеренных талибов", что не нашло понимания у США.

Женат. Жена - Адель, правнучка афганского эмира Хабибуллы. От нее - пять детей. Сын - Хамед, официальный заместитель отца в НИФА.