Сын генерала, двоюродный дядя поэта Михаила Юрьевича Лермонтова,

В возрасте 16 лет добровольно поступил в конную артиллерию фейерверкером 4-го класса. В 19 лет за отличие по службе он уже производится в первый офицерский чин - прапорщики. Продолжая служить в конной легкой артиллерии, за "отлично-ревностную службу" награждается первым военным орденом Святой Анны 3-й степени. Тогда ему было 23 года. Став подпоручиком, он в 1848 году увольняется из армии по болезни.

В 1848 г. во время восстания в Австро-Венгрии по личному прошению возвращается на службу и как офицер Генерального штаба в составе конной артиллерии принимает активное участие в боях с мятежниками. За боевое отличие производится в поручики, а в 1851 года. за отличную службу - в капитаны.
В Крымскую войну капитан Столыпин, командуя артиллерийскими батареями, находился постоянно на переднем крае сражений, как на Дунае, так и во время легендарной обороны Севастополя. За храбрость, мужество и самоотверженность при отражении первого штурма Севастополя в ночь с 10 на 11 марта 1855 года капитан Столыпин награжден золотой саблей с надписью "За храбрость".В Севастополе подружился с Л.Толстым. В 1854 г. вместе хотели издавать в Севастополе журнал для поднятия духа войска, подготовили первый номер, но военное начальство запретило издание.

С 1855 - флигель-адъютант Его Императорского Величества с переводом в лейб-гвардии конную артиллерию. За мужество и храбрость в октябре 1855 года капитан Столыпин награжден орденом Святой Анны 2-й степени, а в ноябре - чином полковника.

В сент. 1857-62 - наказаной атаман Уральского казачьего войска.

В январе 1859 году за отличие по службе Столыпин награждается чином генерал-майора с зачислением в свиту его величества. В мае 1868 года за отличие по службе Столыпин награждается чином генерал-лейтенанта с оставлением по конной артиллерии, а в июне 1869 года отзывается с военной службы, получает титул тайного советника и назначается шталмейстером двора его императорского величества.

С 1877 вновь в армии. Командовал осадными батареями под крепостью Никополь в июне 1877 года, после ее взятия - с июля по декабрь 1877 года - комендант крепости и исполняющий обязанности командующего всеми румынскими войсками на правом берегу Дуная до прибытия князя Карла Румынского. В январе 1878 года генерал Столыпин назначается комендантом города Плевно и командующим войсками в ней расположенными, а в феврале - временным военным губернатором Филиппольского округа и командующим войсками Филиппольского и Софийского округов. В июле 1878 года генерал Столыпин - командующий Бургасским отрядом, а также представитель российского командования в русско-турецкой Комиссии по выработке условий передачи России крепостей Шумлы и Варны.

В августе 1878 года генерал Столыпин назначается командующим 9-м армейским корпусом со штабом в Андрианополе, а с октября 1878 года он - генерал-губернатор Восточной Румелии и Андрианопольского Санджака, будущей территории Болгарского княжества, а затем и нового славянского государства Болгария. Столыпин также командовал всеми оставшимися войсками в Восточной Румелии и княжестве Болгарском вплоть до отправления российский войск на родину в июле 1879 года. Будучи руководителем военно-гражданского управления на этой территории, в рамках небольшого промежутка времени, отведенного Берлинским конгрессом (1 (13) июня - 1 (13) июля 1878 года), завершившимся образованием славянских государств, генерал Столыпин активно и успешно занимался государственным устройством будущей Болгарии.

8 августа 1879 года назначен Генерал-Адъютантом к его императорскому величеству с оставлением в настоящей должности и по полевой Конной Артиллерии".
В мае 1883 года генерал-лейтенант Столыпин за отличие по службе производится в генералы от артиллерии с оставлением в настоящей должности в звании генерал-адъютанта и по полевой конной артиллерии.

марта 1886 года генерал Столыпин назначается командиром Гренадерского корпуса с оставлением генерал-адъютантом и по полевой конной артиллерии. Корпус базировался в Московском военном округе. С марта 1886 по март 1892 года, генерал Столыпин пять раз назначался временно командовать войсками МВО в период отсутствия командующего.
В апреле 1889 года он назначен на весьма почетную в то время общественную должность - членом Александровского комитета о раненых.
В марте 1892 года генерал Столыпин назначается на должность заведующего Дворцовой частью в Москве (комендантом Московского Кремля) с оставлением в звании генерал-адъютантом, членом Александровского комитета о раненых и по полевой конной артиллерии и до самой кончины 17 ноября 1899 года находился в этой должности. Кроме того, он имел высокий придворный чин обер-камергера, имел два монарших благоволения, 11 орденов, 8 медалей и знаков.

До последних дней Столыпин увлеченно занимался скульптурой. На академической выставке 1869 года в Петербурге экспонировались два его произведения "Голова Спасителя" (по описанию Флавия) и "Медаль статуи Спасителя". В свободное время он всей душой отдавался своему "страдивариусу", сам сочинял музыку и у себя дома поставил оперу, в которой партии исполняли члены его семьи. История же была главным увлечением генерала Столыпина, даже частью его жизни.
В 1867 году он выпускает брошюру "Хроника Генриха Латыша как подспорье к изучению истории Северо-Западного края". Исследуя летописи, Столыпин доказывает, что в начале XIII века из славянского Полоцкого великого княжества родилось Княжество Литовское, и это - главное доказательство связи Руси и Литвы. Вот начальные строки: "Ничто так не поддерживает народную нравственность, как знание своей истории: предания о добродетелях, о героических поступках, о твердости в вере и убеждениях предков возрождают желание последовать примеру их. Наоборот, неведение о своем происхождении рождает нравственную апатию. Тлетворнее еще неведения действует на массы историческая ложь..."

историк, писатель, скульптор.

Жена - княжна Наталья Михайловна Горчакова, награждена Бронзовой медалью за уход за ранеными во время Русско-турецкой войны 1877-78 гг. Его сын - Петр Аркадьевич Столыпин, государственный деятель России, министр внутренних дел, Председатель Совета Министров, член Государственного совета.