Родился в с.Панфилово Павлодарской области Казахской ССР. Потомок немецких переселенцев.

В 1990 - Омский государственный университет по специальности юрист

1981-1982 - юрисконсульт райсельхозуправления Иртышского района Павлодарской области

1982-1984 - служба в Советской Армии

1984-1985 - слушатель подготовительного отделения юридического факультета Омского государственного университета

1985-1990 - студент Омского государственного университета

1990-1990 - преподаватель юридического факультета Омского государственного университета

1990-1993 - аспирант юридического факультета Ленинградского университета

1991-1992 - юрисконсульт Комитета экономического развития и имущества администрации Петродворца, г.Санкт-Петербург

1992-1992 - начальник Петродворцового районного агентства Комитета по управлению имуществом администрации г.Санкт-Петербурга

1992-1994 - председатель Комитета по управлению имуществом - заместитель главы администрации Петродворцового района, г.Санкт-Петербург

1994-1997 - заместитель председателя - директор Департамента недвижимого имущества, первый заместитель председателя Комитета по управлению городским имуществом администрации г.Санкт- Петербурга

1997-1998 - вице-губернатор - председатель Комитета по управлению городским имуществом администрации г.Санкт-Петербурга

1998-1998 - член коллегии Министерства государственного имущества Российской Федерации

1998-2000 - первый заместитель Министра государственного имущества Российской Федерации

1999- - член коллегии Федеральной комиссии по рынку ценных бумаг

С 18 мая 2000 по октябрь 2007 - года назначен Министром экономического развития и торговли РФ. Министерство экономического развития и торговли было образовано в соответствии с указом президента о новой структуре федеральных органов исполнительной власти и получило ряд функций упраздненных Министерства торговли, Министерства экономики, Министерства по делам СНГ, Госкомитета по делам Севера.

3 июля 2000 года назначен управляющим от Российской Федерации в Европейском Банке реконструкции и развития.

В июле 2003 года вошел в состав Правительственной комиссии по проведению административной реформы (заместитель председателя).

С ноября 2007 - председатель правления Сбербанка РФ.

Брат - Евгений Греф, владелец сети магазинов (всего - 7) по торговле бытовой техникой "Технософия" (до конца 2007 года называлась "Технопарк", основана в 1993 г., гор. Омск), совладелец сети магазинов "Сибирь-керамика", торгового центра в формате cash & carry "Геомарт" площадью 4200 кв. м, торгового комплекса "Летур" площадью около 3000 кв. м и нескольких "мелких объектов недвижимости", гор. Омск. . По данным ЕГРЮЛ, Греф входит в число учредителей 18 омских ООО.