Генерал от инфантерии (с 2.10.1814), генерал-адъютант (с 29.11.1797). Из древнего дворянского рода. Младший сын гвардии майора графа Александра Петровича Толстого (1719—1792) от брака с Евдокией Львовной Измайловой (1731—1794), правнук Петра Андреевича Толстого, первого графа из рода Толстых. Получил домашнее образование. 1.01.1775 записан капралом в лейб-гвардии Преображенский полк. В мае 1785 вступил в тот же полк подпоручиком и 21.05.1785 назначен флигель-адъютантом к императрице Екатерине II. В июле 1788 из капитан-поручиков гвардии переведен в армейский полк подполковником. Участник русско-шведской войны 1788—90. С марта 1792 служил в Ингерманландском карабинерном полку, а с апреля 1793 — в Псковском драгунском. В 1792 и 1794 воевал в Польше. В июне 1794 за отличие в бою под Брестом произведен в полковники. Во время штурма Праги (предместья Варшавы) в октябре 1794, командуя двумя батальонами, первым ворвался на польскую батарею и, несмотря на ранение картечью в левую руку, захватил 8 орудий. Необычайная отвага, выказанная Толстым, обратила на него внимание А.В. Суворова, который дал о нём такой лестный отзыв, что Екатерина II лично возложила на него орден Св. Георгия 3-й степ. В 1796 произведён в бригадиры, а 9.11.1797, в начале царствования Павла I - в генерал-майоры, в том же месяце назначен шефом Нижегородского драгунского полка и пожалован в генерал-адъютанты. В конце 1798 послан к главнокомандующему австрийской армией эрцгерцогу Карлу-Иоганну для осуществления связи между австрийским командованием и генерал-фельдмаршалом графом А.В. Суворовым; проявил себя искусным дипломатом. 24.10.1799 произведён в генерал-лейтенанты. 16.02.1800 назначен сенатором.
В марте 1801, после воцарении императора Александра I, Толстому велено состоять по армии. В октябре 1802 назначен военным губернатором Выборга и инспектором кавалерии Финляндской инспекции. С февраля 1803 С.-Петербургский военный губернатор. В мае того же года назначен командиром лейб-гвардии Преображенского полка. Во время войн с Францией 1805 и 1806—07 командовал корпусом, занявшим Померанию и Ганновер, и осаждал крепость Гаммельн (1805), в 1806 находился при прусском короле Фридрихе-Вильгельме III для связи с русскими войсками. Был противником политики франко-русского сближения после Тильзитского мира. Тем не менее в октябре 1807 назначен чрезвычайным послом в Париж и находился в этой должности около года.
Ему было поручено добиваться скорейшей эвакуации французских войск из Пруссии, где последние находились в опасной близости к русским границам. Толстой требовал этого с настойчивостью, вызвавшей сильное недовольство Наполеона I. Уже в начале своего пребывания в Париже Толстой в своих донесениях Александру I предлагал немедленно начать энергичную подготовку к военному отпору французам, иначе, писал он, «внезапно и с удивлением увидим мы французские армии в границах наших, и тогда последствия будут неисчислимы». Толстой разработал и изложил в мае 1808 министру иностранных дел Н.П. Румянцеву целую систему мер для защиты интересов России против возможной агрессии Наполеона: максимально увеличить армию, придвинуть ее к западным границам, тайно договориться с Австрией, как можно быстрее закончить войну с Турцией, завершить войну с Швецией и заключить мир с Англией. С нескрываемым недоверием относился Толстой к «дружбе» Наполеона и защите им интересов Пруссии и Австрии. Деятельность Толстого вызвала недовольство французского правительства, которое предпочитало вести все переговоры с Александром I через своего посла в Петербурге А. Коленкура. Толстой фактически был отстранен от активной деятельности, а после Эрфуртского свидания Александра I с Наполеоном, по настоянию последнего, отозван из Парижа (октябрь 1808). После возвращения в Россию назначен инспектором рекрутских депо.
В 1812 назначен командующим ополчений, формируемых в Нижегородской, Симбирской, Казанской, Вятской и Оренбургской губерниях. В начале 1813 участвовал с ополчениями этих губерний в похоже до Варшавы и вошел с ними в состав польской армии. В сентябре-декабре 1813 командовал корпусом, участвовавшим в осаде и взятии Дрездена, а затем Магдебурга. С января 1816 командовал 4-м пехотным корпусом. 30.08.1823 назначен членом Государственного совета. С 1827 председатель Департамента военных дел Государственного совета. С 1828 начальник штаба военных поселений. Во время русско-турецкой войны 1828—1829, когда император Николай I находился в действующей армии, Толстой состоял главнокомандующим С.-Петербурга и Кронштадта. Во время Польской кампании 1831 во главе резервной армии успешно действовал в Литве. В 1834 назначен состоять при Особе Е.И.В. Удостоен российских орденов Св. Георгия 3-й степ. (01.01.1795), Св. Анны 1-й степ. (19.10.1798), Св. Александра Невского (01.01.1804), Св. Владимира 2-й степ. (08.04.1807), Св. апостола Андрея Первозванного (25.12.1825), Белого Орла (12.05.1829), Св. Владимира 1-й степ.(22.09.1830), а также знака отличия за 35 лет беспорочной службы (1828) и золотой шпаги «За храбрость», украшенной алмазами и надписью "За изгнание польских мятежников" (19.07.1831). Кавалер иностранных орденов «Pour le Mérite» (Пруссия, 08.09.1794), Почётного легиона большого креста (Франция, 25.06.1807), Чёрного орла (Пруссия, 1813), Красного орла 1-й степ. (Пруссия, 1813). В 1839 вышел в отставку. Последние годы жил в Москве, где скоропостижно скончался в возрасте 73-х лет; похоронен там же в Донском монастыре.
По отзыву Ф.Ф. Вигеля, «граф Толстой был человек усердный, верный, на которого совершенно можно было положиться: русский в душе и русский по уму, т. е., как говорится, из проста лукав. Такие люди с притворною рассеянностью, как бы ничего не помня, ничего не замечая, за всем следят глазами зоркими и наблюдательными, ни на минуту не теряя из виду польз и чести своего отечества».
Был женат (с 1795) на княжне Марии Алексеевне Голицыной (1772—1826), фрейлине, дочери генерал-майора князя А.Б. Голицына (по мнению современников, она была прототипом грибоедовской «княгини Марьи Алексеевны»), получившей в 1826 придворное звание статс-дамы. Современники характеризовали графиню Толстую следующим образом: «долговязая, тощая, не светская, неуклюжая, не умная, она тем не менее держала в руках своего мужа». Её неуравновешенный характер создавал в семье подчас довольно напряженную обстановку. Будучи крайне враждебно настроенной против Франции, в 1807 она умоляла мужа отказаться от места посланника в Париже и эта семейная оппозиция сильно смущала графа в принятии решения. Супруги имели 5 сыновей и 4 дочерей: графа Алексея Петровича (1798—1864), генерал-лейтенанта, с 1850 сенатора; графа Александра Петровича (1801—1873), действительного тайного советника, в 1856—1862 обер-прокурора Священного синода, с 1862 члена Государственного совета; графа Егора Петровича (1802—1874), генерал-лейтенанта, с 1861 сенатора; графа Владимира Петровича (1805—1875), генерал-майора; графа Ивана Петровича (1810—1873), тайного советника; графиню Евдокию Петровну (1795—1863), замужем за действительным тайным советником, членом Государственного совета графом А.Д. Гурьевым; графиню Софью Петровну (1800—1882), замужем за генерал-майором B.C. Апраксиным; графиню Анну Петровну (1804—1884), замужем за гофмейстером А.Н. Бахметевым; графиню Александру Петровну (1807—1890), замужем за коллежским советником, камергером графом А.Н. Мордвиновым.
