Действительный тайный советник (с 28.06.1781). Третий сын вице-канцлера, кабинет-министра графа Андрея Ивановича Остермана (1686—1747) от брака с Марфой Ивановной Стрешневой (1698—1781). Родился в С.-Петербурге. Получил домашнее образование. Записанный с детства в гвардию, в 1741 состоял в чине капитана лейб-гвардии Преображенского полка. Опала, постигшая его отца со вступлением на престол Елизаветы Петровны (ноябрь 1741), отразилась и на Остермане: 16.01.1742 он вместе со своим старшим братом Фёдором был переведен тем же чином в армейский полк. Через некоторое время ему разрешили отправиться в заграничное путешествие, во время которого Остерман объехал почти всю Европу, пополняя свое образование, изучая иностранные языки. В 1757 определён на дипломатическую службу и причислен к российскому посольству в Париже.
В 1760 в чине бригадира назначен посланником в Стокгольм. Выступил против намерения имп. Петра III заручиться поддержкой Швеции в планировавшейся войне России с Данией. Противодействовал установлению в Швеции самодержавной монархии, выступая за соблюдение Конституции 1720, поддерживал пророссийскую и проанглийскую партию «младших колпаков» (находилась у власти в 1765–1769 и 1772) в её борьбе с профранцузской партией «шляп». С помощью партии «младших колпаков» Остерману удалось предотвратить подготовлявшееся Францией в 1772 выступление Швеции против России во время русско-турецкой войны. Для укрепления так называемой Северной системы графа Н.И. Панина содействовал заключению в 1766 брака родного племянника имп. Екатерины II – шведского кронпринца, будущего короля Густава III, и дочери датского короля Фредерика V Софии Магдалены. Способствовал нормализации российско-шведских отношений после заключения российско-датского Царскосельского трактата 1773 (подтвердил соглашение 1767), согласно которому вел. кн. Павел Петрович (будущий имп. Павел I) обменял своё герцогство Гольштейн-Готторп на датское графство Ольденбург (передано в том же году князю-епископу Любека Фридриху Августу, младшему брату Густава III). Благодаря своей деятельности Остерман приобрёл расположение короля Густава III. «Обстоятельные и красноречивые донесения» посланника обратили на него внимание в С.-Петербурге, и он получил ряд наград от Екатерины II «за патриотическое усердие, искусство и прозорливость». 10.02.1770 произведён в тайные советники.
В августе 1774 был отозван из Стокгольма и назначен членом Коллегии иностранных дел, а 2.04.1775 пожалован званием вице-канцлера. 28.06.1781 одновременно назначен сенатором и пожалован в действительные тайные советники. В 1784—1788 президент Вольного экономического общества. После смерти Н.И. Панина (март 1783) Остерман в течение 14 лет формально занимал первенствующее положение в Коллегии иностранных дел. Фактически же руководителем российского внешнеполитического ведомства являлся граф А.А. Безбородко, дипломатические способности которого высоко ценились Екатериной II. По словам Ш. Массона, Остерман «был далёк от того, чтобы играть при Екатерине ту роль, которую его отец играл в царствование Анны... У него не было никаких иных обязанностей, кроме звания вице-канцлера и подписывания некоторых паспортов. Дипломатические и иностранные дела были распределены Зубовым между Безбородко и Морковым, которые были истинными составителями министерских бумаг, из них в особенности первый обладал огромным влиянием...». И «беда была,— писал про Остермана граф А.А. Безбородко,— когда он за руль брался — худо правил». 9.11.1796, после воцарения императора Павла I, Остерману пожаловано было звание государственного канцлера, но 21.04.1797 по собственной просьбе («по причине болезненных припадков») уволен в отставку. Удостоен всех высших российских орденов: Св. Анны (5.12.1764), Св. Александра Невского (9.03.1772), Св. Владимира 1-й степ. (1782), Св. апостола Андрея Первозванного (2.02.1784). Последние годы жизни провёл в Москве, где и скончался в возрасте 86 лет. Похоронен в селе Красное Сапожковского уезда Рязанской губернии.
Прекрасно владевший внешними дипломатическими приёмами, великолепный во время церемоний, Остерман, по отзывам современников, не был способен к самостоятельной деятельности. Иностранные дипломаты в своих донесениях называли его «личностью совершенно ничтожною», «подставным лицом». Высокий и худой, важный на вид, в старинном костюме екатерининских времен, «старинным экипажем, гайдуками своими долго напоминал нам вельмож XVIII века»,— писал Д.Н. Бантыш-Каменский. Как писал князь А.А. Чарторыйский, он «походил на копию со старых вышитых картин. Длинный, худой, бледный, одетый в старинный костюм, в суконных сапогах, в платье коричневого цвета с золотыми пуговицами и с черной повязкой на шее, он являлся представителем эпохи Елизаветы. Остерман был известен своею честностью; его манеры носили величественный характер. Молча, как автомат, он делал приветственный знак своей длинной рукой. Это было вместе с тем и приглашением садиться... Уже преклонных лет и не обладавший большими способностями, граф Остерман все же был ценен своей долголетней практикой, своею опытностью, честностью и здравым смыслом». За свою прямоту и честность он пользовался всеобщим уважением в Москве и удостаивался посещений имп. Александра I. Будучи богатейшим помещиком, владея землями в Минской, Могилёвской, Московской, Псковской, Рязанской, Санкт-Петербургской губерниях и имея около 10 тыс. душ крестьян, в частной жизни Остерман был не только расчётлив, но и скуп; при случае же он не прочь был показать своё богатство. Так, в торжественные дни у него бывали обеды на 300 кувертов с дорогой серебряной сервировкой, причём общее внимание обращали на себя необыкновенно массивные серебряные блюда.
От брака (с 9.02.1778) с Александрой Ивановной Талызиной (1745—1793), дочерью сенатора, адмирала И.Л. Талызина, детей не имел.
