Действительный тайный советник (с 18.04.1899), камергер (с 1869). Из старинного остзейского дворянского рода, известного с XV в. Сын члена Государственного совета, генерала от кавалерии, генерал-адъютанта барона Дмитрия Ерофеевича фон дер Остен-Сакена (1789—1881), возведённого в апреле 1855 в графское Российской Империи достоинство, от брака с Анной Ивановной Ушаковой (1805—1897). Православного вероисповедания. Родился в Чернигове. Получил домашнее воспитание, затем окончил Ришельевский лицей в Одессе. 22.01.1852 в качестве младшего канцелярского чиновника начал службу в Департаменте внутренних сношений Министерства иностранных дел; затем был причислен к дипломатической канцелярии наместника Царства Польского. В 1854 произведён в коллежские секретари и назначен чиновником особых поручений при главнокомандующем действующей армии во время Крымской войны 1853—1856.
В 1856 назначен младшим секретарём российской миссии в Гааге, а в декабре того же года переведён в Мадрид. В 1861 возвратился в С.-Петербург и состоял при МИД. В 1862—1864 состоял при российской миссии в Швейцарии. В 1862 пожалован в камер-юнкеры Высочайшего Двора. В 1864—1869 старший секретарь миссии в Турине. В 1869—1880 поверенный в делах, а затем министр-резидент в Дармштадте (Гессен). 28.03.1871 получил чин действительного статского советника, 19.02.1880 — тайного советника. В 1880—1882 чрезвычайный посланник и полномочный министр в Мюнхене (Бавария). В 1882—1884 в С.-Петербурге состоял членом совета МИД. В 1884—1895 чрезвычайный посланник и полномочный министр в Мюнхене и Дармштадте. С марта 1895 и до конца жизни — чрезвычайный и полномочный посол в Берлине и одновременно чрезвычайный посланник и полномочный министр в Мекленбург-Шверине и Мекленбург-Стрелице. Начало деятельности Остен-Сакена в Берлине совпало с окончанием японо-китайской войны 1894—1895 и мирными переговорами в Симоносеки. Содействовал привлечению Германии к протесту (вместе с Россией и Францией) против японских требований, предъявленных побеждённому Китаю. 31.12.1899 в беседе с Остен-Сакеном кайзер Вильгельм II отметил, что в связи с англо-бурской войной возникли условия для обуздания «империалистических притязаний Англии», которые более не повторятся. Учитывая позицию Германии, министр иностранных дел М.Н. Муравьёв 27.02.1900 прозондировал правительство Франции относительно возможности совместного с Германией посредничества в целях «прекращения кровопролития». Французский кабинет одобрил идею Муравьёва, и по его предложению 3.03.1900 Остен-Сакен обратился
к германскому правительству по поводу посредничества, однако к этому времени Германия уже решила отказаться от активности в англо-бурском противостоянии. В 1904 Остен-Сакен пытался содействовать сближению Германии с Россией в противовес англо-американскому блоку на Дальнем Востоке. Избегал давать центральному аппарату МИД советы, а его мнение в ответ на запросы министерства нередко противоречило конкретным фактам: так, в 1907 он доказывал, что проникновение Германии в Персию связано не с политикой германского кабинета, а исключительно с имперскими амбициями имп. Вильгельма II, находившегося под влиянием германской олигархии, хотя германский МИД в действительности активно поддерживал идею проникновения в Персию. Поскольку в российском МИД это понимали, Остен-Сакен не пользовался особым доверием в министерстве и получал не слишком важные поручения. Он даже не был привлечён к подготовке свидания Николая II и Вильгельма II в Свинамюнде в августе 1907.
Остен-Сакен был удостоен российских орденов, включая Св. Анны 2-й степ. (1870), Св. Станислава 1-й степ. (1873), Св. Анны 1-й степ. (1876), Св. Владимира 2-й степ. (15.05.1883), Белого Орла (5.04.1887), Св. Александра Невского (16.03.1893, бриллиантовые украшения - 1.01.1901), Св. Владимира 1-й степ. (22.01.1902) и Св. Апостола Андрея Первозванного (1910), а также иностранных, в том числе Св. Маврикия и Лазаря большого офицерского креста (Италия, 1870), Изабеллы Католической 1-й степ. (Испания, 1871), Филиппа Великодушного большого креста (Бавария, 1873), Св. Михаила 1-й степ. (Бавария, 11.01.1883) и Короны большого креста (Бавария, 19.03.1891), Св. Александра 1-й степ. (Болгария, 1.05.1896), Красного Орла большого креста (Пруссия, 5.11.1896), Чёрного Орла (Пруссия, 17.01.1899). Имел также бронзовую медаль в память войны 1853-1856, знак отличия за 50 лет беспорочной службы на Владимирской ленте (22.08.1909) и знак Красного Креста. Имение: у родителей - 2100 десятин земли в Херсонской и 22 десятины земли во Владимирской губерниях, у супруги - 3432 десятины земли во Владимирской и 456 десятин 1220 саженей в Орловской губерниях. Скончался в Монте-Карло.
По воспоминаниям М.П. Бок, дочери П.А. Столыпина, Остен-Сакен по своему внешнему виду, манерам и мировоззрению являлся типичным представителем исчезающего поколения «дипломатов-гран-сеньоров». Маленького роста, с бакенбардами, всегда в высшей степени тщательно одетый и говорящий на изысканно-элегантном французском языке, он был убеждённым приверженцем всех традиций доброго, старого времени. Обладая очень большим состоянием, он имел возможность обставить свою жизнь согласно своим идеалам. Его кухня и приёмы были знамениты на всю Европу.
Женат (с 3.05.1861) на княгине Марии Ильиничне Голицыной (1822—1907), дочери генерал-лейтенанта, генерал-адъютанта князя И.А. Долгорукова (в первом браке бывшей за тайным советником, послом в Испании князем М.А. Голицыным). Мария Ильинична имела 3432 десятины земли во Владимирской и 456 десятин 1220 саженей земли в Орловской губерниях. Брак был бездетным. По словам современницы, супруги всю жизнь нежно любили друг друга, после смерти жены Остен-Сакен был безутешен.
