Действительный тайный советник (с 2.04.1838), камергер (с 14.11.1807). Из древнего дворянского рода. Сын президента Юстиц-коллегии, действительного статского советника Алексея Александровича Яковлева (1726—1781) от брака с княжной Натальей Борисовной Мещерской (1734—1781), внук Б.В. Мещерского. Получил домашнее образование. С 1.01.1774 (с неполных 10 лет) числился каптенармусом в лейб-гвардии Измайловском полку, затем — сержантом. В январе 1788 произведён в прапорщики, в 1790 — в подпоручики. Участник русско-шведской войны 1788—1790. В 1791 получил чин поручика, в январе 1796 — капитан-поручика, а 16.04.1796 — капитана. В 1795 и 1796 служил волонтёром в Англии, на эскадре адмирала Дункана. Произведённый в августе 1798 в полковники, Яковлев 18.09.1798 назначен канцелярии советником в Коллегию иностранных дел и отправлен вначале к российской миссии в Швецию, а оттуда в Англию, где 9.05.1800 произведён в статские советники и перемещён в Вюртемберг поверенным в делах. 14.11.1807 произведён в действительные статские советники, в 1809 переименован в чрезвычайные посланники и полномочные министры. В 1810 назначен чрезвычайным посланником и полномочным министром при короле Вестфалии Жероме Бонапарте (младшем брате императора Наполеона I) и занимал этот пост до июня 1812. Задержанный здесь в связи с началом военных действий между Францией и Россией, Яковлев с помощью своего камердинера сумел спасти и вывезти дипломатические документы.
28.03.1820 произведён в тайные советники и назначен сенатором Московских департаментов Сената. С августа 1829 одновременно состоял почётным опекуном Московского присутствия опекунского совета, управляющим Мариинской больницей и членом совета Екатерининского и Александровского институтов. За службу удостоен ряда высших российских орденов: Св. Анны 1-й степ. (30.08.1812), Св. Владимира 2-й степ. (1831), Белого Орла (7.04.1835). 22.08.1833 удостоен знака отличия за 45 лет беспорочной службы. Скончался в Москве в возрасте 75 лет; похоронен там же в Новодевичьем монастыре.
По словам его племянника А.И. Герцена (внебрачного сына брата Яковлева, отставного капитана Ивана Алексеевича), «сенатор был по характеру человек добрый и любивший рассеяния: он провел всю жизнь в мире, освещённом лампами, в мире официально-дипломатическом и придворно-служебном, не догадываясь, что есть другой мир, посерьёзнее, несмотря даже на то, что все события с 1789 по 1815 г. не только прошли возле, но зацеплялись за него. Граф Воронцов посылал его к лорду Гренвилю, чтобы узнать, что предпринимает Бонапарт, оставивший египетскую армию; он был в Париже во время коронации Наполеона. В 1811 Наполеон велел его задержать в Касселе, где он был послом... Словом, он был налицо при всех огромных происшествиях последнего времени, но как-то странно, не так, как следует... Пока дипломатические вопросы разрешались штыками и картечью, он был посланником и заключил свою дипломатическую карьеру во время Венского конгресса, этого светлого праздника всех дипломатий. Возвратившись в Россию, он был произведён в камергеры в Москве, где нет двора. Не зная законов и русского судопроизводства, он попал в Сенат, сделался членом Опекунского совета, начальником Мариинской больницы, начальником Александровского института и всё исполнял с рвением, которое вряд ли было нужно, и строптивостью, которая вредила, с честностью, которой никто не замечал. Он никогда не бывал дома; он заезжал в день 2 четвёрки здоровых лошадей, одну утром, другую после обеда. Сверх Сената, которого он никогда не забывал... он не пропускал почти ни одного французского спектакля и ездил раза три в неделю в Английский клуб. Скучать ему было некогда: он всегда был занят, рассеян, он всё ездил куда-нибудь, и жизнь его легко катилась на рессорах по миру оберток и переплетов. Зато он до 75 лет был здоров, как молодой человек, являлся на всех больших балах и обедах, на всех торжественных собраниях и актах, все равно каких: агрономических или медицинских, страхового от огня общества или общества естествоиспытателей... да, сверх того, за то же, может, сохранил он до старости долю человеческого сердца и некоторую теплоту...».
Собрал выдающуюся коллекцию живописи старых мастеров, судьба которой неизвестна.
Женат не был, но имел «воспитанников» (внебрачных детей), которые получили первоначально фамилию Львовых-Левицких: Сергея [впоследствии придворный фотограф Левицкий (1819-1898), его дочь Прасковья была замужем за А.А. Гирсом], Ивана, Софью (замужем за инженер-генерал-лейтенантом А.А. Поленовым) и Наталью.