Генерал от инфантерии (с 28.12.1802). Из древнего дворянского рода, известного в Вестфалии с XIV в. Переселившись в XVI в. в Лифляндию, представители рода в 1693 возведены в баронское достоинство Шведского королевства. Старший сын не принадлежавшего к баронской ветви рода Якоба-Фридриха фон Будберга (?-1759) от брака с Марией Елизаветой фон Белов (1725-1782), дед А.Ф. Будберга, прадед Ф.А. Будберга. Родился в имении Мангал (ныне в черте Риги). Был записан на военную службу в 1759. Участвовал в русско-турецкой войне 1768-1774. В 1783 был произведён в подполковники и в этом же году рижский генерал-губернатор Ю.Ю. Броун, который был хорошим другом родителей Будберга, рекомендовал его имп. Екатерине II. Екатерина, доверием которой он пользовался «как очень честный человек», привлекла Будберга наблюдать за занятиями своего старшего внука вел. князя Александра Павловича (будущего императора Александра I). Требовательность и строгость в обращении с воспитанником не только не возбудили в вел. князе отчуждения, но даже внушили уважение и любовь к Будбергу. Так же относился к нему и вел. князь Константин Павлович, к которому неоднократно призывали Будберга, когда требовалось особенно строгое педагогическое воздействие на буйного ученика.
С 21.04.1789 бригадир. Дослужившись до чина генерал-майора (25.03.1791), вышел в отставку и занялся военными науками. В 1795 по поручению Екатерины II принимал участие в переговорах о заключении брака Константина Павловича с принцессой Юлианой Саксен-Кобург-Заальфельд. В конце 1795 отправлен в Стокгольм вести переговоры с регентом Швеции относительно брака молодого короля Густава IV с вел. княжной Александрой Павловной. Екатерина II крайне желала заключения брачного союза своей внучки с королём Швеции, и поручение Будбергу вести переговоры о браке свидетельствовало о большом доверии к нему императрицы. Переговоры Будберга завершились приездом в С.-Петербург в августе 1796 короля и регента. В благодарность императрица пожаловала Будбергу орден Св. Александра Невского. 16.05.1796 пожалован в камергеры, 17.08.1796 произведён в статские советники. В 1797 императором Павлом I был отозван из Стокгольма, 18.06.1797 получил чин тайного советника. Затем он ещё дважды назначался посланником в Швецию (до 1803).
Александр I, относившийся к Будбергу с большим доверием, в 1804 предложил ему пост Петербургского военного губернатора, но он по болезни отказался и был назначен членом Непременного совета. В июне 1806 как лицо, настроенное антифранцузски, назначен министром иностранных дел, сменив на этом посту князя А. А. Чарторыйского. По словам историка С.М. Соловьева, «Чарторыйский был заменен бароном Будбергом, о котором говорили, что он катеринствует, и этот отзыв показывал, что император, избирая такого человека, намерен вести внешние дела, как требовало достоинство России, как велись они при знаменитой бабке». После поражения русских войск под Фридландом и заключения Тильзитского мира (июнь 1807) сменилась внешнеполитическая линия в отношении Франции. Несмотря на то, что по долгу службы Будбергу пришлось присутствовать при заключении Тильзитского соглашения, он оставался его противником и был фактически устранён от переговоров (так что на этом документе даже не было его подписи). 30.08.1807 Будберг оставил пост министра, а 12.02.1808 уволен от всех должностей с пенсией в 10 тыс. руб. в год. Был удостоен российских орденов Св. Георгия 4-й степ. (26.11.1786), Св. Анны (8.10.1795), Св. Александра Невского (20.08.1796), Св. Апостола Андрея Первозванного (22.07.1807). Также имел орден Серафимов (Швеция, 17.12.1800) и большой крест ордена Почётного легиона (Франция, 22.07.1807). В молодости увлекался масонством. Скончался в С.-Петербурге в возрасте 62-х лет; похоронен там же на Смоленском лютеранском кладбище.
От брака (с 1782) с Анной-Еленой-Шарлоттой Мекк (1762-1799) имел трёх дочерей: Марту Андреевну (умерла во младенчестве), Екатерину Андреевну (1785-1842) и Елену Андреевну (1787-1856), замужем за дальним родственником бароном Т.-О. Будбергом (их сын - А.Ф. Будберг).
