Барон, тайный советник (с 1830), камергер (с 1801). Из древнего дворянского рода. Сын барона Людвига-Отто фон Будберга (1729-1789) от брака с Елизаветой-Софией фон Лёвенштерн (1748-1811). Дядя А.Ф. Будберга, дед Г.Н. Окунева. Родился в Риге. Получил образование в Страсбурге, много путешествовал. В 1789 поступил на службу в российскую кавалерию капитаном Нарвского полка. 8.03.1790 произведён в секунд-майоры и переведён на службу в Военную коллегию. В 1792 — сотрудник посольства России в Стокгольме. В 1795—1796 был поверенным в делах в Швеции. Императрицей Екатериной II ему было поручено подготовить почву для переговоров о браке короля Густава IV и великой княжны Александры Павловны. Регент Швеции Карл, герцог Зюдерманландский полагал, что затруднения во взаимоотношениях с Польшей и Османской империей, возникшие у России благодаря его политике, очень велики, и перед Будбергом стояла задача, не доводя дело до разрыва, дать почувствовать готовность России отстаивать свои интересы на северо-западе. Отправляя в Стокгольм молодого заносчивого невысокопоставленного Будберга, Екатерина показывала своё отношение к правительству Швеции. Вскоре для продолжения переговоров в Швецию был послан А.Я. Будберг, который 18.07.1796 отправил Б.В. Будберга курьером в С.-Петербург с поручением устно дополнить донесение о ходе переговоров. 1.10.1796 Будберг снова был послан в Стокгольм, чтобы передать российскому послу собственноручное письмо Екатерины и её рескрипт о далнейших действиях, а также сообщить устно о подробностях пребывания короля и регента Швеции в С.-Петербурге. 12.10 Будберг прибыл в Стокгольм, а 30.10 отправился обратно с донесениями от А.Я. Будберга. О шведском периоде своей деятельности Будберг оставил записки, частично изданные в «Сборнике Русского Исторического общества» (том 9). В 1796 пожалован чином камер-юнкера и произведён в бригадиры. В 1799 отправлен в отставку.
В 1812 назначен временным поверенным в делах в Неаполе, но вскоре был отозван в связи с началом Отечественной войны 1812. Отличное знание прибалтийских реалий и обширные связи среди остзейского дворянства способствовали назначению Будберга 23.12.1818 Эстляндским губернатором. Ушёл в отставку по болезни 27.07.1832. Скончался в Риге. За службу был удостоен российских орденов, включая Св. Анны 1-й степ. (20.07.1821) и Св. Владимира 2-й степ.
От брака (с .07.1801) с Шарлоттой Доротеей фон Кампенгаузен (1778-1830), дочерью российского государственного контролёра (1811-1823) и управляющего Министерством внутренних дел (1823) Б.Б. Кампенгаузена, имел сына барона Александра Богдановича (1804-1879), генерал-лейтенанта, и дочерей баронессу Елизавету (Виргинию) Богдановну (1802-?), замужем за генералом Н.А. Окуневым, и баронессу Прасковью Богдановну (1812-1839), замужем за генералом А.И. Рокасовским.