Тайный советник, гофмейстер (с 13.04.1908). Сын А.Ф. Будберга от брака с Марией Петровной Убри (1819-1913). Правнук А.Я. Будберга, внук П.Я. Убри, племянник П.П. Убри, двоюродный племянник Г.Н. Окунева. Родился в Берлине. Службу начал 26.11.1873, первый классный чин получил 26.11.1874. В 1879 - помощник секретаря посольства в Константинополе, в 1882 - и.д. 2-го секретаря посольства в Лондоне. Затем более 20 лет прослужил в посольстве в Вене в качестве и.д. 2-го секретаря, с 7.05.1883 2-го секретаря, с 20.02.1893 1-го секретаря, с 18.02.1897 советника - с небольшим перерывом с 9.04.1896 по 18.02.1897, когда занимал пост советника посольства в Берлине. Директор канцелярии МИД В.С. Оболенский-Нелединский-Мелецкий отзывался о нём как о человеке «умном и умеющем выпутываться из трудных положений», старший советник министерства В.Н. Ламздорф указывал, что о Будберге говорили, что он фактически выполнял функции старшего дворцекого при после в Вене А.Б. Лобанове-Ростовском. 26.11.1882 произведён в титулярные советники, 15.05.1883 - в коллежские асессоры, 15.05.1887 - в надворные советники, 9.04.1889 - в коллежские советники, 9.04.1893 - в статские советники, 5.04.1898 - в действительные статские советники.
С 19.02.1905 - чрезвычайный посланник и полномочный министр в Швеции, с 17.06.1909 чрезвычайный и полномочный посол в Испании (верительные грамоты вручил 22.09). Советник посольства в Мадриде Ю.Я. Соловьёв отмечал в вспоминаниях, что Будберг «весьма тяготился пребыванием в Мадриде, где он совсем не акклиматизировался, чуждаясь испанцев и поддерживая близкие отношения почти исключительно со своими коллегами-послами». В условиях назревавшего марокканского кризиса, вызванного притязаниями Германии на североафриканский султанат, традиционно находящийся в сфере испанского влияния, король Испании Альфонс XIII стремился усилить сотрудничество с Антантой. 11.08.1912 он пригласил Будберга на аудиенцию, в ходе которой сообщил о своём желании присоединить Испанию к Антанте при посредничестве России. Будберг сообщил об этом желании Альфонса в С.-Петербург. 21.08.1912 донесение посла было представлено на высочайшее рассмотрение, имп. Николай II написал на его первой странице: «К этому следует отнестись серьёзно». Сам Будберг использовал любую возможность, чтобы поддерживать дружественный характер взаимоотношений с Испанией. В начале 1914 Альфонс XIII случайно увидел у российского морского агента В.И. Дмитриева медаль в честь 300-летия Дома Романовых и намекнул, что так как он является шефом российского Ольвиопольского полка, «он считает себя до некоторой степени на русской службе и был бы рад украсить и свою грудь такой же медалью». Будберг сообщил об этом в С.-Петербург, отметив, что если решение Николая II будет положительным, то он готов отдать королю свой экземпляр медали. По его мнению, поспешность в исполнении этой просьбы «возвысит в глазах [короля] цену этого нового доказательства царского к нему расположения». Несмотря на то, что Испания так и не стала членом Антанты, а в Первой мировой войне сохранила нейтралитет, именно эта страна взяла на себя защиту интересов российских подданных в Австро-Венгрии в августе 1914. Именно через посольство России в Испании шли переговоры об обмене военнопленными и защите интересов российских подданных в Германии и Австро-Венгрии. Однако необходимость материальной помощи русским, находившимся в Испании, и ведения проантантовской пропаганды ставила посольство в тяжёлое финансовое положение. 10.02.1916 назначен сенатором.
По воспоминаниям Ю.Я. Соловьёва, «в начале февраля 1916 г. из Петрограда пришла телеграмма об увольнении барона Будберга с должности посла в связи с назначением его сенатором. Вместе с тем предписывалось запросить согласие испанского правительства на назначение послом нашего посланника в Брюсселе князя Кудашева. Будберг, уже больной, весьма тяжело переживал свою отставку, в особенности потому, что был назначен не членом Государственного совета, а сенатором. Это почему-то казалось ему необыкновенно обидным. В течение нескольких дней он почти не выходил из комнаты, скрывая от коллег свою отставку, как какой-то позор. Наконец, окончательно занемог, случайно где-то простудившись; при этом он не хотел обращаться к медицинской помощи. Мне с трудом удалось привести к нему лучшего испанского профессора, а также нашего португальского коллегу-посланника, который был по профессии врачом, притом весьма известным. По их заключению, положение посла было безнадёжно. Он действительно вскоре впал в бессознательное состояние и едва мог узнавать посетителей». Скончался в Мадриде несколько дней спустя, похоронен на Британском кладбище города.
За службу награждён российскими орденами: Св. Владимира 3-й степ. (14.04.1902), Св. Станислава 1-й степ. (17.04.1905), Св. Анны 1-й степ., медалью в память царствования имп. Александра III, а также Франца-Иосифа командорским крестом (Австро-Венгрия, 29.10.1885), Саксен-Эрнестинского дома командорским крестом (Саксен-Альтенбург, 1894), Св. Пия IX командорским крестом (Ватикан, 1895), Франца-Иосифа командорским крестом со звездой (Австро-Венгрия, 27.07.1896), Короны 2-й степ. (Пруссия, 5.11.1896), Большим крестом шведского ордена Полярной Звезды (цепь к ордену - 1.07.1909), болгарским орденом «За гражданские заслуги» 2-й (30.12.1896) и 1-й (29.10.1898) степ., Франца-Иосифа большим крестом (Австро-Венгрия, 1.11.1903).
