Барон. Тайный советник (с 1899), гофмейстер (с 18.04.1899). Из древнего дворянского рода. Сын барона Андреаса Магнуса Будберга (1796-1855) от брака с Амалией-Элеонорой Стокхорнерн фон Старейн (1813-1884), дочерью генерал-лейтенанта баденской службы К.Л.В. Стокхорнерна фон Старейна. Родился в Гемауэрт-Панемуне (ныне в городской черте Каунаса, Литва). В службе с 26.04.1862. В 1865 состоял при наместнике Царства Польского в качестве чиновника особых поручений МИД для иностранной переписки. Затем служил в посольстве в Берлине младшим (1874), 2-м (1875), с 13.06.1883 1-м секретарём (с производством в статские советники). В 1878 пожалован в камергеры. 18.04.1888 произведён в действительные статские советники. 16.06.1893 назначен младшим советником МИД. С 8.02.1897 министр-резидент в Саксен-Веймаре, с 14.02.1903 посланник в Вюртемберге (до 1906). В 1908 в городе Бад-Брюккенау (Бавария) вместе с супругой учредил домовую церковь в честь св. Марии Магдалины в помещениях курортной гостиницы «Bellevue» (освящена 4.08.1908 епископом Кронштадтским Владимиром).
За службу удостоен российских орденов: Св. Станислава 2-й степ. (1878), Св. Анны 2-й степ. (1881), Св. Владимира 3-й степ. (24.03.1885), Св. Владимира 2-й степ., Св. Станислава 1-й степ. (14.05.1896), Св. Анны 1-й степ. (6.04.1903), также иностранных орденов Короны 3-й степ. (Пруссия, 1870), Князя Даниила I 2-й степ. (Черногория, 7.02.1889), Вендской Короны 2-й степ. (Мекленбург-Шверин, 17.11.1889), Короны 2-й степ. (Пруссия, 17.11.1889), Красного орла 2-й степ. (Пруссия, 20.10.1892), Саксен-Эрнестинского Дома 1-й степ. (Саксен-Кобург-Гота, 16.11.1898), Белого Сокола 1-й степ. (Саксен-Веймар, 9.05.1903). Был также награждён медалями «В память царствования императора Александра III» и «В память 300-летия царствования дома Романовых». Родовое имение (на 1890) - 8686 десятин земли в Ковенской губернии ии поместье в Баварии в общем владении с братьями. Скончался в Уши (ныне в городской черте Лозанны, Швейцария).
Был женат на княжне Марии Александровне Кугушевой (1867-1923), дочери князя А.И. Кугушева.
