Тайный советник (с 29.03.1909), гофмейстер (с 29.03.1909). Из старинного молдавского дворянского рода. Сын статского советника, камер-юнкера Николая Матвеевича Крупенского (1822-1893), бывшего в 1866-1869 Бессарабским губернским предводителем дворянства, от брака с Надеждой Ивановной Гинц. Брат В.Н. Крупенского. Родился в Кишинёве. Высшее образование начал получать в Киевском университете Св. Владимира; в сентябре 1871 перешёл на юридический факультет Московского университета, который окончил 10.06.1874 со степенью кандидата права и был принят на гражданскую службу чиновником 10-го класса.
На службе в МИД с 2.11.1874. С 1876 секретарь канцелярии министерства, затем на дипломатических постах за границей: 2-й секретарь посольства в Австро-Венгрии (1878-1883), с 1883 2-й, с 28.08.1890 1-й секретарь посольства в Великобритании. 2.11.1882 произведён в надворные советники, 2.11.1885 - в коллежские советники, 20.03.1891 - в статские советники, в том же году пожалован в камергеры. С 14.02.1896 советник посольства в Италии. С 14.05.1896 действительный статский советник. По словам германского посла в Италии в 1894-1897, впоследствии рейхсканцлера Б. фон Бюлова, Крупенский «прославился в европейских дипломатических кругах своим исполинским носом, громким голосом и порывистыми движениями. Это был, впрочем, глубоко порядочный человек, настоящий русский, “истинно русский”, но, как и большинство его единомышленников, он был настроен против австрийцев, хотя и не против немцев, и не питал особой симпатии к “гнилому Западу”. Этот австрофоб был женат на австриячке, очень любезной и милой даме, дочери австрийского фельдмаршал-лейтенанта».
11.12.1905 назначен первым чрезвычайным посланником и полномочным министром России в Норвегии. Совместно с Б.Э. Нольде участвовал в переговорах по Шпицбергенскому вопросу на международных конференциях, проходивших в Христиании 19.07-11.08.1910 и 15-26.01.1912. Информировать российский МИД о ситуации вокруг Шпицбергена Крупенский начал ещё в 1906. Его тревожные сообщения о шведско-норвежской дипломатической ноте Берлину и Лондону с целью предостеречь германские и британские пароходные компании от несанкционированной охоты их пассажиров на Шпицбергене в 1909 навлекли на норвежское правительство недовольство российского МИД и заставили норвежского министра иностранных дел В. Кристоферсена извиняться за свою «невольную ошибку». Действия норвежцев Крупенский объяснял стремлением Норвегии не упустить первого после размолвки 1905 года шага к сближению со Швецией. Перед открытием конференции 1910 Крупенский сообщил в МИД, что не состоялось потенциальное сепаратное соглашение между США и Норвегией относительно вопроса о земельных участках на Шпицбергене. По итогам первой конференции удалось отстоять основные предложения, выдвинутые Россией: основную власть на Шпицбергене было решено передать комиссии в составе трёх избиравшихся каждые шесть лет делегатов из России, Норвегии и Швеции. Шпицберген признавался нейтрализованной и демилитаризованной территорией, открытой для подданных всех государств, не подлежавшей аннексии и не подпадавшей под суверенитет ни одной из стран. На переговорах 1912 в проект конвенции были внесены некоторые поправки.
По воспоминаниям военного атташе в странах Скандинавии А.А. Игнатьева, «русская миссия существовала в полном смысле этого слова на средства своего посланника, богатейшего бессарабского помещика Крупенского. Мои редкие наезды в Христианию доставляли ему истинную радость, так как давали лишний предлог затмить всех коллег своим подчас слишком подчеркнутым восточным хлебосольством. Служебные обязанности русского посланника не были обременительны: интересы России в Норвегии исчерпывались в ту пору соблюдением рыболовной конвенции. Она нарушалась, правда, из года в год предприимчивыми норвежскими рыболовами трески и охранялась ввиду этого русскими вооруженными канонерками. В противоположность двум другим моим посланникам [И.А. Кудашев в Дании и Ф.А. Будберг в Швеции], людям отменно воспитанным и боявшимся собственной тени, Крупенский со свойственной этой семье южной экспансивностью обращался не только со своим единственным секретарём, но и с норвежскими чиновниками, как с собственными крепостными. Этому восточному сатрапу не могла быть по душе демократическая свободолюбивая Норвегия».
В 1912 переведён на пост посла в Италии, который занимал до 11.02.1915.
За службу был награждён российскими орденами: Св. Владимира 3-й степ. (18.04.1899), Св. Станислава 1-й степ. (6.04.1903), Св. Анны 1-й степ. (1906), а также иностранными орденами: Вазы королевским крестом (Швеция, 1875), Железной Короны 3-й степ. (Австро-Венгрия, 1877), Кн. Даниила I 3-й степ. (Черногория, 1878), Пия IX командорским крестом (Ватикан, 1881), Короны большим крестом (Италия, 1906), Св. Олафа большим крестом (Норвегия, 1907), Почётного легиона большим офицерским крестом (Франция, 1907), Короны 2-й степ. (Румыния). Имел также медаль в память царствования имп. Александра III и знак Красного Креста. В Каменец-Подольском уезде (Подольская губерния) ему принадлежали 542 десятины. 20.11.1900 был утверждён почётным мировым судьёй по Хотинскому уезду Бессарабской губернии.
После 1917 в эмиграции, был членом Высшего монархического совета. Скончался в Риме, похоронен на кладбище Тестаччо.
