Действительный статский советник (с 14.04.1913), камергер (с 11.10.1909). Сын тайного советника Николая Васильевича Гулькевича (1814-1876), управляющего делами Кавказского и Сибирского комитетов и статс-секретаря Е.И.В., от брака с Ольгой Михайловной Морголи (?-1925). Родился в С.-Петербурге. На службе с 1.02.1885, в МИД с 19.02.1886: до 1887 в Государственном и С.-Петербургском главном архивах министерства, затем при департаменте личного состава и хозяйственных дел, с 18.11.1889 при канцелярии МИД. 1.02.1886 произведён в коллежские регистраторы, 1.02.1889 - в губернские секретари. 9.09.1891 назначен состоять в ведомстве МИД, затем при канцелярии министерства сверх штата. 1.02.1892 произведён в коллежские секретари. С 7.03.1896 2-й секретарь миссии в Мюнхене, 1.02.1898 произведён в коллежские асессоры, 6.12.1898 пожалован в камер-юнкеры, 6.01.1901 уволен от занимаемой должности «с оставлением в ведомстве и звании». 1.02.1902 произведён в надворные советники. С 1906 личный секретарь министра иностранных дел, с 1908 1-й секретарь посольства в Риме, участвовал в организации встречи императора Николая II с королём Италии Виктором-Эммануилом III в Раккониджи. В 1912 исполнял там же обязанности поверенного в делах. Журналист К. Кетов (И.А. Крейнерт) отмечал, что Гулькевич «искренне любил эту страну [Италию - прим. сост.] и живо интересовался ее историей и современной жизнью, что решительно отличало его от остальных русских дипломатов царского режима, которые не желали, а часто просто и не способны были разобраться в обычной парламентской обстановке, сложившейся из различных партийных влияний. Итало-турецкая война побудила Гулькевича обратиться к итальянской политической жизни; он охотно сводил знакомства с итальянскими политиками и журналистами и в особенности интересовался националистическим движением».
С 1912 советник посольства в Константинополе. Подготовил и подписал русско-турецкое соглашение по армянским реформам. Согласно условиям соглашения, из 7 вилайетов Западной Армении образовывались два сектора, управление которыми поручалось двум Генеральным инспекторам из иностранцев, назначаемым Высокой Портой по рекомендации великих держав. В связи с началом Первой мировой войны соглашение осталось нереализованным. С 17.11.1914 по 20.02.1916 возглавлял 2-й политический отдел МИД, был одним из ближайших советников министра С.Д. Сазонова. С 20.02.1916 - посланник в Норвегии.
В.Б. Лопухин в воспоминаниях называл Гулькевича «симпатичным» и «деловым». По словам К. Кетова, Гулькевич был «весьма просвещённым и образованным господином, имел интерес к литературе и к жизни русского народа... Гулькевич составлял единственное счастливое исключение из всей массы скудоумных и реакционных чиновников».
Был награждён российскими орденами, включая Св. Станислава 3-й степ. (6.04.1889), Св. Станислава 2-й степ. (1.01.1896), Св. Анны 2-й степ. (9.04.1900) и Св. Владимира 4-й степ. (1906), а также орденами Персии (Льва и Солнца 4-й степ., 18.04.1889), Филиппа Великодушного кавалерского креста 1-й степ. (Гессен-Дармштадт, 1895), Эрнестинского Дома командорского креста 2-й степ. (Саксен-Кобург-Гота, 10.09.1898), Золотой Звезды 2-й степ. (Бухара, 1906), Священного Сокровища 2-го класса (Япония, 1908), Полярной Звезды командорского креста 2-й степ. (Швеция, 1908), Короны большого офицерского креста (Италия, 1909), Двойного Дракона 2-го класса 3-й степ. (Китай, 1911), Спасителя офицерского креста (Греция, 1911), Св. Маврикия и Лазаря большого офицерского креста (Италия, 1912), Короны большого креста (Италия, 5.12.1916). Имел медали в память царствования имп. Александра III и 300-летия царствования Дома Романовых, Красного Креста. Был почётным смотрителем С.-Петербургского Рождественского городского училища. Гулькевичу принадлежало родовое имение в Кубанской области (4300 десятины). В 1891 купил имение в Прейли в Двинском уезде Витебской губернии и активно перестраивал его. Продал имение Гулькевич в 1910. Также имел земли в Люцинском уезде Витебской губернии.
С 20.05.1917 - российский посол Временного правительства в Швеции, дипломатический представитель белогвардейских правительств в Стокгольме. С 1918 в столице Швеции действовало параллельно два российских посольства — «белое» посольство, возглавляемое Гулькевичем, и «красное» полпредство, возглавляемое В.В. Воровским. Такая ситуация продолжалась до начала 1919 года, когда Воровский был выслан из Швеции, а полуофициальные контакты между Швецией и большевистским правительством разорваны. В январе 1921 выехал в Кристианию, где оставался до мая, затем переехал в Берлин, далее — в Дрезден, в декабре 1921 года — в Париж. С начала 1922 жил в Швейцарии.
В эмиграции был, в частности, членом Политической комиссии Русского политического совещания, образованного в Париже в 1919, участвовал в работе издательства Е.А. Ляцкого «Северные огни» в Стокгольме и издательства «Слово» в Берлине. В дальнейшем работал в совещательном органе Нансеновского комитета при Лиге Наций в Женеве, занимался вопросами оказания помощи российским эмигрантам, был представителем Лиги Наций по делам русской эмиграции в Берлине. Активно защищал интересы эмигрантов, помог многим из них перебраться из Франции в Южную Америку. Поддерживал русские организации в Париже ссудами и женевскими кредитами. Скончался в Лозанне от туберкулёза.
