Из древнего княжеского рода. Сын князя Алексея Андреевича Голицына (1632-1694), боярина, стольника, служившего воеводой в Тобольске (1664-1667, 1681-1683), Казани (1670-1673) и Киеве (1675-1676), от брака с княжной Ириной Фёдоровной Хилковой (?-1698), дочерью князя Ф.А. Хилкова. Брат воспитателя Петра I Бориса Алексеевича Голицына (1654-1714), дед В.С. Долгорукова и прадед А.С. Меншикова. 23.02.1684 пожалован в стольники, 15.01.1693 - в комнатные стольники. В 1697 подвергнут розыску по делу И.Е. Циклера, стал единственным из князей Голицыных, которые когда-либо подвергались пыткам. В январе 1699 направлен для изучения морского дела в Венецию. С января 1701 по ноябрь 1704 посол в Австрии, где выполнял поручение обеспечить посредничество императора Леопольда I между Россией и Швецией, однако безуспешно, так как после поражения под Нарвой доносил, что «…войскам нашим и управлению войсковому только смеются». В начале 1702 предложил подписать союзный русско-австрийский договор, но эта идея не была поддержана Леопольдом и его двором, боявшимися вызвать раздражение короля Швеции Карла XII. Вёл переговоры с папским нунцием, с целью привлечения папы на сторону России говорил о готовности Петра I перейти в католичество и установить союз между православной и католическими церквями. Результатом переговоров стало разрешение публично отправлять в России римское богослужение и на пропуск католических миссионеров в Китай. В 1708 назначен главой администрации Архангельской губернии. 14.06.1710 пожалован в кавалеры ордена св. Андрея Первозванного. С 22.02.1711 сенатор. 16.01.1712 назначен обер-комендантом московского гарнизона. 24.04.1713 назначен Рижским губернатором. Пётр I не всегда был им доволен им на этой должности и однажды нашёл его ответ написанным «зело тупо и нерадетельно». В 1718 подписал смертный приговор цесаревичу Алексею Петровичу, несмотря на то, что поддерживал его взгляды. С 1718 президент Коммерц-коллегии, одновременно с 17.04.1719 Киевский губернатор. Скончался в Киеве.
Был женат трижды: 1) на княжне Анастасии (или Наталье) Ивановне Воротынской (?-1691), дочери последнего князя из рода Воротынских Ивана Алексеевича [их сын - князь Василий Петрович Голицын (1682-1740)]; 2) на Дарье Лукиничне Ляпуновой (1678-1715) [их дети: княжна Ирина Петровна (1700-1751), замужем за С.П. Долгоруковым; княжна Прасковья Петровна (1706-1758), замужем за тайным советником П.И. Салтыковым, бывшим в 1743 Новгородским губернатором; князь Николай Петрович (1708-1734), поручик; князь Алексей Петрович (1710-1748), капитан]; 3) с 1718 на графине Елизавете Ивановне Мусиной-Пушкиной, дочери сенатора, действительного тайного советника И.А. Мусина-Пушкина, внучатой племяннице патриарха Московского и всея Руси (1674-1690) Иоакима и сестре П.И. Мусина-Пушкина [их дети - князь Александр Петрович (1720-1753), прапорщик, и княжна Елизавета Петровна (1721-1764), бывшая замужем за светл. князем генерал-аншефом А.А. Меншиковым. Дочь Меншикова и Елизаветы Петровны Екатерина была замужем за С.С. Зиновьевым].
