Генерал-адмирал (с 5.09.1756). Из древнего княжеского рода. Младший сын боярина князя Михаила Андреевича Голицына (1640—1687) от брака с Прасковьей Никитичной Кафтырёвой (1645—1715). Получил домашнее образование. В 1703 определён служить на флот, в 1708 отправлен в Голландию для обучения морскому делу. В 1717 вернулся в Россию и произведён в подпоручики; участвовал в последних сражениях Северной войны 1700—1721. В июле 1720, командуя отрядом галер, отличился в Гренгамском морском бою. В 1726, в чине лейтенанта, назначен советником Адмиралтейств-коллегии. С 1727 капитан-командор. В 1727—1732 президент Юстиц-коллегии. 17.05.1728 назначен сенатором. В 1732—1739 генерал-кригс-комиссар флота, член Адмиралтейств-коллегии. В январе 1737 командирован в Тавров для наблюдения за постройкой судов на реке Дон. С января 1738 главный командир Тавровского адмиралтейства для постройки судов для укомплектования Донской флотилии; действия его были малоуспешны. С января 1740 Астраханский губернатор. Со вступлением на престол императрицы Елизаветы Петровны (ноябрь 1741) приближен ко Двору. В декабре 1741 назначен присутствовать в Сенат. 16.12.1744 произведён в действительные тайные советники. В 1745—1748 - посол в Персии. Из своего посольства привёз и стал разводить в своих оранжереях первые в России персики.
22.02.1746 произведён в адмиралы. В апреле 1749 получил «главную команду над флотом». Престарелый, больной и чуждый строевому флоту, не понимавший причин его упадка, Голицын не только был безынициативным, но и проявлял бездеятельность. Своё отношение к флоту он выразил лишь пристрастием к строительным работам: при нём окончены работы по устройству канала в Кронштадте, облицованы камнем каналы в Петербургском галерном порту, построен Морской собор в С.-Петербурге. С апреля 1750 президент Адмиралтейств-коллегии; одновременно в 1756—1762 (во время Семилетней войны) член Конференции при Высочайшем Дворе. Назначенный генерал-адмиралом перед началом Семилетней войны, Голицын не мог уже принять начальства над флотом, как это требовалось по регламенту императора Петра Великого, «за дряхлостью и болезнями». В апреле 1762 имп. Петром III уволен в отставку, но после восшествия на престол Екатерины II (июнь 1762) восстановлен в высоком звании генерал-адмирала, назначен присутствовать в Сенат и членом Адмиралтейств-коллегии. Глубокая старость не позволила Голицыну продолжать службу: в декабре 1762 он уволен в отставку с полным жалованьем 7 тысяч рублей. Удостоен высших российских орденов Св. Александра Невского (1743) и Св. Апостола Андрея Первозванного (1746). Собирал портреты, гравюры, карты. Скончался в Москве на 80-м году жизни; похоронен там же в Богоявленском монастыре.
Женат дважды: 1) на Марии Дмитриевне Головиной (ум. 1721), дочери тайного советника и сенатора Д.И. Головина; 2) на Татьяне Кирилловне Нарышкиной (1702—1757), дочери Московского губернатора К.А. Нарышкина (двоюродного брата царицы Натальи Кирилловны, матери Петра I). Дети: А.М. Голицын; князь Сергей Михайлович (1727-1806), действительный тайный советник; князь Михаил Михайлович (1731-1804), генерал-поручик, в 1780-1783 Калужский губернский предводитель дворянства; князь Дмитрий Михайлович (1735-1771), полковник; князь Пётр Михайлович (1738-1775), генерал-поручик; княжна Екатерина Михайловна (1725-1744); княжна Елизавета Михайловна (1730-?); княжна Анастасия Михайловна (1729-1779), замужем за гвардии майором Н.А. Загряжским.
