Тайный советник (с 1792), камергер (с 28.06.1782). Сын графа Мартына Карловича Скавронского (1714—1776) от брака с баронессой Марией Николаевной Строгановой (1732—1805). 15.08.1773 пожалован в камер-юнкеры. После смерти отца, вместе с матерью жил в Италии, где получил блестящее образование. Для него и его матери Италия стала новой родиной; он почти совсем не видел и не знал России. В Италии возникла и главная страсть его жизни: необыкновенная любовь к музыке. «Был он великий чудак,— писал Ф.Ф. Вигель,— никакая земля не нравилась ему, кроме Италии, всему предпочитал он музыку, сам сочинял какую-то ералаш, давал концерты...». По наблюдению современников, страсть к музыке дошла у Скавронского — последнего представителя своего рода, до странной извращенности: он сочинял и исполнял музыкальные произведения, покровительствовал музыкантам и певцам, давал и слушал концерты; он довел свою любовь к музыкальным упражнениям до того, что прислуга в его доме могла говорить с ним не иначе, как речитативом. Огромное состояние, находившееся в руках Скавронского, давало ему возможность жить в Милане, Флоренции, Венеции и Риме с царской пышностью.
В начале 1780-х гг. Скавронский прибыл в С.-Петербург, а в ноябре 1781 женился на племяннице светл. князя Г.А. Потёмкина Е.В. Энгельгардт. Эта свадьба состоялась по особому желанию Г.А. Потёмкина, который, как отмечали современники, имел особые виды хлопотать о быстрейшем замужестве любимой племянницы. Знатное родство открыто ему путь к карьере. Жена выпросила мужу несколько чинов и орденов. В 1785 Скавронский назначен посланником в Неаполе. Должность посла в любимой им Италии пришлась по душе Скавронскому; кроме того, этот пост был малоответственным и не требовал больших трудов, он по-прежнему мог всецело отдаваться музыке и коллекционированию произведений искусства. При этом особенного интереса к деипломатии не испытывал. Его современник В.Н. Зиновьев писал о Скавронском: «Соединяет он с крайней неосторожностью в разговорах высокомерие о своё месте... везде и во всякой тесноте кричит о сём и людям своим приказывает , что он "il ministro di Moscovia"». Фактически же политическими делами российской миссии занимался её секретарь А.Я. Италинский.
Со времени своей женитьбы Скавронский поддерживал дружеские отношения с светл. князем Г.А. Потёмкиным, выражавшиеся со стороны Скавронского посылками подарков — итальянских редкостей, а со стороны Г.А. Потёмкина — доставлением Скавронскому и его жене отличий и почестей. В последние годы жизни Скавронский был болен, что мешало ему вести открытый образ жизни. По словам современника Горани, «этот человек страдает от последствий излишеств в молодости, он раньше жил в такой веселой компании, что теперь напоминает ходячий скелет. От него несет смрадным запахом, смешанным с мускусом, пропитывающим его платья, отчего встреча с ним становится столь же несносной, сколь небезопасной. Когда он появляется в театре, ложи по соседству с его ложей становятся пустыми. Неоднократно бывали случаи, что лица мужского или женского пола не могли вынести его присутствия и лишались чувств». Скончался в Италии на 37-м году жизни. С его кончиной угас род графов Скавронских.
Его супруга (с 10.11.1781), Екатерина Васильевна Энгельгардт (1761—1829), была младшей дочерью смоленского помещика В.А. Энгельгардта от брака с сестрой светл. князя Г.А. Потёмкина Еленой Александровной. Она, по словам современников, обладая прекрасной фигурой, была чудно хороша и бесконечно симпатична. «Она всех сестер была пригожее, и дядюшка в нее влюбился; влюбиться, на языке Потёмкина, значило наслаждаться плотью, любовные его интриги оплачивались из казны милостью, отличиями и разными наградами, кои потом обольщали богатых женихов и доставляли каждой племяннице, сошедшей с ложа сатрапа, прочную фортуну на всю жизнь»,— писал князь И.М. Долгоруков, двоюродный брат Скавронского. Без всякого образования, не отличаясь умственными способностями, Екатерина Васильевна была кроткая, вечно скучающая, с флегматичным характером. Она пользовалась расположением имп. Екатерины II, бывала на эрмитажных собраниях у императрицы и в 1780 в числе четырех фрейлин сопровождала её в поездке в Белоруссию. После брака (Скавронский знал о её отношениях с Г.А. Потёмкиным), в августе 1786 была пожалована в статс-дамы. В Италию вместе с мужем она не поехала, а осталась в С.-Петербурге, и лишь болезнь Скавронского заставила ее выехать к нему в Неаполь. Здесь она проводила дни в праздности, вечер за картами, а ложась спать, слушала сказки крепостной девушки. По словам известной художницы Э.Л. Виже-Лебрен, «высшим счастьем её было лежать на кушетке без корсета, закутавшись в огромную черную шубу». Бриллиантов, подаренных ей Г.А. Потёмкиным, она почти не надевала; смотря на сундуки изысканных нарядов из Парижа, она только говорила: «Для чего, для кого, зачем?». После смерти Скавронского, которого она никогда не любила, Екатерина Васильевна вернулась в С.-Петербург. В 1798 вышла замуж за графа Ю.П. Литта (бывшего впоследствии обер-камергером и членом Государственного совета). В 1809 ей был пожалован орден Св. Екатерины 1-й степ., а в 1824 она получила придворное звание гофмейстерины.
От брака с Е.В. Энгельгардт Скавронский имел двух дочерей: графиню Марию Павловну (1782-1857), бывшую в первом браке за генералом от кавалерии графом П.П. фон дер Паленом, во втором — за генералом от кавалерии графом А.П. Ожаровским, и графиню Екатерину Павловну (1783-1857), бывшую в первом браке за генералом от инфантерии князем П.И. Багратионом, а во втором — за 2-м бароном Хоуденом.
