Действительный тайный советник (с 1726). Сын ближнего боярина Артамона Сергеевича Матвеева (1625—1682) от брака с Евдокией Григорьевной Гамильтон (ум. 1672), дочерью шотландца, переселившегося в Россию в начале XVII в. В их доме в Москве воспитывалась Наталья Кирилловна Нарышкина, будущая царица и мать императора Петра I. Родился в Москве. Получил прекрасное по тому времени домашнее образование, знал иностранные языки, говорил по-латыни. В 1674, на 8-м году жизни, царём Алексеем Михайловичем пожалован в комнатные стольники. Когда после смерти Алексея Михайловича в результате распрей с Милославскими А.С. Матвеев был сослан в 1676 в Пустозёрский острог, Андрей разделил с отцом все тяготы ссылки. После смерти царя Фёдора Алексеевича и воцарения 10-летнего Петра Алексеевича (апрель 1682) оба они вернулись в Москву, и Матвеев вновь был приближен ко Двору. Во время стрелецкого бунта в мае 1682 Матвеев, скрываясь в царских палатах, был свидетелем гибели отца. В 1683—1684 в звании стольника находился в подмосковном селе Преображенском при царе Петре Алексеевиче. В 1691—1693 Двинский воевода. В 1692 возведён в сан окольничего, а затем пожалован Ярославским наместником.
2.04.1699 направлен чрезвычайным и полномочным министром в Голландию с приписанием к нему дьяка И.М. Волкова, став одним из первых постоянных дипломатических представителей России за границей. Добился согласия Нидерландов на посредничество при заключении между Россией и Османской империей Константинопольского мира 1700. В начале Северной войны 1700–1721 осуществлял тайные закупки нидерландского оружия и наём военных специалистов, одновременно пытался предотвратить оказание нидерландской и английской помощи Швеции (однако шведско-нидерландский союзный договор был возобновлён в 1703), собирал сведения о внутреннем устройстве и внешней политике европейских стран, о чём оперативно информировал Петра I и руководство Посольского приказа.
В 1705—1720 по поручению царя Петра I Mатвеев неоднократно находился в Париже с целью заключения (несостоявшегося) торгового договора с Францией и привлечения её к посредничеству в заключении мира между Россией и Швецией, вёл переговоры о возвращении конфискованных французским правительством российских торговых судов. Добился свободного доступа росийских торговых судов во французские порты с 1706 и заручился расположением короля Людовика XIV, обещавшего установить с Россией «тесные отношения», как только «позволят обстоятельства».
В 1707—1708 направлялся со спецмиссией в Лондон для обсуждения вопроса о посредничестве британского правительства в Северной войне, а также о недопущении признания Лондоном Станислава Лещинского польским королём. Цели миссия Матвеева не достигла, а из-за интриг при английском дворе Матвеев оказался заключённым в долговую тюрьму. Этот инцидент вызвал возмущение всего дипломатического корпуса в Лондоне. Матвеев был немедленно освобождён, а английское правительство выразило сожаление о случившемся. Под влиянием протеста Петра I английский парламент принял закон о неприкосновенности дипломатических представителей. Вернувшись в Гаагу, Матвеев, используя победу России в Полтавской битве 1709, добился признания Нидерландами Августа II Сильного королём Речи Посполитой и нейтрализовал антироссийские действия британских и нидерландских дипломатов, что ускорило заключение Копенгагенского союзного договора 1709 и способствовало восстановлению Северного союза 1699–1721. В 1712 получил чин тайного советника. Собранная Матвеевым информация донесения о французских чинах и английском дворе была использована при составлении Табели о рангах в 1722. Также основал в Гааге первую русскую духовную миссию при дипломатическом представительстве за границей.
11.09.1712 Пётр I направил Матвееву указ ехать в Карлсбад с переводчиком Л. Ланчинским, а на его месте в Гааге быть Б.И. Куракину. В 1712—1715 чрезвычайный и полномочный посол в Вене. Вёл безуспешные переговоры о заключении оборонительного союза с Австрией против Турции. 9.02.1715, при отъезде из Вены, возведен императором Карлом VI (с согласия Петра I) в графское Римской Империи достоинство. По возвращении в Россию занимал должности директора Морской академии и Навигацкой школы (1716—1719). 15.12.1717 назначен сенатором и президентом Юстиц-коллегии. 24.06.1718, будучи членом Верховного суда, подписал смертный приговор царевичу Алексею Петровичу. В 1724—1726 президент Московской сенатской конторы и Московский губернатор. В 1726 проводил первую сенатскую ревизию Московской губернии, которая вскрыла казнокрадство и неисполнение многими местными чиновниками указов Петра I и имп. Екатерины I. Решением Матвеева в Переславле-Залесском были повешены служащие Камерирской конторы. В июне 1727, в царствование Петра II, вышел в отставку. Скончался в Москве на 62-м году жизни; похоронен рядом с отцом при церкви Николая Чудотворца, в Столпах.
Крупный российский дипломат и государственный деятель, один из образованнейших людей своего времени, Матвеев был человеком большого ума и способностей. Французский дипломат Ла Невиль, встречавшийся с ним в 1689 в Москве, писал: «Он очень умён, хорошо говорит по-латыни, любит читать и очень рад узнать об европейских новостях; у него особая склонность к иностранцам. Я его уговаривал изучить французский язык, уверяя, что в свои 22 года он легко им овладеет и сможет удовлетворить свою страсть к чтению, поскольку все древние и современные авторы имеются во французских переводах... Латыни его выучил некий поляк, которого отцу Матвеева разрешили взять с собой в ссылку». Дипломатическая работа за границей ещё более расширила познания и интересы Матвеева. Он собрал ценную библиотеку, превышавшую 1 тысячу томов, где были книги на латинском, французском, польском, немецком, голландском и греческом языках (главным образом по богословию, философии и истории).
В последние годы жизни Матвеев составил описание стрелецкого бунта 1682 с кратким изложением последующих событий до 1698 (в этом сочинении стремился очернить сторонников царевны Софьи Алексеевны и саму царевну и возвеличить роль Нарышкиных и своего отца). В сочинении «Архив, или Статейный список Московского посольства, бывшего во Франции», написанном в 1705-1706 и впервые опубликованном в 1972 под названием «Русский дипломат во Франции (Записки А. Матвеева)», Матвеев описал политическое устройство Франции эпохи Людовика XIV, рассказал о видных государственных мужах и художественных памятниках, даже «о метрессах, или любовницах королевских». Остался неопубликованным его перевод «Церковных анналов» Ц. Барония.
Женат трижды: 1) (с 29.04.1683) на Анне Степановне Аничковой (1666—1699), дочери стольника С.А. Аничкова; 2) на княжне Марфе Фёдоровне Барятинской; 3) (с 1720) на вдове Анастасии Ермолаевне Аргамаковой (?-1756). Имел детей от первого брака: Алексея Андреевича (умер во младенчестве); графа Фёдора Андреевича (1696—1734), подполковника, со смертью которого пресекся род графов Матвеевых (он был одним из первых русских, вызвавших на дуэль); графиню Наталью Андреевну (1697-?), замужем за князем В.И. Мещерским; графиню Марию Андреевну (1698—1788), замужем за генерал-аншефом графом А.И. Румянцевым (её внуки - Н.П. Румянцев и С.П. Румянцев); графиню Екатерину Андреевну (1718-1749), замужем за генерал-поручиком А.С. Шепелевым.
