Действительный статский советник (с 2.04.1895), гофмейстер (c 13.04.1908). Сын тайного советника Валерия Ивановича Чарыкова (1818-1884), бывшего Вятским (1869-1875) и Минским (1875-1879) губернатором, и Аделаиды Дмитриевны Путиловой (1834-1861). Родился в селе Новая Григорьевка Екатеринославской губернии. В 1865-1870 обучался в Великобритании, в 1871 поступил в Императорский Александровский лицей. После его окончания причислен с 20.12.1875 к Московскому Главному архиву МИД, затем служил в канцелярии министерства. В 1880 пожалован в камер-юнкеры.
С 10.10.1883 служил дипломатическим чиновником при Туркестанском генерал-губернаторе, 20.12.1885 произведён в коллежские советники. С 1.01.1886 — политический агент в Бухаре. В его деятельности важнейшее место занимало содействие постройке железной дороги через Бухару. Чарыков вёл дела по отчуждению земель под Закаспийскую железную дорогу, благодаря его стараниям уже 1.12.1886 Чарджуйская железнодорожная станция была открыта без инцидента. Чарыков ведал постройкой здания под Российское Императорское политическое агентство, которое было открыто в Кагане в 12 км от станции Бухары в 1891. Исполнял он также обязанности судьи над русскоподданными и бухарцами, а также консульские обязанности. 20.12.1889 произведён в статские советники.
С 27.03.1890 - делопроизводитель V класса при Азиатском департаменте МИД, с 28.08.1890 - 1-й секретарь посольства в Константинополе, с 16.06.1893 - советник посольства в Берлине. В 1893 официально встречал цесаревича Николая Александровича, который возвращался в Россию из Англии через Голландию и Берлин. После отзыва посла П.А. Шувалова 13.12.1894 стал поверенным в делах России в Германии, исполнял обязанности главы посольства до 10.03.1895, поскольку назначенный в январе послом А.Б. Лобанов-Ростовский через месяц был назначен министром иностранных дел России и в Берлин не прибыл. Но и в дальнейшем, находясь в подчинении у нового посла Н.Д. Остен-Сакена, Чарыков де-факто вёл работу посольства, снабжая МИД России аналитическими депешами, которые позволяли адекватно оценивать внутреннюю ситуацию в Германии и её международное положение. В период назревания «торговой войны» России и Германии Чарыков стремился избежать разрыва между двумя империями, считал, что вина за ухудшение отношений стран лежала на канцлере Германии Л. фон Каприви. В письме к министру иностранных дел Н.К. Гирсу Чарыков излагал своё видение ближневосточной доктрины во внешней политике Российской империи. Он полагал, что интересы России здесь «положительные», там находится «источник нашего богатства и естественное, исторически подготовленное поле для применения наших производительных и зиждительных сил». Предостерегал российское правительство от дальнейшего ослабления контингента русских войск на границе с Турцией, которая, подстрекаемая германским правительством, рассматривала это не как жест доброй воли, а как свидетельство слабости России. С уходом части войск, по словам Чарыкова, «...ослаблено, более чем пропорционально самой цифре этих войск, наше нравственное воздействие на Порту». Германия же продолжает развивать свою колонизацию на Босфоре, увеличивает сбыт своих товаров и строит малоазиатские железные дороги, «которые вредны для нас в военном отношении». Во время работы в Германии Чарыков также возглавлял Свято-Князь-Владимирское братство, в задачи которого входило содействие нуждающимся российским гражданам любого христианского исповедания и всем православным христианам в принципе. 2.04.1895 пожалован в камергеры.
1.02.1896 Чарыков был назначен дипломатическим агентом в Болгарии - первым российским представителем в княжестве после разрыва его отношений с Россией в 1886. Посол Франции в Константинополе П. Камбон сообщал своему министру иностранных дел Г. Аното: «Я надеюсь, что Чарыков с большой лёгкостью и ещё большей корректностью сможет поддержать в Болгарии положение, которое Россия занимает там сейчас». За нормализацией русско-болгарских отношений последовало признание князя Фердинанда Кобургского остальными державами, подписавшими Берлинский трактат 1.07.1878. 18.02.1897 вернулся на пост советника посольства в Берлине. С 18.02.1897 состоял при папском дворе в качестве министра-резидента.
С 16.09.1900 — чрезвычайный посланник и полномочный министр в Сербии. Благодаря стараниям Чарыкова удалось наладить прямое парходное сообщение между Россией и Сербией. В июне 1901 при
участии Чарыкова и посредничестве представителя российского правительства в Обществе Черноморско-Дунайского пароходства Е.Л. Кочетова в Белграде состоялось подписание прелиминарного соглашения о сотрудничестве Черноморско-Дунайского и Сербского пароходств, в апреле 1902 одобренного правительствами обеих стран. В итоге товарооборот между Россией и Сербией существенно вырос.
19.03.1904 назначен членом Совета МИД. С 13.04.1905 чрезвычайный посланник и полномочный министр в Нидерландах. В 1907-1909 занимал должность товарища министра иностранных дел. В 1909—1912 — посол в Константинополе.
Миссия Чарыкова в Константинополе была направлена на создание общебалканского союза (включая Турцию) под эгидой России. С этой целью Чарыков проводил политику сближения с турецким правительством. В августе 1909 он участвовал в переговорах о свидании Николая II с турецким султаном, которое, однако, не состоялось (к власти в Турции пришли прогермански настроенные круги). Когда в 1911 германское влияние в Турции пошатнулось в связи с нападением на Турцию союзницы Германии — Италии, царская дипломатия решила использовать этот момент, чтобы ещё раз попытаться добиться открытия черноморских проливов для русского военного флота. Получив предписание начать переговоры с турецким правительством, Чарыков 12.10.1911 вручил великому визирю Саид-паше проект русско-турецкого соглашения, согласно которому Россия обязывалась в отмену договора 1900 разрешить Турции железнодорожное строительство в Северной Анатолии, а также оказывать Турции поддержку для сохранения статус-кво в регионе Босфора и Дарданелл. Чтобы облегчить выполнение последнего условия, турецкое правительство должно было взять на себя обязательство не препятствовать проходу русских военных судов через проливы. Саид-паша в течение нескольких недель оттягивал ответ на русские предложения. Когда же выяснилось, что державы противятся удовлетворению требований России, турецкое правительство отвергло представленный Чарыковым проект соглашения. 2.12.1911 Чарыков получил инструкцию прекратить начатые им переговоры. В связи с неудачей демарша Чарыкова министр иностранных дел России С.Д. Сазонов дезавуировал действия своего посла, заявив, что Россия не ведет с Турцией никаких официальных переговоров о проливах. 2.03.1912 Чарыков был отозван из Константинополя и на этом закончил свою дипломатическую карьеру, получив 26.02.1912 должность сенатора. Как писал по этому поводу в своих «Воспоминаниях» С.Ю. Витте, «Как раз сегодня появилось в газетах, что Чарыков назначен присутствующим в Сенат, иначе говоря уволен от должности Константинопольского посла и уволен при особых обстоятельствах; так как обыкновенно послы назначаются членами Государственного Совета, а не в Сенате. Когда последовало назначение Чарыкова послом, то для всех лиц, которые хотя немного знали Чарыкова, было ясно, что Чарыков сколько бы то ни было удовлетворительным послом на месте, требующем деятельности, быть не может. Чарыков человек не дурной, порядочный, весьма ограниченный, склонный к занятиям нумизматикой и другими подобными нерво-успокоительными учеными делами, но никоим образом не обладает тою светлостью ума и талантливостью, которые требуются от деятельного дипломата».
За службу удостоен российских орденов Св. Станислава 2-й степ. (4.04.1884), Св. Анны 2-й степ. (5.04.1887), Св. Владимира 3-й степ. (1.04.1890), Св. Станислава 1-й степ. (13.04.1897), Св. Анны 1-й степ. (14.04.1902), Св. Владимира 2-й степ. (17.04.1905), иностранных орденов Итальянской короны креста (1876), Вендской короны креста (Мекленбург-Шверин, 1879), Пия IX большого креста (Ватикан, 21.04.1883), князя Даниила I 3-й степ. (Черногория, 26.07.1883), Красного орла 3-й степ. (Пруссия, 8.09.1883), Изабеллы Католической 1-й степ. командорского креста (Испания, 3.01.1884), Меджидие 2-й степ. (Османская империя, 28.12.1892), Короны 2-й степ. (Пруссия, 1894), Св. Александра командорского креста со звездой (Болгария, 2.04.1896), Красного орла 2-й степ. (Пруссия, 13.04.1896), «За гражданские заслуги» 1-й степ. с бриллиантами (Болгария, 22.04.1897), Почётного легиона офицерского креста (Франция, 22.04.1897), Св. Григория Великого большого креста (Ватикан, 5.05.1901), Оранско-Нассауского дома 1-й степ. (Нидерланды, 1907), Белого орла 1-й степ. (Сербия, 1.07.1909). Имел также знаки отличия военного ордена 3-й и 4-й степ., медали «За походы в Средней Азии 1853-1895 гг.», «В память войны 1877-1878 гг.», в память имп. Александра III, сербский знак Общества Красного Креста (13.08.1902), нидерландскую медаль в память второй конференции мира (1907) и др.
После Октябрьской революции 1917 проживал в Крыму. По воспоминаниям племянника Чарыкова Г.Н. Михайловского, ночью 18 февраля 1918, «когда было расстреляно так много флотских офицеров и вообще видных деятелей царского времени, в их квартире было три ночных обыска, а моего дядю Чарыкова отвели и на расстрел и не расстреляли лишь потому, что один из главарей - матрос, бывший в Константинополе, узнал его. С словами "Мы тебя милуем за то, что к нам, матросам, хорошо относился", он тут же объяснил своим товарищам, что, мол, "хороший посол был - матросские ёлки устраивал"... Эти матросские ёлки и спасли моего дядю, которого сопровождал его пятнадцатилетний сын, твёрдо уверенный, что отец не переживёт эту ночь». Крайне отрицательно отнёсся к заключению Брестского мира. После изгнания большевиков, когда Крыма был оккупирован немецкими войсками, 14.09.1918 вошёл в состав крымского правительства М.А. Сулькевича в качестве министра народного просвещения, одновременно в качестве председателя дипломатической комиссии руководил внешней политикой этого правительства и был его представителем на переговорах с гетманом Украины П.П. Скоропадским о заключении украино-крымского союза. Михайловский отмечал: «Сулькевич до такой степени регулярно советовался по политическим делам с Чарыковым, что в крымских газетах (в Крыму была свобода печати) Чарыкова и Сулькевича изображали в виде сиамских близнецов». При Чарыкове министерству просвещения удалось изыскать средства на погашение задолженности в содержании ряда учебных заведений Крыма: Феодосийской и Карасубазарской мужских гимназий, Учительского института. Вышел в отставку вместе с Сулькевичем 15.11.1918.
После 1919 эмигрировал в Константинополь, где и скончался. Как вспоминал Михайловский, «Чарыков как бывший посол имел большой вес и в местных турецких кругах, и у союзников. Он состоял в правлении одного из русских банков и жил в окрестностях Константинополя (Бебек). Дипломат старой школы, он следил за политикой и в то же время поддерживал светские знакомства среди иностранцев, что давало ему гораздо больше реального влияния, чем официальным представителям деникинского или врангелевского правительств... Чарыков участвовал и в жизни русского общества. Так, например, он был председателем местного русского благотворительного кружка, который занимался не только благотворительностью, но и общественной деятельностью».
Был действительным членом Русского Исторического общества (с 2.04.1910). Почётный член Русского Археологического Института в Константинополе, Императорского Московского Археологического Института имени Императора Николая II и Тульской Губернской Учёной Архивной Комиссии. Действительный член Императорского Русского Археологического Общества, Императорского Русского Географического Общества, Историко-Родословного Общества в Москве и Русского Генеалогического Общества. Автор исторических трудов: «Посольство в Англию дворянина Григория Микулина в 1600 и 1601 годах» (СПб., 1876), «Космография. 1670» (СПб., 1883), «Карл Осипович Хис» (СПб., 1902), «Le chevallier Barberini cher le tsar Ivan le Terrible» (Paris, 1904), «Посольство в Рим и служба в Москве Павла Менезия. 1637–1694» (СПб., 1906), «Известия о дуэли Пушкина имеющиеся в Голландии» (СПб., 1909), «Об итальянской фреске, изображавшей Иоанна III и Софию Палеолог» (М., 1912), а также биографического очерка о своём отце в «Русском биографическом словаре» и нескольких мемуарных сочинений, последнее из которых было опубликовано уже после его смерти: «Glimpses of High Politics» (London, 1931) (русский перевод: «Беглый взгляд на высокую политику». М., 2016).
От брака с Верой Ивановной Ивановой, дочерью тайного советника И.А. Иванова, служившего директором Учебного отделения восточных языков МИД, имел сыновей Георгия Николаевича (1902-?), Александра Николаевича (1905-?) и дочь Александру Николаевну (1907-?).