Действительный тайный советник (с 1895). Старший сын известного педагога, переводчика, автора трудов по теории словесности, античной истории Алексея Зиновьевича 3иновьева (1801—1884), происходившего из мещан, вышедшего в 1858 в отставку в чине статского советника (в 1827 он готовил М.Ю. Лермонтова к поступлению в Благородный пансион), от брака с Любовью Ивановной Назимовой (1807-1895), дочерью надворного советника И.В. Назимова. Родился в Ярославле. Образование получил в Лазаревском институте восточных языков в Москве, по окончании которого 24.11.1851 начал службу в Московском главном архиве МИД, а в 1852 перешёл в С.-Петербург в Департамент внутренних сношений МИД. На службе Зиновьев продолжал усиленно заниматься восточными языками и востоковедением и в 1855 за сочинение «Эпические сказания Ирана» в Петербургском университете получил степень магистра восточной словесности. В этой диссертации Зиновьев установил, что иранский и индийский эпосы имеют общий источник происхождения - эпосы племён, живших между реками Окс (ныне Амударья) и Инд, а в областях Мидии и Персии произошло лишь оформление иранской народности и языка. Зиновьев показал, что Фирдоуси в своей поэзии «точно следовал подлинным источникам иранских сказаний». На молодого ученого было обращено внимание, и он в 1855 командирован за границу с дипломатическим поручением, которое выполнил блестяще.
В 1856 переводчик 9-го класса в Азиатском департамента, в том же году командирован в миссию в Тегеране. С 1859 драгоман генерального консульства в Тавризе, с декабря 1859 по август 1864 консул в Реште, в 1862-1863 одновременно управляющий генеральным консульством в Тавризе. С 1864 старший секретарь миссии в Тегеране, с 1870 - посольства в Константинополе. В 1871 назначен дипломатическим агентом при князе Карле Румынском и проявил себя как энергичный и уверенный представитель России в Комиссии по разграничению сфер влияния европейских держав на Дунае. 31.03.1874 произведён в действительные статские советники. В 1876—1883 чрезвычайный посланник и полномочный министр в Персии. Считал присоединение к России территорий в Средней Азии вплоть до Афганистана необходимым для безопасности страны в закаспийских областях и для предотвращения усиления в Средней Азии позиций Великобритании. Обеспечил лояльное отношение Персии к Ахалтекинской экспедиции российских войск в 1880-1881, добился ослабления британского влияния на персидского шаха Наср-эд-дина и доказал ему, что присоединение к России Ахалтекинского оазиса избавит северыне провинции Персии от набегов туркмен и укрепит там власть шаха. Консультировал начальника экспедиции генерал-адъютанта М.Д. Скобелева по политическим вопросам и содействовал в заготовке фуража и продовольствия в пределах Персии для русского экспедиционного отряда. Поддержал предложение Скобелева присоединить к России Мервский оазис, жители которого ходатайствовали перед Зиновьевым о переходе в российское подданство (эта инициатива была отклонена во избежание дальнейшего обострения британо-российских противоречий и осложнения отношений с Персией). 17.01.1881 произведён в тайные советники. В 1881 успешно завершил переговоры с персидским правительством о проведении новой границы между Персией и Закаспийской областью и 9.12.1881 подписал русско-персидскую конвенцию об установлении границы к востоку от Каспийского моря, которая фактически оформила союз двух стран: Персия отказывалась от вмешательства в дела туркмен, проживающих в Мерве и Теджене, запрещала им провоз оружия и военного снаряжения через свои северные провинции, предоставляла России право проводить войска через персидскую границу.
С 25.02.1883 директор Азиатского департамента МИД. Активно участвовал в процессе так называемого афганского разграничения, в этом вопросе энергично отстаивал интересы России. 11.04.-10.07.1887 подписал протоколы с представителями английского правительства по определению северо-западной границы Афганистана (между реками Герируд и Амударья). В ходе Болгарского кризиса 1885-1887 Зиновьев поддерживал пропагандировавшуюся публицистом М.Н. Катковым (Зиновьев, состоявший с ним в дружеских отношениях, снабжал Каткова дипломатической информацией) и популярную в России идею насильственного отстранения от власти в Болгарии премьер-министра С. Стамболова с помощью пророссийски настроенных болгарских офицеров-эмигрантов, большая часть которых находилась в Румынии. По поручению императора Александра III Зиновьев осуществлял общую координацию их деятельности (до избрания в 1887 князем Болгарии Фердинанда I Кобургского). 8.03.1886 за труды по участию в работе комиссии по составлению проекта об устройстве управления в Туркестанском крае удостоен Высочайшей благодарности имп. Александра III.
С 12.03.1891 посол в Стокгольме при короле Швеции и Норвегии. Как опытный дипломат, знаток Востока, 3иновьев с 1.07.1897 по 25.05.1909 занимал один из самых ответственных дипломатических постов — посла в Турции. Настаивал на более активном вмешательстве России в дела Османской империи, указывая на формирование узла противоречий в Македонии и вокруг проливов Босфор и Дарданеллы, а также на обострение армянского вопроса. Предлагал провести судебную реформу в Македонии, подготовил её проект. Был убеждённым сторонником соглашения с Великобританией, стремясь оправдать любые непирятные для российского МИД заявления английского кабинета. В частности, когда министр иностранных дел Великобритании Э. Грей заявил турецкому послу в Лондоне Масурус-паше, что «не придаёт сколько-нибудь существенного значения результатам, которые дадут англо-русские переговоры», Зиновьев доказывал что попытка Лондона умалить значение сближения России и Великобритании объясняется желанием поколебать германское влияние в Константинополе, упрочить своё положение в Персидском заливе и Красном море, помешать дальнейшему строительству Багдадской железной дороги и т.д., постоянно подчёркивая намерение Англии действовать совместно с Россией. Младотурецкую революцию 1908 Зиновьев не принял и после неё вернулся в С.-Петербург. С.Ю. Витте в своих воспоминаниях отмечал: «Было не ясно, почему именно потребовалось взятие из Константинополя такого выдающегося и компетентного человека, как бывший посол Зиновьев, и назначение такого — во всех отношениях ниже посредственности, как Чарыков. Тогда говорили, что это произошло от того, что Зиновьев очень стар, хотя Зиновьев в настоящее время состоит членом Государственного Совета и, несмотря на свои преклонные лета, очень бодр». Согласно А.В. Георгиеву, Зиновьев был отправлен в отставку потому, что «проглядел» младотурецкую революцию, чрезмерно увлёкшись внешнеполитической повесткой османской империи и игнорируя развивающиеся в этой стране политические и социально-экономические процессы.
Автор ряда трудов, в том числе «Афганское разграничение» (1886, сборник документов), «Россия и Персия» (1897), «Россия, Англия и Персия» (1912). В декабре 1901 избран почётным членом Петербургской АН. 25.05.1909 назначен членом Государственного совета (с 1.01.1910 присутствующий член), с 12.08.1909 одновременно назначен состоять в ведомстве МИД. В Государственном совете примыкал к группе правых. Выступал против политики министра иностранных дел А.П. Извольского, пошедшего в 1907 на уступки Великобритании в Персии, в результате чего зона русского влияния в этом регионе уменьшилась. Исключён из списка присутствующих на 1917 в связи с болезнью (слепота).
Удостоен российских орденов: Св. Владимира 3-й степ. (1872), Св. Станислава 1-й степ. (1876), Св. Анны 1-й степ. (1878), Св. Владимира 2-й степ. (15.05.1883), Белого Орла (13.04.1886), Св. Александра Невского (1.04.1890, бриллиантовые знаки к ордену - 30.04.1899), Св. Владимира 1-й степ. (24.11.1901), Андрея Первозванного (1909), а также имел иностранные ордена: Льва и Солнца 2-й степ. со звездой (Персия, 1864), Короны 3-й степ. (Пруссия, 1868), Железной короны 3-й степ. (Австро-Венгрия, 1870), Независимости Чёрной Горы 2-й степ. (Черногория, 1871), Меджидие 2-й степ. (Османская империя, 1871), Льва и Солнца 1-й степ. (Персия, 1877), Св. Александра 1-й степ. (Болгария, 1883), Князя Даниила 1-й степ. (Черногория, 19.07.1883), Крест Св. Гроба Господня с частицей Животворящего Древа от иерусалимского патриарха Никодима (1884), Восходящего солнца 1-й степ. (Япония, 25.09.1884), Меджидие 1-й степ. (Османская империя, 18.12.1884), Спасителя большой крест (Греция, 16.07.1889), Полярной звезды большой крест (Швеция, 21.10.1889), Нидерландского Льва большой крест (12.08.1890), Такова 1-й степ. (Сербия, 12.08.1890), Почётного легиона большой офицерский крест (Франция, 4.12.1890), Короны Италии большой крест (1891), Св. Олафа большой крест (Норвегия, 1.10.1897), Св. Олафа 1-й степ. (Норвегия, 9.05.1898), Османие 1-й степ. с бриллиантами (Османская империя, 29.03.1899), Меджидие 1-й степ. с бриллиантами (Османская империя, 28.03.1899), «За гражданские заслуги» 1-й степ. с бриллиантами (Болгария, 27.04.1900), Нишан-Ифтикар (Османская империя, 18.10.1900), Белого орла 1-й степ. (Сербия, 5.05.1901), Св. Саввы 1-й степ. (Сербия, 1901), Короны с бриллиантами (Бухара, 27.02.1902), Белого слона 1-й степ. (Сиам, 1902), Леопольда большой крест (Австро-Венгрия, 5.11.1904), Звезды Румынии 1-й степ. (13.09.1905), Св. Маврикия и Лазаря болшой крест (1909). Также имел медали: «В память войны 1853—1856», «За взятие штурмом Геок-Тепе», «В память царствования Императора Николая I», «В память царствования императора Александра III», «В память 300-летия царствования дома Романовых», золотую и серебряную медали Имтияза (Османская империя, 28.03.1899), портреты персидских шахов, украшенные бриллиантами - Наср-эд-дин-шаха (1878) и Мозаффар-эд-дин-шаха (6.05.1899), знак отличия беспорочной службы за 50 лет и знак Красного Креста. Скончался в Петрограде на 82-м году жизни, похоронен в Москве на Красносельском кладбище Алексеевского монастыря.
Женат на Анне Богдановне (?-1917), вдове С.И. Базилевского (1822-1867), врача Русской духовной миссии в Китае, а затем посольства в Персии. Их единственный сын умер малолетним. Вырастил дочь С.И. Базилевского и Анны Богдановны Александру Степановну, замужем (до 1897) за дипломатом, статским советником И.Ф. Похитоновым (1853-1913), бывшим с 1910 генеральным консулом России в Тегеране.
