Действительный тайный советник (с 25.11.1752). Из древнего дворянского рода, происходящего от боярина Андрея Ивановича Кобылы (1-я половина XIV в.), родственного Романовым и многим другим дворянским родам. Сын бедного новгородского помещика Ивана Ивановича Неплюева от брака с княжной Марфой Петровной Мышецкой (1672—1715). Получив первоначальное домашнее образование, в 1712 записан в Новгородскую математическую школу, в 1715 переведён в Нарвскую навигационную школу и потом в Морскую академию в Петербурге. В 1716 определён в Ревельский флот гардемарином и в числе других гардемаринов отправлен в Венецию для обучения мореплаванию. Служил на галерном флоте Венецианской республики (1717–1719), на её стороне участвовал в турецко-венецианской войне 1714–1718. В 1719 учился в Королевской морской академии в Кадиксе (Испания). В 1720 прибыл в Россию; после экзамена в присутствии Петра I произведён 1.07.1720 в поручики галерного флота и назначен наблюдать за постройкой галер в С.-Петербурге.
В 1721 был назначен резидентом в Константинополь. Обстановка, в которую попал Неплюев, была чрезвычайно напряженной. Начатая Петром I в 1722 война с Ираном вызвала беспокойство турецкого правительства, которое само было заинтересовано в захвате иранских провинций. Турки, угрожая войной, потребовали вывода русских войск из Ирана. Россия и Турция были накануне разрыва дипломатических отношений. Однако Неплюеву удалось склонить визиря к заключению русско-турецкого договора о размежевании земель, который и был подписан в июне 1724. По договору Россия приобрела во владение все земли, лежащие на западном и южном побережье Каспийского моря. В награду за это получил от Петра I 400 душ крестьян и произведен в капитаны 1-го ранга. После смерти Петра I отношения между Россией и Турцией вновь обострились, и Неплюеву пришлось приложить много усилий, чтобы парализовать влияние английского и французского послов, провоцировавших Турцию на войну с Россией. Открыл при российской миссии школу для обучения переводчиков, организовал разведывательную и контрразведывательную агентурную сеть в Турции, Речи Посполитой, Швеции и других государствах. 17.07.1728 получил чин капитан-командора, а 2.12.1730 — шаутбенахта (контр-адмирала). В 1734 по болезни вернулся в Россию.
28.01.1736 переименован в тайные советники и назначен присутствовать в Коллегии иностранных дел. В 1737 участвовал в работе Немировского конгресса, затем оставлен в Киеве для сбора разл. сведений, в частности о передвижениях турецких войск. В 1740 совместно с генерал-лейтенантом кн. В.А. Репниным работал в разграничительной комиссии, занимавшейся установлением российско-турецкой границы в соответствии с Белградским миром 1739. В апреле-июне 1740 был членом следственной комиссии по делу кабинет-министра А.П. Волынского; принимал активное участие в пытках его и других обвиняемых, хотя отлично понимал, что это дело было сфабриковано Э.И. Бироном и А.И. Остерманом. В 1740-1741 Киевский губернатор, в 1741 назначен главноначальствующим над Малороссией; ему было пожаловано свыше 2 тысяч крестьянских дворов. После воцарения имп. Елизаветы Петровны (ноябрь 1741) Неплюев, обвинённый в дружбе с графом А.И. Остерманом и в пособничестве его замыслам, был отрешён от должности, лишен чинов, ордена и пожалованных деревень и под арестом привезен в С.-Петербург. Следствие, однако, показало, что Неплюев ни в каких замыслах против Елизаветы Петровны не участвовал, а потому ему возвратили чини орден (деревни же отданы были другим лицам). С 1742 начальник Оренбургской экспедиции, в 1744—1758 Оренбургский губернатор. Много сделал для обустройства Оренбургского края: для защиты от набегов кочевников основал ряд крепостей, заботился об устройстве Яицкого казачьего войска; по его предложению был составлен калмыцкий букварь и переведено на калмыцкий язык Евангелие; благодаря стараниям Неплюева Оренбург стал главным пунктом меновой торговли между русскими и азиатскими купцами.
В 1758—1760 жил в С.-Петербурге частным человеком. 16.08.1760 назначен сенатором и конференц-министром. Предложил передать Речи Посполитой занятую российскими войсками в ходе Семилетней войны 1756–1763 Восточную Пруссию в обмен на Правобережную Украину и Белоруссию. Идея Неплюева одобрена Елизаветой Петровной в 1760.
При вступлении на престол императрицы Екатерины II 28.06.1762 Неплюев играл важную роль: когда императрица вместе с войсками отправилась в Петергоф, то ему вручен был «в сохранение дражайший залог отечества нашего цесаревич Павел и столичный город Петербург со всеми в оном находящимися воинскими командами». Во время коронации Екатерины II в Москве (сентябрь 1762) Неплюев был вновь оставлен императрицей в С.-Петербурге для главного наблюдения за столицей и назначен первоприсутствующим в Сенатской конторе. За государственную деятельность удостоен орденов Св. Александра Невского (1740) и Св. Апостола Андрея Первозванного (1762). 10.11.1764 по расстроенному здоровью вышел в отставку; при этом он получил в награду «за верную, честную, многополезную и продолжительную службу» несколько деревень в Малороссии и 20 тысяч рублей. Автор записок «Жизнь Ивана Ивановича Неплюева (им самим написанная)» («Отечественные записки», 1823—26; СПб, 1893). Скончался в возрасте 80 лет в своем имении Поддубье Лужского уезда Новгородской губернии; похоронен там же.
По свидетельству близко знавшего его И.И. Голикова, «сей достопочтенный муж имел разум твердый и тонкий, деятельность неусыпную, правосудие строгое и никакими пристрастиями и интересами не поколебимое... был враг вольнодумства, суеверия, ласкательства и потаковщиков; всякие несчастия и прискорбности сносил с благодарением Богу...». Д.Н. Бантыш-Каменский писал: «С нравом твердым, решительным соединял он примерное бескорыстие, строгую справедливость, деятельность неусыпную; был доступен для каждого; дорожил казенными выгодами более, нежели собственными, о которых не заботился; не терпел молодых людей, предпочитающих праздную жизнь службе государственной; отличался любовию к Престолу, непоколебимым благочестием: каждый день слушал обедню в домовой своей церкви...» 2.01.1825 в Оренбурге было открыто военное училище, названное Неплюевским, впоследствии ставшее кадетским корпусом. В 1994 в Оренбурге открыт бюст Неплюеву, в Троицке (Челябинская область) установлен памятник Неплюеву, также его имя носит одна из улиц.
В первом браке (с 1711) женат на Феодосье Фёдоровне Татищевой (?-1740), дочери стольника Ф.Ю. Татищева. Имели детей: А.И. Неплюева; Сергея Ивановича (1716-1723); Николая Ивановича (1731—1784), сенатора; Марию Ивановну (1714-1769), замужем за вице-адмиралом В.Я. Римским-Корсаковым; Марфу Ивановну (род. и ум. в 1721); Анну Ивановну (1730-1790), замужем за тайным советником М.К. Луниным. Вторым браком (с 7.10.1741) женат на Анне Ивановне Паниной (1717—1745), дочери генерал-поручика, сенатора И.В. Панина и сестре государственного канцлера графа Н.И. Панина (также приходилась сестрой супруге А.Б. Куракина (1697-1749)). От этого брака детей не было.
