Граф, тайный советник (с 5.04.1887), гофмейстер (с 1.01.1888). Из древнего дворянского немецкого рода, ведущего своё начало с XI в., представители которого переселились в Лифляндию и Эстляндию. Сын генерала от инфантерии Карла Фёдоровича (Карла-Вильгельма) Толя (1777-1842), бывшего с 1833 главноуправляющим Департаментом путей сообщения и публичных зданий, от брака с Ольгой Густавовной Штрандман (1796 - ?). Дядя П.К Палена, шурин Э.Р. Унгерн-Штернберга. Родился в С.-Петербурге. Воспитывался в Пажеском корпусе, 13.08.1853 из камер-пажей произведён в корнеты Кавалергардского полка, в 1855 получил звание поручика. 30.11.1857 поступил в Академию Генерального штаба, но по болезни отчислен 1.04.1858 и уволен с военной службы. 30.08.1858 определён на службу в МИД, 10.12 назначен младшим, а в 1862 старшим секретарём миссии в Вюртемберге. Поверенный в делах (1870-1876) и министр-резидент (1876-1882) в Саксен-Веймаре. В 1873 пожалован в камергеры, 16.12.1875 произведён в действительные статские советники. С 1882 посланник в Дании. По словам А.А. Половцова, Толь был «человек весьма посредственный, ограниченный, но в полном смысле порядочный». За службу награждён русскими орденами, включая Св. Станислава 2-й степ. (1864), Св. Анны 2-й степ. (1869), Св. Владимира 3-й степ. (1872), Св. Станислава 1-й степ. (1879), Св. Анны 1-й степ. (15.05.1883) и св. Владимира 2-й степ. (21.04.1891), и иностранными, в том числе Короны командорского креста (Вюртемберг, 1870), Белого Сокола командорского креста 1-й степ. (Саксен-Веймар, 1871), Белого Сокола 1-й степ. ( Саксен-Веймар, 1882), Данеброга большого креста (Дания, 13.06.1883). Скончался в Копенгагене, похоронен в родовом имении Аррокюль Эстляндской губернии.
От брака со своей кузиной Еленой Карловной Штрандман (1834-1910), фрейлиной вел. княгини Екатерины Михайловны, дочерью генерал-майора К.Г. Штрандмана, имел дочерей: Ольгу Карловну (1863-1916), фрейлину, замужем за И.А. Кудашевым, и Маргариту (Марию) Карловну (1865-1942), фрейлину, замужем за А.П. Извольским. По воспоминаниям Е.А. Нарышкиной о 1881 годе, «Центром нашего светского общества в Карлсбаде была графиня Толь. Она сохранила свою красоту и моложавость, но имела уже при себе двух столь же красивых дочерей. Появление этих трёх красивых дам, в черных платьях и очень больших черных шляпах, делало сенсацию на гуляньях и в ресторанах, где по обыкновению все наше общество обедало вместе».
