Оказавшись в среде петербургской бюрократической элиты, — справедливо отмечает современный историк В. Л. Степанов, — Бунге не хотел выполнять «правила игры» — никогда не реагировал на нападки и не наносил ответных ударов, не был способен к интригам и закулисной борьбе. Как государственному деятелю ему часто не хватало напористости и настойчивости в достижении цели. В своей политике он всегда действовал осторожно, с обдуманностью учёного, тщательно взвешивал последствия каждого шага (405, 1991,№ 1, с. 127). В своих потребностях он был предельно скромен. Отправляясь в Гатчину для доклада Александру III, Бунге обычно ехал на вокзал на простом извозчике. Он тратил на свои нужды только часть доходов, составлявших 20 тыс. руб. в год. Прочие суммы поступали в кассы благотворительных учреждений для бедняков и учащейся молодёжи.
В определённой мере на первых порах ряд инициатив нового министра финансов поддержали сторонники либерального курса, осевшие в Государственном совете после увольнения с высших постов — А. А. Абаза, М. Т. Лорис-Меликов, Д. А. Милютин, М. С. Каханов, Е. А. Перетц и др. Существенную помощь Бунге оказывали Абаза, вновь занявший должность председателя Департамента государственной экономии, и председатель Комитета министров М. X. Рейтерн. Стремясь иметь твёрдую опору в своём ведомстве, Бунге постарался привлечь в него способных, энергичных и близких себе по взглядам людей. Пост первого управляющего Крестьянским и Дворянским банками занял его бывший ученик Е. Э. Картавцев. Место члена Совета по железнодорожным делам было отдано также своему киевскому ученику Д. И. Пихно. Директором Департамента окладных сборов был назначен человек большого ума А. А. Рихтер, а вице-директором В. И. Ковалевский, которому дал очень высокую оценку в своих воспоминаниях С. Ю. Витте. В одном из первых своих всеподданнейших докладов (1883) Бунге так определил свою финансовую программу: «Внимательное изучение слабых сторон нашего государственного строя указывает на необходимость обеспечить правильный рост промышленности достаточным для неё покровительством: укрепить кредитные учреждения на началах, проверенных опытом, способствуя притом удешевлению кредита; усилить в интересах народа и государства доходность железнодорожных предприятий, установив над ними надлежащий контроль; упрочить кредитное денежное обращение совокупностью направленных к достижению этой цели постепенно проводимых мер, ввести преобразования в систему налогов, сообразные со строгой справедливостью и обещающие приращение доходов без обременения плательщиков податей; наконец, восстановить превышение доходов над расходами (без чего улучшение финансов немыслимо) ограничением сверхсметных кредитов и соблюдением разумной бережливости во всех отраслях управления». Из этой программы министру, безусловно, не удалось выполнить превышения доходов над расходами из-за значительных выплат на срочное погашение государственных займов. Во всём же остальном время правления Н. X. Бунге явилось, поистине, выдающейся эпохой в истории русских финансов. Принято считать, что главное внимание в его политике было направлено на решение крестьянского вопроса и податного дела. Одним из первых мероприятий главы финансового ведомства явилось понижение выкупных платежей, которое он считал необходимым для улучшения благосостояния сельского населения. Понижение было произведено в размере 1 руб. с каждого обложенного выкупными платежами душевого надела в великорусских местностях и на 16 коп. с рубля в малороссийских местностях. Общая сумма понижения составила до 12 млн рублей в год.
Бунге стремился исполнить свою заветную мечту о развитии в России частного крестьянского землевладения. Переводом 28 декабря 1881 г. бывших помещичьих, а 12 июня 1886 г. государственных крестьян на обязательный выкуп достигалась цель либерального большинства Редакционных комиссий — приобретение крестьянами земли в собственность (там же). (Напомню, что Редакционные комиссии 1859-1860 гг. были учреждены при Александре II для подготовки законопроекта об отмене крепостного права.) В период 1882-1886 гг. была отменена подушная подать, составлявшая со времён Петра I краеугольный камень всей отечественной финансовой системы. Пойти на уничтожение подушной подати и понижение выкупных платежей, т. е. отказаться от доходов до 70 млн руб. в то время, когда бюджет давал дефицит, мог только такой прекрасный знаток русской экономической жизни, каким был Н. X. Бунге. Безусловно, недобор в бюджет заставил министра обратиться к другим источникам и — прежде всего — к увеличению налогов с других доходов. При нём возросли косвенные налоги, акциз на спирт, табак, сахар. На спирт были увеличены налоги (сперва до 8 копеек по закону 19 мая 1881 г., затем до 9 коп. за градус по закону 18 мая 1885 г.), на сахар (12 мая 1881 г.), на табак (18 мая 1882 г.). В целом с 1881 по 1886 г. питейный сбор возрос с 225’365 тыс. до 236’977 тыс. руб., т. е. на 5%, сборы с акциза на сахар, табак и нефть увеличились с 16’465 тыс. до 35’262 тыс. руб. (189, с. 640—642), т. е. более чем на 100%. 19 января 1882 г. был повышен гербовый сбор.
К сожалению, тяжесть косвенных налогов почти целиком легла на плечи крестьянства, что свело на нет всё социальное значение податных реформ.
В 1882, 1884 и 1885 гг. значительно повышались таможенные пошлины на многие импортные товары. В результате этого доход от этих мер возрос с 1881 по 1886 г. с 85’764 тыс. до 112’447 тыс. руб., т. е. более чем на 30% (там же). Следует заметить, что повышение таможенных пошлин также имело большое значение и для развития отечественной промышленности. Для увеличения доходов правительство предпринимало и другие шаги. Был закрыт транзит через Закавказье, введён налог на золотопромышленность, установлены дополнительные и раскладочные сборы с торгово-промышленных предприятий (законы 5 июля 1884 г. и 5 января 1885 г.), повышен налог с недвижимых имуществ в городах (13 мая 1883 г.), увеличен государственный поземельный налог, введён сбор с доходов от денежных капиталов и налог на дарения и наследства, повышены налоги на заграничные паспорта и регулировалась продажа напитков. С целью улучшения порядка взимания налогов в 1885 г. по проекту А. А. Рихтера был учреждён институт податных инспекторов. Большое значение для дальнейшего экономического развития страны имели учреждённые при Бунге новые государственные кредитные учреждения. Для помощи крестьянам в приобретении частновладельческих земель 18 мая 1882 г. Александр III утвердил Крестьянский банк, который начал свои действия с 10 апреля 1883 г. и просуществовал до 25 ноября (10 декабря) 1917 г. Бунге провёл закон о возобновлении повсеместного создания акционерных частных банков. В 1885 г. был утверждён Дворянский банк. Министр финансов стал инициатором первых в нашей стране актов фабрично-заводского законодательства. В 1882, 1885 и 1886 гг. были приняты законы, определявшие условия труда детей, подростков и женщин, регламентировавшие порядок найма и увольнения рабочих, выдачи заработной платы, наложения штрафов и т. д. Для контроля за выполнением этих законов создавалась фабричная инспекция. При Бунге принимались серьёзные меры для сооружения казённых железных дорог. На эти цели израсходовано до 133,6 млн руб., построено дорог протяжённостью 3461 верста, выкуплено в казну несколько частных линий.
Под влиянием консервативных кругов и самого Александра III Бунге проводил политику протекционизма, правительственного финансирования промышленности. Предпринял попытку введения подоходного налога, который считал наиболее целесообразным и справедливым способом обложения. Многое было сделано при нём по подготовке денежной реформы: изъята из обращения часть кредитных билетов, накапливался золотой запас в Государственном банке, в 1885 г. принят новый монетный устав, который установил пробу для серебра и золота по образцу большинства европейских государств. Против либерального курса финансового ведомства, как отмечалось выше, резко выступала «правая» печать. Известный историк А. А. Кизеветтер в своих мемуарах писал, что каждая реформа Бунге «вызывала в реакционной прессе новый взрыв возмущения против либерально-демократического министра, который своей фигурой положительно портил общую картину контрреформационного правительства» (153, с. 127-128). Полемика по финансово-экономическим вопросам достигла небывалой остроты. Всё общество разделилось на два лагеря — «лагерь благоговейных поклонников Н. X. Бунге» и «противоположный — озлобленных его врагов» (158, с. 1). Среди своих почитателей Катков объявил, что «свергнет Бунге…» (311, т. 1, с. 460). Министра финансов обвиняли в незнании российской действительности и нужд народного хозяйства, в слепом следовании западноевропейским доктринам. В конце 1886 г. Бунге был вынужден подать в отставку. Однако Александр III не лишил его высочайшего покровительства. 1 января 1887 г. Н. X. Бунге был уволен от должности министра, назначен председателем Комитета министров и членом Государственного совета. В 1887-1889 гг. он читал, кроме того, лекции по политической экономии и финансам цесаревичу великому князю Николаю Александровичу.