Реорганизация была проведена Шуваловым в 1870-е г. и в Третьем отделении. Ее главная суть состояла в ужесточении карательных мер против массовых крестьянских выступлений и надзора за общественным и революционным движением. Вынужденное приспосабливаться к новым правовым условиям, сложившимся в ходе судебной реформы, и увеличению числа политических процессов в судах, Третье отделение с 1871 г. обзаводится собственной юрисконсультативной частью. Помимо общего архива, при нем создается Секретный архив, где сосредоточиваются дела по политическим преступлениям и данные перлюстрации корреспонденции. Систематически обновляются картотека, носившая название «Алфавит лиц, политически неблагонадежных», и альбомы с их фотографиями. Поскольку политический сыск плохо вписывался в новые правовые условия, по инициативе шефа жандармов Александр II 19 мая 1871 г. издал закон, значительно расширивший полномочия этого ведомства. Согласно ему, Отдельный Корпус жандармов официально наделялся «полицейскими» функциями, а его сотрудники получили право задерживать как «политических», так и «гражданских» предполагаемых преступников. При рассмотрении политических преступлений новый закон предписывал жандармам в обязательном порядке проводить предварительное дознание.
Наиболее крупным делом, которым пришлось заниматься Шувалову в бытность его начальником Третьего отделения, была организация «процесса нечаевцев», названного так по имени С.Г. Нечаева, автора знаменитого «Катехизиса революционера». Появившись в Москве в сентябре 1869 г., Нечаев представился местной демократически настроенной молодежи как доверенный русского отдела «Всемирного революционного союза» (никогда не существовавшего в реальности) и, действуя от его имени, создал тайное общество «Народная расправа», в которое завербовал около 80 человек. Целью общества, якобы имевшего свои отделения повсеместно, была «народная мужицкая революция», которую глава «Народной расправы» наметил на 19 февраля 1870 г. Столкнувшись с тем, что студент И.И. Иванов, вступивший в тайное общество, отказался верить его россказням о «Всемирном революционном союзе» и пытался публично поставить их под сомнение, Нечаев обвинил его в предательстве и 21 ноября 1869 г. организовал его убийство, в которое втянул еще четверых членов «Народной расправы».
Обнаружив труп Иванова, полиция в ходе следствия вышла на след тайного общества. Когда начались аресты, Нечаев бежал за границу. Всего по делу «Народной расправы» было задержано в Москве и Петербурге около 300 предполагаемых членов общества и им сочувствующих, однако за отсутствием улик половина из них была сразу отпущена. Поскольку ложь и коварное убийство «во имя революции» были налицо, то правительство решило организовать открытый судебный процесс над обвиняемыми. Но дело стало разваливаться с нарастающей скоростью, и в соответствии с действующими законами прокуратура нашла основания для привлечения к судебной ответственности только 77 из 148 арестованных. На суде по этому громкому делу обвинение старалось представить подсудимых опасными государственными преступниками и опытными конспираторами, сплотившимися для ниспровержения существующего строя, тогда как адвокаты характеризовали их как молодых, наивных и горячих радикалов, чье членство в тайном обществе нельзя приравнивать к участию в политическом заговоре. Аргументы адвокатуры были признаны судьями более убедительными, вследствие чего только 34 человека были приговорены к различным срокам тюремного заключения, каторжных работ и ссылки. Крупномасштабного процесса, дискредитирующего в глазах общества революционную идею, на который рассчитывали император и шеф жандармов, не получилось. Негодующему на «необъективность» суда Шувалову пришлось утешиться тем, что почти всех оправданных по суду он в административном порядке отправил в ссылку. Он также приложил большие усилия для того, чтобы поймать за границей виновника всей этой истории и доставить его для суда на родину. Поскольку Нечаев был виновен в уголовном преступлении, то правительство Швейцарии, где он скрывался, арестовало его и выдало России. В 1873 г. он был судим в Москве и приговорен к 20 годам каторжных работ.
Однако, справившись с нечаевским кружком, Третье отделение оказалось совершенно неподготовленным к борьбе с массовым антиправительственным движением народников. Хотя «хождение в народ», как форму ведения революционной агитации, государственная безопасность и предусматривала заранее (еще 31 мая 1869 г. Шувалов циркулярно предписал местным властям брать под «усиленный надзор» студентов, отъезжающих в разные места на каникулы, поскольку они «намереваются распространять ложные понятия между фабричными рабочими и бывшими помещичьими крестьянами»), но она явно была захвачена врасплох масштабами начавшегося движения. Весной 1874 г. после окончания занятий тысячи студентов, скромно одетых и снабженных фальшивыми паспортами и прокламациями, отправились агитировать народ за социализм и свержение самодержавия. «Хождение в народ» захлестнуло страну, и жандармские власти первоначально растерялись перед лицом революционной пропаганды, одновременно развернутой более чем двумя сотнями подпольных кружков в 50 губерниях Российской империи. Лишь случайность помогла жандармерии сохранить лицо. 31 мая во время рейда в одной мастерской сапожника в Москве, оказавшейся достаточно неумело законспирированной явкой, жандармы арестовали нескольких народников, у которых при себе оказалась не только революционная литература, но и десятки адресов и шифров. Благодаря этому Третье отделение напало на след нелегальной типографии в Москве и многих тайных кружков, разбросанных по различным губерниям. Проведя широкомасштабную операцию, жандармы арестовали большое число народнических пропагандистов (различные источники оценивают количество арестованных от одной до восьми тысяч).
Однако этот крупный успех уже не смог спасти репутацию начальника Третьего отделения. Хотя надежды народников на всеобщую революцию не оправдались, их деятельность имела один важный побочный результат. Сам факт начала охватившей всю страну революционной агитации, в которой участвовали многие тысячи человек, наглядно показал тщетность восьмилетней диктатуры начальника Третьего отделения. К этому объективному обстоятельству примешивались еще и субъективные факторы. Очевидно, весьма близко к истине объяснение А.А. Киреева: «Шувалов действительно надоел государю постоянной своей опекой». Относительно последней капли, переполнившей монаршее терпение, Б.Н. Чичерин пишет: «Княжна Долгорукая... бывшая уже тогда в фаворе, сообщила государю все толки, ходившие тогда в обществе, о всемогуществе Шувалова, о том, что его зовут Петр IV. Государь... был очень щепетилен на счет своей власти и своего авторитета. Он не терпел, чтобы кто-нибудь его затмевал». Так или иначе, Александр II неожиданно для многих 22 июля 1874 г. уволил Шувалова с поста главного начальника Третьего отделения и шефа жандармов и назначил своего недавнего любимца послом в Лондон. По сути дела, для него это была почетная ссылка.
В отличие от А.Ф. Орлова, его предшественника на посту начальника Третьего отделения, дипломатическая деятельность Шувалова была далеко не столь успешной. Что, в частности, проявилось во время работы Берлинского конгресса летом 1878 г., на котором он возглавлял русскую делегацию в качестве второго уполномоченного (первым был престарелый канцлер А.М. Горчаков). Подписанный в итоге трактат лишил Россию почти всех преимуществ, достигнутых в победоносной войне с Турцией 1877–1878 гг. В октябре 1879 г. Шувалов был уволен от должности чрезвычайного и полномочного посла в Великобритании.
