Уральского чекиста отметили наградами — орденом «Знак Почета» (октябрь 1943), медалями — «За отвагу» (апрель 1940 года «за выполнение заданий правительства по охране государственной безопасности»), «За боевые заслуги» (ноябрь 1944 года, за выслугу лет), «За победу над Германией» (9 мая 1945 года), знаком «Заслуженный работник НКВД (февраль 1943). Самым первым знаком поощрения для 24-летнего чекиста стали часы, врученные в сентябре 1939 года «в ознаменование двадцать второй годовщины ВЧК-ОГПУ-НКВД»).
Уральский период службы подполковника ГБ Грибанова (получившего это звание 29 мая 1945 года) закончился 1 апреля 1947 года, когда он был освобожден от занимаемой должности и отозван в распоряжение Управления кадров МГБ СССР.
Тут необходимо вспомнить, что все 9 лет на оперативной работе в Свердловске Грибанов работал под руководством Тимофея Борщева, бывшего не последним человеком среди соратников Лаврентия Берии.
Борщев, видимо, и «замолвил словечко» за способного сотрудника перед бывшим своим начальником по Закавказью Сергеем Арсентьевичем Гоглидзе, который к этому времени был кандидатом в члены ЦК ВКП(б), генерал-полковником, начальником УМГБ по Хабаровскому краю и уполномоченным МГБ по всему Дальнему Востоку. В итоге 15 мая 1947 года подполковник Грибанов становится заместителем начальника УМГБ по Хабаровскому краю. Через 2,5 года, 28 марта 1950-го, был отозван в распоряжение УК МГБ СССР и 30 июля 1950 года назначен начальником УМГБ по Ульяновской области.
В Ульяновской области полковник Грибанов (получивший это звание в ноябре 1947 года) сменил еще одного бериевского выдвиженца — полковника Никиту Аркадьевича Кримяна, бывшего руководителя госбезопасности в Ярославле и Армении (жизнь его закончилась также, как и у Борщева и Гоглидзе — расстрельным приговором в 50-е за нарушения законности в 30-х-40-х гг.).
По данным историка М. Тумшиса, «перед прибытием Грибанова в Ульяновск местное УМГБ проверяла комиссия обкома ВКП(б) и признала работу местных чекистов неудовлетворительной. Комиссия установила, что «…не был разоблачен ни один агент англо-американских разведок, работа ведется старыми методами, дисциплина в Управлении не на должном уровне, поэтому имеют место аморальные поступки и нерадивое отношение к работе».
На родине Ленина Грибанов пробыл недолго. После смещения с должности и ареста в июле 1951 года министра госбезопасности Абакумова началась «чистка» в МГБ. Коснулась она и контрразведки. Были арестованы начальник 2-го Главка полковник Федор Шубняков, его заместитель генерал-лейтенант Леонид Райхман и другие контрразведчики. Нужны были новые кадры, способные заменить старых чекистов. 3 ноября 1951 года Грибанов вступает в должность и. о. заместителя начальника, а с 4 декабря того же года — заместителя начальника 2-го Главного управления (ВГУ) МГБ СССР. Непосредственным начальником Грибанова был заместитель министра — начальник ВГУ генерал-лейтенант Лаврентий Фомич Цанава, сменивший арестованного Шубнякова во главе контрразведки. Впрочем, уже в феврале 1952 года он был снят с должности, его планировали назначить начальником контрольной инспекции МВД, но уволили из органов госбезопасности вообще. Заместителем министра, начальником ВГУ в феврале 1952 года стал генерал-лейтенант Василий Степанович Рясной.
После смерти И.В. Сталина началась новая реорганизация органов госбезопасности, возвратился к руководству ими Л.П. Берия, генерал-лейтенанта Рясного во главе контрразведки сменил генерал-лейтенант Федотов. Полковник Грибанов продолжал все это время оставаться заместителем начальника контрразведки, теперь именовавшейся 1 — м управлением МВД СССР. Начало его службы в центральном аппарате МГБ было отмечено в сентябре 1952 года золотыми часами и месячным окладом («за образцовое выполнение важных заданий МГБ СССР»).
В качестве руководящего работника контрразведки он вошел в созданную приказом Берии одну из трех специальных следственных групп по пересмотру ряда дел («врачей-вредителей», бывших работников Главного артиллерийского управления Военного министерства СССР, «мингрельской националистической группы», «сионистской организации в МГБ»).
Группу по пересмотру дела бывших чекистов возглавил Грибанов. Вместе с ним в группу вошли (согласно приказу Берии) полковники П.В.Федотов (однофамилец начальника контрразведки) и Е.А. Цветаев (соответственно заместитель и помощник нового начальника Следственной части по особо важным делам МВД СССР, генерал-лейтенанта Л.Е. Влодзимирского). Приказ был отдан 13 марта 1953 года, группа обязывалась окончить работу через две недели — 27 марта. Уже 21 марта 1953 года большинство арестованных чекистов вышло на свободу, а генералы Утехин, Райхман, Эйтингон, Кузьмичев, полковники Шубняков и Свердлов вновь заняли руководящие посты в МВД СССР.
Дальнейшие реформы и новые назначения в системе госбезопасности (арест Берии в июне 1953 года, создание КГБ при Совете Министров СССР в марте 1954 года) не повлияли на положение Грибанова, остававшегося заместителем начальника 2-го Главного управления КГБ (так с марта 1954 года именовалась советская контрразведка). Роль Грибанова — одного из заместителей генерала Федотова постепенно возрастает. Особенно после того, как получившие весной 53-го года назначение на должности заместителей начальника контрразведки генерал-лейтенанты Судоплатов и Питовранов не задержались в главке (Судоплатов, уже будучи начальником 9-го, разведывательно-диверсионного отдела МВД, был арестован в августе 1953 года, а Питовранов в июне того же года уехал в ГДР руководить советскими чекистами).
Служебную деятельность Грибанов сочетал с общественной, по старому советскому обычаю — с 17 февраля 1954 года был председателем комиссии по жилищным вопросам при Главке.
14 января 1956 года, вместе с другими чекистами, полковнику Грибанову указом Президиума Верховного Совета СССР присваивается звание генерал-майора. Через 3 месяца, 14 апреля 1956 года, после ухода Федотова, Грибанов назначается начальником ВГУ и членом КГБ при Совете Министров СССР (с 18 сентября 1959 года эта должность именовалась «член Коллегии КГБ при СМ СССР»).
На этой должности он оставался при трех председателях КГБ — Серове, Шелепине и Семичастном. Свои воспоминания о Грибанове оставил Владимир Ефимович Семичастный, считавший Олега Михайловича «очень сильным генералом», «даже с налетом авантюризма». Но председателю КГБ это нравилось, «потому что для контрразведчика иметь чуть авантюризма и фантазии просто блестяще».
Грибанову приходилось выезжать за границу. Так, вместе с Серовым в группе сотрудников КГБ он побывал в Венгрии (об этом упоминает в мемуарах генерал-майор Анатолий Михайлович Гуськов, в то время — заместитель начальника 3-го Главного управления КГБ — военной контрразведки). Серов в октябре-ноябре 1956 года во время подавления восстания в Венгрии руководил оперативной работой органов КГБ в ВНР. Утром 24 октября 1956 года он (инкогнито, в форме генерал-майора) прибыл в Будапешт вместе с членами Президиума ЦК КПСС А.И. Микояном и М.А. Сусловым под охраной танков. Находясь там, он фактически курировал работу советских советников при венгерском МВД (во главе с Ференцом Мюннихом), которое в течение недели с момента прибытия Серова оказалось полностью деморализовано, и органы госбезопасности были распущены, в связи с чем встал вопрос о дальнейшем пребывании советских советников. Возвратившись в Москву, Серов принял участие в заседании Президиума ЦК КПСС 1 ноября 1956 года, на котором заявил: «Выступления были тщательно подготовлены. Надь связан с повстанцами. Надо решительные меры принимать. Оккупировать надо страну». В тот же день Президиум ЦК КПСС своим постановлением поручил «тт. Жукову, Суслову, Коневу, Серову и Брежневу… разработать свои мероприятия в связи с событиями в Венгрии…» Серов вновь вылетел в Венрию. В ночь с 3 на 4 ноября на советской военной базе Текел под Будапештом он руководил арестом членов прибывшей для переговоров о выводе советских войск делегации правительства Венгрии (во главе с министром обороны Палом Малетером, впоследствии повешенным). Серов настоял на организации в министерстве общественной безопасности, вопреки мнению министра Ф. Мюнниха и председателя Венгерского революционного рабоче-крестьянского правительства Яноша Кадара, «политических отделов», которые выполняли функции «внешней разведки, контрразведки, секретно-политической службы, следствия и специальной службы оперативной техники». По словам самого Серова, «учитывая либеральное отношение руководящих работников Венгрии к врагам», он приказал особым отделам соединений Советской Армии в Венгрии отправлять арестованных венгров на станцию Чоп. Оттуда на Западную Украину было депортировано более 800 человек, среди которых было много несовершеннолетних, что вызвало последующие протесты венгров. В связи с протестом Кадара и Мюнниха с ними были вынуждены объясняться Серов и советский посол, в будущем один из преемников Ивана Александровича в КГБ, Юрий Владимирович Андропов, о чем они и сообщили телефонограммой в ЦК КПСС. Прибывший в Ужгород зам. министра внутренних дел СССР М.Н. Холодков, разобрав дела ряда арестованных, счел их необоснованными, о чем и доложил министру Н.П. Дудорову, что вызвало протестующую докладную записку Серова Хрущеву. Серов руководил (вместе с Мюннихом) операцией по выводу из югославского посольства в Будапеште Имре Надя и его переправке в Румынию.
