Сотрудниками КРО были также выявлены и арестованы нелегально проникшие в СССР один из лидеров кадетской партии князь П.Д. Долгоруков, деятели РОВС штаб-ротмистр Г.Е. Эльвенгрен, полковник И.М. Сусалин, бывший офицер армии Юденича В.И.Анненков («Махров», «Арсеньев»), расстрелянные по приговору Коллегии ОГПУ в июне 1927 г. (в качестве заложников после теракта 7 июня в Ленинграде).
Контрразведчикам приходилось также вести борьбу с бандитизмом, антисоветскими мятежами (например, в Якутии в 1927 г., при подавлении которого отличились помощник начальника КРО С.В. Пузицкий и известный по операции «Синдикат-2» Г.С. Сыроежкин).
С марта 1926 г. в ведение КРО из Восточного отдела ОГПУ были передана борьба с турецким, персидским и афганским шпионажем.
Резидентуры КРО действовали при дипломатических представительствах СССР за границей. Контрразведчики под видом дипломатов обеспечивали безопасность полпредств и консульств. В 1926 г. эти функции были переданы ИНО ОГПУ.
Сотрудники КРО работали за границей и нелегально. В 1924–1926 гг. под видом купца В.И. Шилова находился на работе по линии КРО в Харбине контрразведчик Василий Иванович Пудин, установивший обширные связи среди белогвардейцев, завербовавший ценную агентуру. Через агентов и лично путем негласных выемок Пудин добыл сотни секретных документов, в том числе около 20 японских и китайских шифров.
Артузов руководил контрразведкой в течение 5 лет. Летом 1927 г. Артузов был назначен по совместительству 2-м помощником начальника Секретно-оперативного управления ОГПУ Генриха Ягоды, а уже через 4 месяца, в ноябре, он был освобожден от работы в КРО, что, видимо, было связано с не совсем удачным завершением операции «Трест».
В январе 1930 г. Артузов, работавший все это время в СОУ ОГПУ, был назначен по совместительству заместителем начальника Иностранного отдела ОГПУ, которым с ноября 1929 г. был 2-й зампред ОГПУ Станислав Мессинг. В конце того же года он участвовал в следствии по делу «Промпартии», о котором через год, в декабре 1931 года, в личном письме Менжинскому скажет, «я всеми силами старался путем допросов вскрыть отдельные противоречия материалов следствия. По отдельным фактам у меня возникали сомнения». Далее там же он ставит себе в заслугу то, что «со своим сомнением» пошел только к Менжинскому и Ягоде. Видимо, ведомственная, чекистская мораль превалировала в сознании Артузова над партийной, иначе он пошел бы в ЦК партии. А может быть, он понимал причины готовившегося процесса, его социальный заказ.
После выступления Мессинга против Ягоды (в компании с другими руководителями ОГПУ) Артузов сменил его на посту начальника ИНО 1 августа 1931 года. За день до этого, 31 июля, Артузов был назначен членом Коллегии ОГПУ.
В ИНО заместителями Артузова были Абрам Слуцкий, сменивший его в 1935 г., и Михаил Горб, которого в 1933 г. заменил Валерий Горожанин (работавший до этого начальником Секретного отдела ГПУ Украины и заместителем начальника Секретно-политического отдела ОГПУ). Помощником Артузова с 1934 г. был Борис Берман, успешно работавший ранее резидентом в Берлине и Риме. Вместе с Артузовым пришли в ИНО ряд сотрудников КРО. Помощником начальника стал Сергей Пузицкий, начальниками отделений- Отто Штейнбрюк и Андрей Федоров, на загранработу были посланы Теодор Малли (нелегальный резидент в Лондоне), Георгий Косенко (позднее резидент в Париже), Натан Шнеерсон (заместитель резидента в Берлине, затем помощник начальника ИНО), Борис Гудзь (резидент в Токио). Основным содержанием работы Артузова в ИНО было проведение им в жизнь директивы Политбюро ЦК ВКП (б) (январь 1930) о переходе в разведке за границей преимущественно с нелегальных позиций. Именно этот период историки отечественных спецслужб и ветераны называют «эпохой великих нелегалов».
Артузов лично курировал работу таких известных сегодня разведчиков, как Дмитрий Быстролетов (которого именно Артузов и помощник начальника ИНО Михаил Горб привлекли к работе в разведке в 1925 году), Александр Орлов-Никольский (именно в этот период, вместе с Арнольдом Дейчем, Теодором Малли и Игнатием Рейфом завербовавший знаменитую «кембриджскую пятерку»), Василий и Елизавета Зарубины (работавшие в Берлине с ценнейшим агентом Вилли Леманом, руководившим в гестапо подразделением контрразведки в военной промышленности) и другие. Была проведена в 1931 г. совместно с Экономическим управлением ОГПУ операция по проникновению в руководство нацистской партии, тогда еще не пришедшей к власти — секретный сотрудник ЭКУ инженер текстильного директората ВСНХ Александр Добров под видом руководителя легендированной антисоветской подпольной организации установил связь с соратником Гитлера Альфредом Розенбергом.
Резидент ИНО в Вене Игорь Лебединский через агента Г/42 внедрился в разведывательную организацию «Союз свободного хозяйства» (ССХ) бывшего шефа разведки Австро-Венгрии полковника Максимилиана Ронге, финансировавшуюся Ватиканом и правыми кругами Англии, Германии и Польши.
Нелегальная группа № 1 Бертольда Илька («Беера»), которая из Германии вела разведку в странах Восточной Европы от Прибалтики до Балкан, была переориентирована на Англию и Францию. Уже к началу 1932 г. она имела во Франции шесть источников (в МИДе, Минобороны, телеграфном агентстве Гавас, сенатских кругах, в чехословацкой разведке и крупных европейских телеграфных агентствах). «Беер» ставил перед собой задачу проникновения в британскую разведку.
В странах Юго-Восточной Европы действовала резидентура Ивана Каминского («Монда»), которой отошла часть агентуры Беера.
Во Франции развернула работу нелегальная группа № 2 Федора Карина («Джека»), базировавшаяся в Берлине.
В Германии заместителю Карина Эриху Такке («Бому») были переданы от сотрудника «легальной» резидентуры Павла Корнеля (Михальского), их завербовавшего, два наиболее ценных источника по линии контрразведки — «Брайтенбах» и «Рауппе». Когда же Карин, ввиду опасности расшифровки, решил вывести из страны Такке, бывшего коминтерновца, его заменил Герман Клесмет. Он проработал с «Брайтенбахом» и другими ценными источниками до своего отъезда осенью 1933 года.
Во Франции резидентура Василия Зарубина наладила через Елизавету Зарубину получение секретных документов из посольства Германии в Париже.
Технической разведкой занимался Гайк Овакимян, аспирант МВТУ, с 1931 г. сотрудник ИНО, работавший в Берлине, где приобрел несколько ценных источников. Одним из них был талантливый ученый Ганс-Генрих Куммеров, получивший псевдоним «Фильтр». В фирме «Ауэр» Куммеров разрабатывал фильтры и поглотители ядовитых веществ, включая все известные боевые отравляющие вещества. Его противогаз был принят на вооружение рейхсвера. Сотрудничество с Куммеровым продолжалось до 1942 года.
Другой источник Герберт Муравкин (псевдоним «Атом») был разработчиком высоковольтных генераторов в лаборатории доктора Ланге в Физическом институте Берлинского университета, решавшей проблему расщепления атомного ядра. С помощью материалов, переданных Муравкиным, Харьковский физико-технический институт впервые в мире расщепил в 1932 году атом лития.
В Германии с начала 1930 г. находился нелегал Роман Бирк, бывший агент КРО, участвовавший в оперативных играх с разведками Германии, Италии, Чехословакии и Англии (СИС). В конце 1930 г. Бирк завербовал на «американский» флаг своего соученика по дипломатической академии в Вене Франца Талера, близкого к руководителю австрийского «хеймвера» (полувоенной организации типа штурмовиков) князю Штарембергу.
