Зорге также подготовил и выпустил в гамбургско-берлинском издательстве книгу «Новый германский империализм». Этот капитальный труд содержал анализ обстановки в Германии, в нем была предсказана опасность прихода к власти нацистов, что неизбежно должно было привести к возникновению военной угрозы в Европе, а также подчеркивалась необходимость сплочения всех революционеров и коммунистов для борьбы против военной опасности. Книга, имевшая большое теоретическое и практическое значение, была также издана в Советском Союзе и Японии.
В начале 1929 года по заданию ИККИ Зорге вновь совершил две зарубежные поездки — в Норвегию и Англию. В это время в ВКП(б) развернулась борьба с «правым уклоном», в ходе которой И. Сталин резко критиковал Н. Бухарина и его сторонников, что сказалось на судьбе и дальнейшей работе в Коминтерне Рихарда Зорге. Ранее на совещаниях в ИККИ никогда не обсуждались внутрипартийные дела советских коммунистов. Сотрудники аппарата знали из сообщений прессы, в том числе иностранной, о борьбе между Сталиным и Троцким, но она никак не сказывалась на работе ИККИ и его органов.
В конце 1928-го — начале 1929 года Сталин добился снятия Н. Бухарина со всех постов за выступления против высоких темпов индустриализации в ущерб развитию сельского хозяйства и представители руководства ряда зарубежных компартий выступили в его поддержку. В этой связи нападкам стала подвергаться и деятельность Бухарина во главе Коминтерна. Начался поиск его сторонников среди работников аппарата ИККИ, сбор на них различных компрометирующих материалов.
В списки лиц, вызывающих недоверие, попал и Рихард Зорге. Ему в вину ставили излишнюю самостоятельность в суждениях, превышение полномочий при выполнении служебных заданий, а также связи с троцкистскими элементами во время нахождения в Компартии Германии. Однако для предъявления конкретных обвинений этого было недостаточно.
В марте и апреле 1929 года постоянная комиссия секретариата ИККИ дважды обсуждала вопрос о «товарище Зорге», определяя целесообразность его дальнейшей работы в Исполкоме Коминтерна. В августе, с учетом имевшейся на него негативной информации, секретариат решил исключить Зорге из списка работников Западноевропейского бюро и откомандировать его в распоряжение ЦК ВКП(б) и ЦК КП Германии. В то же время Рихард продолжал оставаться на должности референта в секретариате Д. Мануильского, который хорошо знал и ценил его. Окончательное решение о судьбе вызывавших недоверие сотрудников определялось в то время на партийных собраниях в ИККИ.
В октябре 1929 года Рихард Зорге успешно прошел так называемую «чистку» на очередном партсобрании. Выступая на нем, Рихард был вынужден признать некоторые свои «колебания» в отношении «правого уклона». Однако полностью отверг все обвинения в «неправильных» действиях в Компартии Германии, а также заявил о своей активной борьбе в «немецком клубе» против троцкистов. В итоге состоявшегося обсуждения большинство выступавших положительно оценили работу Зорге, и он был признан «заслуживающим доверия». Предложение о его исключении из партии было отклонено, что означало разрешение на продолжение работы в Советском Союзе.
Весь этот период, когда в инстанциях Исполкома Коминтерна решалась его судьба, был чрезвычайно трудным для Рихарда. Он не чувствовал за собой никакой вины, но понимал, что попал в обстоятельства, при которых его участие в мировом революционном движении может закончиться. Его оценка деятельности Коминтерна резко изменилась, он считал, что эта организация часто выдавала желаемое за действительное, преувеличивала значение и возможности многих национальных компартий. Неприятие Зорге вызывали и аппаратные интриги ряда сотрудников Коминтерна, и начавшаяся кампания политических «чисток». Он понимал, что прошло время свободных дискуссий, открытого высказывания своих взглядов и товарищеской критики.
Отлично разбираясь в международной обстановке, Рихард Зорге видел, что в коммунистическом движении наметился спад, поэтому Коминтерн стал терять свое прежнее значение. В то же время ведущие позиции среди мировых прогрессивных сил занимал Советский Союз, и будет более правильным оказывать помощь Советскому государству, что он, Рихард Зорге, сможет делать с учетом полученного им опыта, причем он мог собирать и анализировать информацию не только о положении компартий в отдельных зарубежных странах, но также политическую, экономическую и военную. Это даже больше отвечало его характеру и склонностям, желанию быть в центре событий и решать самые сложные задачи.
Во время своего кратковременного пребывания в Берлине в сентябре 1929 года Зорге встретился с человеком, который, как он знал, работал в одной из разведывательных служб СССР. Рихард подробно рассказал ему о себе и своем желании работать в структуре, обеспечивающей безопасность Советского государства. Он не скрыл от собеседника своих проблем в Исполкоме Коминтерна и объяснил мотивы своего решения. Через несколько дней этот человек сообщил Зорге, что его обращение в Москве рассмотрено и он приглашается на встречу в IV управление Штаба Красной армии, занимающееся военной разведкой.
Вскоре Рихард получил телеграмму из Коминтерна, в которой ему разрешалось приехать в Москву для переговоров, как он понял, касающихся перехода на новую работу. Вернувшись в Москву и ожидая рассмотрения своего дела на партийном собрании Исполкома, Зорге несколько раз встречался в своем номере в гостинице с сотрудниками военной разведки и подробно рассказывал о себе.
В СССР в 1920-е годы существовали две специальные службы, занимавшиеся ведением разведки за рубежом. При Совнаркоме действовало Объединенное государственное политическое управление (ОГПУ), ставшее преемником ВЧК, в состав которого входил Иностранный отдел (ИНО). Его основными задачами являлись: выявление и разработка зарубежных эмигрантских контрреволюционных организаций, готовящих свержение советской власти; ведение внешней контрразведки и разработка разведывательных и контрразведывательных органов зарубежных стран; ведение политической, дипломатической и экономической разведки. ИНО ОГПУ имел за рубежом легальные резидентуры, которые действовали под прикрытием советских дипломатических представительств и занимались в основном выявлением на территории иностранных государств контрреволюционных организаций, ведущих подрывную деятельность против СССР, и добыванием документальных материалов, в том числе таких, которые могли быть использованы для компрометации лидеров контрреволюционных групп и целых организаций.
В Красной армии также велась зарубежная разведывательная деятельность, за организацию которой отвечало Разведывательное управления Штаба РККА (с 1927 года — IV управление Штаба РККА). Его главная задача заключалась в организации и ведении глубокой агентурной разведки с целью получения информации о международной военно-политической обстановке; военной опасности для СССР; военных приготовлениях вероятных противников Советского Союза и состоянии их вооруженных сил, военно-технических достижениях и новейших изобретениях при создании вооружения и боевой техники. Агентурная работа велась как легальными, так и нелегальными резидентурами, при этом последним отдавался наибольший приоритет.
Ян Карлович Берзин, на встречу с которым шел Рихард Зорге, являлся уникальным специалистом в области разведки. В годы Гражданской войны он прошел школу ВЧК, работал с Ф. Дзержинским; многое знал о деятельности сотрудников ОГПУ за рубежом, особенностях проводившихся ими операций. Судьба распорядилась так, что он возглавил военную разведку Красной армии и вывел ее на уровень лучших мировых спецслужб. Он являлся в полном смысле слова фанатом агентурной работы, лично подбирал и готовил для нее кадры, разрабатывал и контролировал сложнейшие агентурные операции. Берзин отличался способностью глубоко анализировать происходящие в мире события и делать выводы и прогнозы, которые, как правило, подтверждались реальными событиями.
