В июле 1931 г. решением Политбюро ЦК Ольский был снят с должности за выступление вместе с другими руководителями ОГПУ против Г.Г. Ягоды. В коллективном заявлении в ЦК ВКП (б) участвовали второй зампред ОГПУ и начальник ИНО С.А. Мессинг, начальник СОУ Е.Г. Евдокимов, начальник Административно-организационного управления (АОУ), Главного управления пограничной охраны и войск (ГУПОиВ) и Главной инспекции по милиции и уголовному розыску при ОГПУ И.А. Воронцов, полпред ОГПУ по Московской области Л.Н. Вельский. Они выступили против первого зампреда Ягоды (в частности, они обвиняли его в фабрикации следственных дел на командиров Красной Армии — бывших офицеров царской армии).
Это дело под наименованием «Весна» было начато руководителями ГПУ Украины В.А. Балицким и И.М. Леплевским с санкции высшего руководства партии (опасавшегося заговора и вооруженного мятежа бывших офицеров в случае интервенции) при поддержке Ягоды. В числе арестованных (около 10 тыс. чел. оказались известные военные специалисты бывшие генералы А.И. Верховский (военный министр Временного правительства), С.Г. Лукирский, А.А. Свечин, А.Е. Снесарев, полковник Н.Е. Какурин и многие другие. По словам А.А. Здановича, «Ольский и его непосредственный начальник Евдокимов резко выступили против арестов, проводимых по делу «Весна». Они допросили многих содержащихся под стражей военных, изучили большое количество документов и утвердились в своих предположениях: дело «Весна» — «липа».
Ягода был очень встревожен таким поворотом событий, тем более что ему стало известно о намерении Ольского, Евдокимова и еще ряда крупных чекистов опротестовать не только дело «Весна», но и некоторые другие и довести до руководства страны, что ОГПУ сворачивает на путь чрезмерных репрессий».
Конфликт завершился поражением противников Ягоды. Его поддержал председатель ОГПУ В.Р. Менжинский, а затем и Сталин. Хотя сам Генрих Григорьевич в итоге переместился с поста первого заместителя на должность второго зампреда (первым замом стал Иван Алексеевич Акулов, старый партийный работник, в ЧК ранее не служивший, а третьим зампредом руководитель украинского ГПУ Всеволод Аполлонович Балицкий). Противники Ягоды пострадали гораздо серьезнее. По постановлению ЦК были уволены из ОГПУ Мессинг, Ольский, Воронцов и Вельский, Евдокимов переведен из Центра (сперва в Ленинград, затем в Среднюю Азию) за, как говорилось в постановлении Политбюро ЦК ВКП(б) от 6 августа, «совершенно нетерпимую групповую борьбу против руководства ОГПУ», распространение «совершенно несоответствующих действительности разлагающих слухов о том, что дело о вредительстве в военном ведомстве является "дутым делом"», расшатывание «железной дисциплины среди работников ОГПУ».
Ольский же с 1931 г. руководил Главным управлением столовых, кафе и ресторанов Наркомснаба-Наркомвнуторга СССР, с 1936 г. — член Совета при наркоме внутренней торговли СССР. На VII съезде Советов (март 1935 г.) избирался членом ЦИК СССР.
Был также членом Московского комитета ВКП(б) и Моссовета.
В сентябре 1935 г. член Политбюро и секретарь ЦК партии, нарком путей сообщения СССР Л.М. Каганович просил И. В. Сталина согласия на переход Я.К. Ольского в НКПС начальником отдела пассажирских перевозок. Сталин ответил ему в письме: «Ольский ведет большую и серьезную работу по народному питанию. Перевод его в НКПС означал бы серьезный урон для Нарпита… Я решительно против снятия Ольского с Нарпита». Тем не менее с конца 1936 г. в центральной печати развернулась кампания критики Ольского и возглавляемого им Главного управления.
В 1936 г. начались первые аресты чекистов польского происхождения. Историк органов госбезопасности полковник В.Н. Хаустов освещает историю вопроса:
«Первым звеном в цепи разоблачений польских «шпионов», внедрившихся в органы государственной безопасности, стало дело Маковского — заместителя начальника Особого отдела Управления НКВД Омской области, а до этого — резидента советской разведки, работавшего в Польше. Как и большинство других сотрудников-поляков, Ю.И. Маковский был принят на службу в органы по распоряжению Ф.Э. Дзержинского. Надо сказать, что значительную часть сотрудников контрразведывательного отдела ГУГБ НКВД СССР, работавших по польской линии, составляли поляки (Сосновский И.И., Баранский К.С. и другие), некоторые из которых в прошлом были кадровыми сотрудниками спецслужб Польши. Маковского арестовали в феврале 1936 г. На конспиративной квартире за рубежом в его сейфе оказалось гораздо больше денег, чем он указал, и, кроме того, там хранились письма от его сестры, жившей в Польше. В этих письмах, относящихся к 1926 г., среди знакомых упоминались видные государственные чиновники польского государства. Все это дало основания для подозрений.
Ягода в письме к Сталину, проявившему интерес к этому делу, попытался заступиться за Маковского, отмечая, что в период его деятельности не произошло провалов, хотя и случались некоторые нарушения конспирации. Ягода направил свое письмо 3 февраля, а 7 февраля Сталину по этому же вопросу пишет записку Ежов. Проявляя политическую бдительность, он фактически плетет интригу против Ягоды, неоднократно повторяя: «тов. Ягода не сообщает» и пытаясь внушить Сталину, что Маковский имел связи с польской разведкой. Понимая полную бездоказательность своих утверждений, он заявляет о «нецелесообразности ведения следствия в Особом отделе Главного управления государственной безопасности, где работал Ю. Маковский и где у него есть друзья». Нужно отдать должное личному мужеству Ю. Маковского, который в течение полутора лет отрицал все выдвинутые против него обвинения.
Ежов, заместивший в сентябре 1936 г. Ягоду на посту наркома внутренних дел, резко усилил кампанию борьбы с польским шпионажем. В ноябре-декабре 1936 года были арестованы еще один бывший резидент советской разведки в Польше В. Илинич и бывший заместитель начальника Особого отдела ГУГБ НКВД СССР И.И. Сосновский. В процессе следствия к ним применялись методы физического воздействия, и в результате оба сознались, что принадлежали к ПОВ и выполняли задания разведорганов Польши. На февральско-мартовском пленуме ЦК ВКП(б) 1937 г. и Сталин и Ежов, сообщая о разоблачении работников Главного управления государственной безопасности НКВД СССР, оказавшихся якобы польскими шпионами, назвали Маковского и Илинича.
Позже сотрудники Коминтерна и НКВД под пытками назовут сотни других поляков — «соучастников шпионской деятельности».
11 августа 1937 г. появилось закрытое письмо ГУГБ НКВД СССР «О фашистско-повстанческой, шпионской, диверсионной и террористической деятельности польской разведки в СССР», подписанное Ежовым и разосланное народным комиссарам внутренних дел союзных республик, начальникам Управлений НКВД автономных республик, областей и краев. В нем говорилось:
«НКВД Союза вскрыта и ликвидируется крупнейшая и, судя по всем данным, основная диверсионно-шпионская сеть польской разведки в СССР, существовавшая в виде так называемой "Польской организации войсковой"» <…>.
Активная антисоветская работа организации велась по следующим основным направлениям:
1. Подготовка, совместно с левыми эсерами и бухаринцами, свержения советского правительства, срыва Брестского мира, провоцирование войны РСФСР с Германией и сколачивание вооруженных отрядов интервенции (1918 г.).
