21 февраля был уволен из НКВД в связи с арестом.
Историк советской разведки В. Прокофьев в своей книге «Внешняя разведка: боевое содружество» обращает внимание на следующий факт в период нахождения Серебрянского под следствием:
«Характерно, что во время следствия в 1939 году, находясь в жутких условиях, Серебрянский писал «Наставление для резидента по диверсии».
В этом «Наставлении» Серебрянский рассматривал нелегальную работу как важный участок обороны страны за счет уничтожения 209 важных военных объектов противника в случае его нападения на Советский Союз. Считая этот участок работы очень ответственным, он указывал: «Только тот имеет право посылать товарищей на опасную для их жизни работу, кто сам готов подвергнуть себя этой опасности. Ты должен быть счастлив, что партия тебе доверяет такой ответственный участок работы». Это было написано 15 октября 1939 года.
В ходе следствия, которое вел будущий министр госбезопасности Виктор Абакумов, а на более поздней стадии — заместитель начальника следственной части НКВД Соломон Мильштейн, разведчика подвергали «интенсивным методам допроса». Первый допрос Серебрянского состоялся 13 ноября 1938 года. А за день до этого Берия наложил на документ, касающийся разведчика, резолюцию: «Тов. Абакумову! Хорошенько допросить!»
Спустя четыре дня в допросе Серебрянского приняли участие сам Берия, а также его заместитель Кобулов и Абакумов. Разведчик был жестоко избит и принужден оговорить себя. Допросы, сопровождавшиеся пытками и истязаниями, продолжались. В результате 4 октября 1940 года следователем следственной части ГУГБ НКВД лейтенантом госбезопасности Перепелицей было составлено следующее обвинительное заключение:
«УТВЕРЖДАЮ»
Начальник следчасти ГУГБ НКВД СССР капитан государственной безопасности (Эсаулов)
4 октября 1940 года.
ОБВИНИТЕЛЬНОЕ ЗАКЛЮЧЕНИЕ по следственному делу № 21782 по обвинению СЕРЕБРЯНСКОГО Якова Исааковича в преступлениях, предусмотренных ст. 58 п. 1а и II УК РСФСР
10 ноября 1938 года органами НКВД СССР был арестован подозреваемый в шпионской деятельности СЕРЕБРЯНСКИЙ Яков Исаакович.
Проведенным по делу следствием установлено, что СЕРЕБРЯНСКИЙ, в прошлом активный эсер, дважды арестовывался органами ОГПУ и при содействии разоблаченных врагов народа проник в органы советской разведки.
В 1924 году, будучи в Палестине, был завербован эмигрантом ПОКРОВСКИМ для шпионской деятельности в пользу Англии.
В 1927 году СЕРЕБРЯНСКИЙ по заданию английской разведки перебросил из Палестины в СССР группу шпионов-террористов в лице ТУРЫЖНИКОВА, ВОЛКОВА, АНАНЬЕВА, ЗАХАРОВА и ЭСКЕ, которых впоследствии в лаборатории спецгруппы ГУГБ подготовлял к диверсионной и террористической деятельности на территории СССР. Через ТУРЫЖНИКОВА СЕРЕБРЯНСКИЙ передал английской разведке шпионские сведения о политическом и экономическом положении Советского Союза.
В 1933 году СЕРЕБРЯНСКИЙ был завербован разоблаченным врагом народа ЯГОДОЙ в антисоветскую заговорщическую организацию, существовавшую в органах НКВД.
По заданию ЯГОДЫ СЕРЕБРЯНСКИЙ установил шпионскую связь с французской разведкой, которую информировал о деятельности советской разведки за кордоном, добывал сильнодействующие яды для совершения террористического акта над руководителями партии и Советского правительства.
В предъявленном обвинении виновным себя признал.
Изобличается показаниями ВОЛКОВА, СЫРКИНА, АЛЕХИНА, УСПЕНСКОГО, БУЛАНОВА, ТУРЫЖНИКОВА (осуждены), ПЕРЕВОЗНИКОВА, СЕРЕБРЯНСКОЙ (арестованы) и очной ставкой с ТУРЫЖНИКОВЫМ.
На основании изложенного обвиняется СЕРЕБРЯНСКИЙ Яков Исаакович, 1892 года рождения, уроженец гор. Минска, еврей, гр-н СССР, бывший эсер, член ВКП(б) с 1927 года (исключен в связи с арестом), до ареста — начальник специальной группы ГУГБ НКВД СССР в том, что:
1) с 1924 года являлся агентом английской разведки,
2) с 1933 года по день ареста являлся активным участником антисоветского заговора в НКВД и проводил шпионскую работу в пользу Франции, т. е. в преступлениях, предусмотренных ст. 58 п. 1а и II УК РСФСР.
Считая следствие по настоящему делу законченным, а добытые данные — достаточными для предания суду, руководствуясь ст. 208 УПК РСФСР ПОЛАГАЛ БЫ:
Следственное дело № 21782 по обвинению СЕРЕБРЯНСКОГО Якова Исааковича направить в Прокуратуру Союза ССР для передачи по подсудности.
Следователь следчасти ГУГБ НКВД лейтенант госбезопасности (Перепелица).
Пом. нач. следчасти ГУГБ НКВД капитан госбезопасности (Никитин)».
Практически такое же обвинительное заключение было предъявлено и жене Серебрянского Полине Натановне.
7 июля 1941 года, когда на просторах Советского Союза уже вовсю полыхала война, Военная коллегия Верховного Суда СССР приговорила Серебрянского к расстрелу с конфискацией имущества, а его жену — к 10 годам лагерей за недоносительство о враждебной деятельности мужа.
На суде Серебрянский свою вину не признал, заявив, что на предварительном следствии он оговорил себя в результате физического воздействия со стороны следователей. Однако суд проигнорировал заявление разведчика.
После ареста Серебрянского его специальная группа прекратила свое существование. Однако Великая Отечественная война, принявшая неожиданно для Сталина трагический оборот, потребовала концентрации всех сил на отпор врагу. В этих условиях органам государственной безопасности приходилось перестраиваться на военный лад, а не заниматься ведомственными разборками и поисками внутренних врагов. Враг был налицо, невиданно жестокий и могучий. В рамках НКВД было создано 4-е управление, в задачу которого входила организация зафронтовой разведки и развертывание диверсионной борьбы в тылу врага. Но из-за имевших место перед войной репрессий этому управлению явно не хватало профессионалов, подобных Серебрянскому. Начальник 4-го управления генерал Судоплатов обратился к Берии с просьбой освободить из заключения ожидавшего расстрела Серебрянского и еще ряд чекистов. Вот как он позже вспоминал об этом в своих мемуарах:
«В начале войны мы испытывали острую нехватку в квалифицированных кадрах. Я и Эйтингон предложили, чтобы из тюрем были освобождены бывшие сотрудники разведки и госбезопасности. Циничность Берии и простота в решении людских судеб ясно проявились в его реакции на наше предложение. Берию совершенно не интересовало, виноваты или не виноваты те, кого мы рекомендовали для работы. Он задал единственный вопрос:
— Вы уверены, что они нам нужны?
— Совершенно уверен, — ответил я.
— Тогда свяжитесь с Кобуловым, пусть освободит. И немедленно их используйте.
Я получил для просмотра дела запрошенных мною людей. Из них следовало, что все были арестованы по инициативе и прямому приказу высшего руководства — Сталина и Молотова. К несчастью, Шпигсльглас, Карин, Малли и другие разведчики к этому времени были уже расстреляны».