Львом Троцким. Связь с Троцким поддерживал через его сына Л. Седова. По возвращении в СССР в середине октября 1929 года был арестован. 3 ноября 1929 года Коллегия ОПТУ постановила расстрелять его «за повторную измену делу пролетарской революции и Советской власти и за измену революционной чекистской армии».
Тем временем Я. Серебрянский становится секретарем Административно-организационного отдела ВЧК. Здесь он знакомится с начальником отдала Вячеславом Менжинским и начальником контрразведывательного отдела А. Артузовым. В августе 1921 года Яков увольняется из ВЧК и поступает учиться в Электротехнический институт. Проучившись всего несколько месяцев в институте, 2 декабря 1921 года Я. Серебрянский был арестован на квартире своего старого товарища, правого эсера Давида Абезгауза, эде чекисты организовали засаду. Четыре месяца Яков провел в тюрьме. 29 марта 1922 года Президиум ВЧК, рассмотрев уголовное дело, освободил Я. Серебрянского из-под стражи, лишив его права работать в политорганах, а также в Наркомате иностранных дел.
Яков устроился на работу в качестве заведующего канцелярией Нефте-транспортного отдела треста «Москвотоп», однако в 1923 году был арестован по подозрению во взяточничестве. Находился под следствием по делу треста. В итоге обвинения не подтвердились. Я. Серебрянский был взят на поруки и освобожден из-под стражи. В октябре 1923 года он поступает на работу в газету «Известия».
В ноябре 1923 года Яков Блюмкин решением руководства ИНО ОПТУ назначается резидентом нелегальной разведки в Палестине. Он предложил Я. Серебрянскому поехать вместе с ним в качестве своего заместителя. В декабре 1923 года Я. Серебрянский был назначен особоуполномоченным Закордонной части ИНО ОГПУ, и в том же месяце он и Я. Блюмкин выехали в город Яффу в Палестине. Перед отъездом в Палестину обоих Яковов принял Менжинский. Перед ними стояла задача добывать информацию о планах Англии и Франции на Ближнем Востоке. Помимо этой наиглавнейшей задачи разведчики должны были также изучать местные революционные движения. Напутствуя разведчиков, Менжинский пожелал им делать за границей «все, что угодно и полезно будет для революции».
В июне 1924 года Я. Блюмкин был отозван в Москву, и резидентом стал Я. Серебрянский. Руководство ИНО ОПТУ поставило перед ним задачу создать глубоко законспирированную агентурную сеть, в первую очередь в боевом сионистском движении. Эту задачу Яков успешно выполнил. Кроме того, в течение одного года ему удалось привлечь к сотрудничеству с советской внешней разведкой большую группу эмигрантов из России, причем не только еврейских поселенцев на Земле обетованной, но и бывших белогвардейцев.
Я. Серебрянскому удалось завербовать Л. Н. Ананьева (он же — Кауфман), Ю. И. Волкова, Р. Л. Эске- Рачковского, Н. А. Захарова, А. Н. Турыжникова и ряд других лиц. В будущем они составят ядро руководимой им специальной группы, известной как «группа Яши».
В 1925 году Я. Серебрянского отозвали из Палестины и направили на нелегальную работу в Бельгию. В Москву он возвратился в феврале 1927 года и был принят в члены ВКП(б). В это время ему объявили решение Центра о направлении нелегальным резидентом в Париж, где он проработал до марта 1929 года. После возвращения в Москву 1 апреля 1929 года Я. Серебрянский был назначен начальником 1-го отделения ИНО ОГПУ (нелегальная разведка) и одновременно руководителем Особой группы, которая в чекистском обиходе неофициально именовалась «Группой Яши». Это было независимое от руководства ИНО разведывательное подразделение, задачей которого являлось глубокое внедрение агентуры на объекты военно-стратегического характера на случай войны, а также проведение диверсионных и террористических актов против врагов советской власти. «Группа Яши» подчинялась непосредственно председателю ОПТУ В. Менжинскому, по инициативе которого и была создана.
Летом 1929 года руководство ОГПУ вышло в ЦК ВКП(б) с предложением о похищении и вывозе в Советский Союз председателя РОВС генерала А. П. Кутепова, активизировавшего диверсионно- террористическую работу на территории Советского Союза. Предложение было утверждено Сталиным. В декабре 1929 года Я. Серебрянский вместе с другими видными чекистами, заместителем начальника Контрразведывательного отделения ОГПУ С. В. Пузицким направлен в Париж для руководства операцией.
Тем временем события развертывались следующим образом. В связи с требованиями Кутепова к руководству РОВС усилить террористическую деятельность против СССР, в том числе с использованием химического оружия, ИНО ОГПУ летом 1929 года приняло решение организовать новые оперативные игры с РОВСом от имени легендированных организаций. Одна из таких организаций — Северо-кавказская военная организация (СКВО) — была успешно подставлена в Румынии генералам Штейфону и Геруа. Это позволило чекистам вскрыть каналы переброски в Советскую Россию боевиков, выявить их связи и подпольные организации на Северном Кавказе, Кубани и Дону. В свою очередь, чекистам удалось вывести за границу и внедрить в РОВС хорошо подготовленных агентов в филиалы этой организации не только в Румынии, но и Югославии и Болгарии.
Однако в более сложных условиях проходила работа непосредственно со штабом РОВС от имени Внутренней русской национальной организации (ВРНО). Она состояла в основном из числа бывших офицеров и с участием ОГПУ. По мнению А. Артузова, руководившего этой операцией, прямой выход членов ВРНО на Кутепова был проблематичен. Поэтому было решено первоначально ввести ВРНО в поле зрения редактора журнала «Борьба за Россию» С. П. Мельгунова, который поддерживал тесные связи с начальником канцелярии Кутепова князем Сергеем Трубецким. С. Мельгунов не только получал информацию по России, но и переправлял в СССР свой журнал.
В 1928 году в Париж был направлен в качестве представителя ВРИО агент ОГПУ, бывший полковник царской армии А. Н. Попов, который через генерала П. П. Дьяконова встретился с С. Мельгуновым и проинформировал его о положении в России, целях и задачах ВРИО и поставил вопрос о необходимости расширения связей с эмигрантскими организациями за рубежом. Одновременно А. Н. Попов сообщил Мельгунову, что генерал Дьяконов является представителем ВРИО в Париже, и попросил его организовать встречу с председателем РОВС генералом Кутеповым.
А. Кутепов согласился встретиться с Поповым, но был категорически против встречи с П. П. Дьяконовым, которому он не доверял. Недоверие было, вероятно, вызвано тем, что в своё время в связи с Кронштадтским мятежом в советской печати были опубликованы телеграммы деникинской разведки, направленные из Лондона и подтверждавшие связь белогвардейцев с мятежниками. Их содержание было известно П. П. Дьяконову, что породило подозрения в его адрес. Это негативно отразилось на дальнейшем развитии оперативной игры.
Кроме того, несмотря на то, что впоследствии наладился регулярный обмен информацией между С. Мельгуновым и ВРНО через генерала Дьяконова и привлеченного к оперативной игре генерала Г. Г. Карганова, развить ее не удалось. В немалой степени это было результатом неудачного поведения самого А. Н. Попова. Изложенные агентом цели и задачи ВРНО живо напомнили генералу Кутепову операции чекистов «Трест» и «Синдикат», особенно после того как Попов сказал, что его организация решительно возражает против террористических актов на территории Советского Союза.
Усомнившись в подлинности ВРНО, Кутепов с пристрастием относился и к информации, которую сообщал ему генерал Карганов. Особенно с недоверием он относился к предложению Попова послать в СССР представителя РОВС для обсуждения дальнейших планов совместных действий. Подозрения А. Кутепова вызвали и тот факт, что засылаемые РОВС боевики для совершения террористических актов против Сталина, Бухарина, Менжинского, Крыленко, высших руководителей ОГПУ неизменно арестовывались чекистами и обезвреживались. Несмотря на объяснения Попова о том, что все это является результатом усиления охраны высших должностных лиц в СССР, генерал с маниакальным упорством продолжал требовать от ВРНО принятия практических мер по реализации принятого в 1927 году в предместье Парижа Шуаньи плана по заброске боевиков для осуществления террористических актов.
Поэтому летом 1929 года руководство ОГПУ приняло решение похитить и доставить генерала Кутепова в Советский Союз с целью организации показательного процесса над ним. Для этого была создана группа во главе с начальником 1-го (нелегального) отделения ИНО Яковом Серебрянским. Необходимость похищения генерала диктовалась еще и следующими обстоятельствами. В первых числах января 1930 года в Берлин из Москвы прибыли представители легендированной организации ВРНО полковник Попов и полковник де Роберта, бывший в 1918 году начальником штаба генерала Кутепова в Новороссийске. Они через генерала Штейфона пригласили генерала Кутепова на встречу в Берлин. Такая встреча состоялась 17 января 1930 года. Первоначально в Берлин выезжал начальник контрразведки РОВС полковник Зайцев, с