Контора «Помполита» помещалась на Кузнецком мосту, в невзрачном доме 16, в конце коридора, рядом с курсами иностранных языков Берлица. В приемной сидели два секретаря, и обычно там толпилось множество посетителей. Когда в 1923 году Михаил Голицын пришел в контору «Помполита», его сразу провели к Пешковой, с которой они были знакомы с 1917 года, со времени совместной работы в «Обществе охраны материнства и младенчества». Михаил просил за брата Николая и племянника Кирилла. Пешкова не могла добиться их освобождения, однако благодаря ее вмешательству, отца и сына не отправили на Соловецкие острова; они отбывали срок в московской Бутырской тюрьме, и это спасло им жизнь.
21 января 1924 года умер Ленин. В мае 1922 года он пережил первый из многочисленных инсультов и с тех пор почти не участвовал в управлении страной. Четыре дня его тело лежало в московском Доме союзов, бывшем здании Благородного собрания, и сотни тысяч граждан приходили отдать последний долг вождю Октября. Одним из них был Сергей Голицын. Он пошел в Дом союзов с другом и вернулся домой к полуночи. Дома, узнав, где он был, негодовали. «Куда тебя понесло? Зачем? Что ты хотел увидеть? Будь жив твой дядя Миша, он бы тебе уши надрал!» – кричал кузен Георгий Осоргин.
Через два месяца Лиля Шереметева пришла к Голицыным в слезах: ночью в Наугольном доме были арестованы ее сын Николай, племянник Борис Сабуров и Дмитрий Гудович. Аресты положили начало процессу, известному как «дело фокстротистов». Множество людей, включая почти всех, кто танцевал фокстрот на Спиридоновке или участвовал в балах в Наугольном доме, были арестованы, в том числе престарелый распорядитель балов Владимир Гадон. Сестра Галины фон Мекк Люси отправилась на фокстротный вечер с молодым поэтом и попала в облаву; все мужчины были арестованы и многие отправлены на Соловки. Единственная семья, которой не коснулись аресты, были Голицыны.
Николая Шереметева выпустили, и он вернулся в Наугольный дом. Вскоре туда вновь пришли, на этот раз не для арестов, а чтобы объявить, что дом необходимо освободить в три дня. Не имея возможности в такой короткий срок перевезти куда-то имущество, Николай, Юрий Сабуров и Андрей Гудович вытащили мебель и десятки баулов, ящиков и коробок с антиквариатом на улицу и распродали прохожим за бесценок. Шереметевы жили в Наугольном доме три столетия. Все рухнуло в три дня.
Лиля не могла этого более выносить. Она решила заключить фиктивный брак с другом ее последнего мужа, латвийским дипломатом бароном Будбергом. Будберг, Лиля и четверо ее младших детей – Наталья, Петр, Мария и Павел – отправились в Ригу, на московском Белорусско-Балтийском вокзале их провожали десятки друзей и родственников и два тайных агента ОГПУ. В Риге Будберг предложил заключить настоящий брак, но Лиля отказалась, и он вернулся в Москву. Одно время Лиля с детьми жила в поместье своих родителей, позднее семья перебралась в Париж, а затем в Рим.
Дочь Лили Елена решила не ехать с матерью и братьями. Ее муж Владимир не хотел оставлять Россию и родителей, и они только что создали собственную семью. Елена снова увиделась с матерью только через сорок два года, во время краткой поездки в Рим, и вскоре после этого та скончалась.
Николай тоже остался: он был влюблен. Цецилия Мансурова, двадцатисемилетняя красавица с пронзительными карими глазами и пышными волосами, была восходящей звездой вахтанговского театра, где Николай только что получил работу. И хотя она была замужем и на шесть лет старше, Николай не устоял перед ее чарами и стал упорно за ней ухаживать. Одаренный музыкант, красивый и обаятельный, Николай быстро завоевал сердце Цецилии, и вскоре они уже жили вместе в комнате при бывшей конюшне во дворе театра, а позднее переехали в квартиру в кооперативном доме Вахтанговского театра в Большом Левшинском переулке. Уход Цецилии от мужа не произвел скандала; скандальным оказалось ее еврейское происхождение. «Многие находили это необъяснимым, – писал Сергей Голицын, – граф Шереметев женился на еврейке!» Именно благодаря Мансуровой Николаю удалось быстро выйти из тюрьмы: она просила за него кого-то из тех, кто имел большие связи, и ее красота и обаяние сделали свое дело. В следующие годы ей не раз придется вызволять таким образом своего любимого, встречаясь с Каменевым, Бухариным и Калининым. Один из музыкантов, коллег Николая, вспоминал, что, когда его мать, братья и сестры уезжали из Москвы, Николай порвал свой паспорт на глазах у Цецилии в доказательство своей преданности. Они прожили вместе всю жизнь, связанные любовью друг к другу и общей страстью к музыке и театру.
Аресты по «делу фокстротистов» продолжались. Весной 1924 года Анна Сабурова, Мария Гудович и почти все их дети – Борис и Юрий Сабуровы, Дмитрий, Андрей, Варвара и Меринька Гудович – оказались в Бутырской тюрьме. ОГПУ начало следствие с выяснения политических взглядов арестованных. В годы НЭПа слова о лояльности к советской власти, как правило, гарантировали быстрое освобождение из тюрьмы или ссылки. Многие заключенные получали приговоры, в просторечии именуемые «минус шесть», в соответствии с которыми им запрещалось жить в шести крупнейших городах СССР – Москве, Петрограде, Киеве, Харькове, Свердловске и Тбилиси, – а также во всех приграничных районах СССР. Арестованные, на вопрос о политических взглядах отвечавшие, что они монархисты, отправлялись на несколько лет в лагеря. Анна Сабурова была выслана на три года в Калугу, ее дочь Ксения последовала за ней; Борис и Юрий получили «минус шесть» и были высланы на три года в Ирбит на Урале. Отбыв наказание, братья вновь получили «минус шесть» и в 1927 году переехали в Калугу. Мария Гудович и ее дети Меринька, Андрей и Дмитрий также были высланы в Калугу, затем обосновались в Царицыне. Вышвырнув Шереметевых из Наугольного дома, ОГПУ теперь изгоняло их и из столицы.
В Бутырской тюрьме содержались революционеры и смутьяны, выступавшие против царской, а затем и советской власти, включая Нестора Махно, Феликса Дзержинского, Варлама Шаламова и Александра Солженицына. В этих стенах побывал даже Гарри Гудини, исполнивший рискованный побег из Бутырки в 1908 году. В 1924-м многие заключенные, в том числе Николай и Кирилл Голицыны, содержались в камере № 8, которую называли «нашим дворянским колхозом». Здесь Кирилл получил возможность познакомиться со множеством пожилых дворян и свести близкую дружбу с молодыми – Дмитрием Гудовичем и Сергеем Львовым. Владимир Трубецкой провел в Бутырке два месяца, после того как вместе с другими дворянами был арестован в Сергиевом посаде в декабре 1924 года.
Георгий Осоргин оказался в камере № 8 в марте 1925 года. Он был арестован на квартире Сандры Мейендорф, сестры Лилии Шереметевой. Мейендорф привлек внимание ОГПУ тем, что работал на Джона Эллиота, представителя Аверела Гарримана. Незадолго до ареста Осоргин писал Григорию Трубецкому в Париж: «Они начали зачистку Москвы от враждебных элементов». В одну ночь были арестованы тридцать друзей Осоргина. Арестовывали так часто, что остряки шутили: «Вопрос из советской анкеты: были ли вы арестованы, и если нет, то почему». Для «бывших людей» вроде Осоргина шутка была несмешная. В первый раз он был арестован в сентябре 1921 года во время облавы в доме его тетки Ольги Трубецкой. Прежде чем его увели, он сумел передать жене Лине короткую записку: «Вот настал и твой черед, душка моя, подвергнуться испытанию. Да хранит вас всех Господь. Молитесь за меня и будьте совершенно спокойны. Я ни одной минуты не боюсь за себя, и все мысли мои о вас, остающихся…»