Здесь же нашел себе приют вернувшийся из ссылки декабрист И. Д. Якушкин — очередное лишенное документальных подтверждений свидетельство. Недолгое пребывание Якушкина в Москве связано с совсем иным районом. Бывший ссыльный вернулся в старую столицу в начале 1857 года, был встречен семьей и прямо с дороги поселился у сына на 3-й Мещанской в доме Абакумова (ныне — ул. Щепкина, 49). Дом находился в приходе церкви Филиппа Митрополита, почему начавших собираться здесь старых друзей по убеждениям Москва тут же окрестила «филипповцами». Дружеские встречи и беседы оказываются очень оживленными, несмотря на болезнь, приковывавшую И. Д. Якушкина к постели. Это же обстоятельство вызывает беспокойство тайного сыска. В конце марта того же года ему и М. И. Муравьеву-Апостолу предписывается немедленно выехать из Москвы и даже Московской области. 29 марта Евгений Якушкин повез отца на Николаевский вокзал. Им пришлось воспользоваться приглашением бывшего товарища И. Д. Якушкина еще по Семеновскому полку Н. Н. Толстого расположиться в его поместье Новинки, в шести верстах от станции Завидовской. В расписанном по дням незадавшемся возвращении декабриста на родину места для дома на Арбате-Воздвиженке просто не было.
Чуть раньше шереметевских домов на улице возникает еще один памятник екатерининских времен — городская усадьба Талызиных, располагавшаяся на территории бывшего Аптекарского приказа и включившая в себя его бывшую Трапезную палату. Здесь возникает своеобразное противостояние: по одну сторону улицы владения любимцев царствования императрицы Елизаветы Петровны и прямо напротив торжествующее свидетельство нового правления. Талызины — самые деятельные участники переворота в пользу Екатерины II.
Члены семьи московских служилых дворян, Талызины при Петре I были в числе первых русских моряков, получивших специальное образование в Голландии и Италии. Но обстоятельства не позволили им ограничиться одним морским делом. С начала 1760-х годов они принимают участие в дворцовых событиях, существенно сказавшихся на их собственных судьбах.
Адмирал И.Л. Талызин, пользовавшийся особой благосклонностью императрицы Елизаветы Петровны, принимает сторону ненавидимой ею великой княгини — Екатерины Алексеевны. В момент переворота Екатерина доверяет И.Л. Талызину захват Кронштадта, где мог теоретически найти себе, и притом очень надежное, убежище находившийся в Ораниенбауме Петр III со своими сторонниками — голштинскими офицерами. И.Л. Талызин является в крепость с собственноручной запиской Екатерины: «Господин адмирал Талызин от нас уполномочен в Кронштадте, а что он прикажет, то исполнять». Появившийся здесь с некоторым опозданием Петр III был встречен им ставшей знаменитой фразой: «Поскольку у вас не хватило решительности задержать меня именем императора, я вас беру под стражу именем императрицы».
Вместе с дядей в перевороте участвовали три племянника адмирала — Александр, Петр и Иван. Услуга, оказанная первым из них, вроде бы, пустяковая: Александр Талызин предоставил императрице свой мундир, в котором она могла принять присягу на верность гвардейцев. Эта реликвия хранилась в выстроенном в Москве, на Арбате-Воздвиженке, доме, где Александр Федорович поселился со своей женой, дочерью фельдмаршала С.С. Апраксина. Охлаждение Екатерины ко всей семье Талызиных наступило очень быстро, и в 1765 году, выйдя в «чистую» отставку, адмирал, как и его племянники, поселился в Москве, привечавших всех недовольных.
Любопытно, что из числа трех братьев Петр Талызин, дослужившийся до чина генерал-поручика, стал участником заговора против Павла I, но в последний момент изменил плану заговорщиков и поддержал Александра I в деле сохранения самодержавия. Его последовавшую через два месяца после убийства императора смерть современники объясняли местью былых товарищей по заговору. Существовал в разговорах и иной вариант — зазрившая совесть. Вместе с дядей в заговоре против Павла I принимал участие и представитель третьего поколения Талызиных — его племянник, капитан лейб-гвардии Измайловского полка А. И. Талызин, который в 1816 году приобрел по соседству, на Никитском бульваре, дом, ставший последней квартирой Н. В. Гоголя.
Размах талызинского строительства на Воздвиженке свидетельствовал о значительных материальных средствах заказчика. На улице были сооружены главный трехэтажный дом и два двухэтажных флигеля, обращенных к Воздвиженке торцами. Между ними находились ведшие во внутренний двор двое украшенных парными колоннами ворот. Скорее всего, по московскому обычаю, во флигелях были использованы части старой постройки.
Главный дом получил дворцовое решение — с анфиладой высоких парадных помещений во втором этаже и огромным двусветным залом, обращенным во двор. Эта парадная анфилада стала особенно обширной после того, как в 1816 году разрывы между главным зданием и флигелями были застроены. Тогда же появилась торжественно развернутая парадная лестница с большим выходящим на улицу вестибюлем. Эти помещения и часть комнат первого этажа получили богатейшую отделку с использованием искусственного мрамора, с колоннами, расписанными плафонами и рельефными «фаянсовыми» печами. Весь этот декор удалось восстановить после реставрации 1960-х годов.
Значительные изменения в общий облик талызинского дома были внесены на рубеже ХIХ—ХХ веков, когда занимавшая здание Казенная палата надстроила его боковые части до уровня главного корпуса.
Очень любопытен по своей планировке парадный двор, оказавшийся позади здания. Еще при А. И. Талызине было построено здание конюшен, симметричное древней трапезной Аптекарского приказа, и полукруглая декоративная стена между ними. Это позволило включить в общий ансамбль и косо поставленный самый старый среди остальных строений «Дом садовника», относящийся к началу XVIII века.
Талызинский дворец неслучайно был приобретен государством для размещения в нем Казенной палаты. И снова приходится уточнять расхожее благодаря путеводителям советского времени представление об этом учреждении как о «финансовом управлении города». В действительности впервые созданная Екатериной II в 1775 году Казенная палата сосредоточивала в себе все казенное управление. Она заведовала государственными имуществами и строительной частью страны. Впоследствии функции палаты сводятся к счетоводству и отчетности по приходу и расходу сумм в губернских и уездных казначействах, непосредственно ей подчиненных. Она наблюдает за поступлением государственных доходов, добивается их уплаты, но сама не вводит и не взимает никаких сборов. Казенная палата распоряжается производством всех расходов по губернии и не допускает не предписанных Министерством финансов расходов, какое бы ведомство ни пыталось их произвести.
Дом Талызина на Воздвиженке. 1787; 1816 г. Анфилада.
В результате своеобразной преемственности уже в советские годы в талызинском дворце работают сначала Секретариат ЦК РКП(б), который часто посещает Ленин, затем последовательно Наркомат юстиции, Госплан, а с 1945 года Музей архитектуры, получивший с 1963 года имя своего первого директора архитектора А. В. Щусева.
Дом № 5, который ряд советских справочников называет уютной квартирой председательствующего Казенной палаты, в действительности всегда принадлежал Крестовоздвиженскому монастырю и служил жильем для клира Крестовоздвиженского собора.