В 1783 г. 39-летнюю Дашкову Екатерина II назначила директором (фактически Президентом) Петербургской Академии наук и Председателем (Президентом) основанной Екатериной II по совету Дашковой Российской академии; первая академия изучала в основном точные науки, а вторая была центром гуманитарных наук. Дашкова сделала очень многое для улучшения деятельности этих академий, но из-за ее тяжелого характера отношения ее с некоторыми представителями научной и творческой элиты не сложились на добром уровне. Кроме того, у Дашковой ухудшились отношения с Екатериной II из-за того, что в журнале «Российский театр», который Дашкова редактировала, напечатали в пользу детей умершего драматурга Я.Б. Княжина его трагедию «Вадим Новгородский», в которой Екатерина II усмотрела республиканский дух. После 11 лет успешной работы в двух академиях Дашковой в 50 лет пришлось просить у императрицы отпуск на 2 года для поправления здоровья и домашних дел. Дашкова официальной отставки не получила, но фактически это была отставка. Ей оставалось только вспоминать, что она оказалась первой в русской истории женщиной, занимавшей столь высокие государственные посты, не считая коронованных особ. К этому времени здоровье Дашковой резко ухудшилось, прежде всего обострился ревматизм, но главное – она была измучена душевно из-за разладов с детьми и недовольства их образом жизни. Павел позорно и тайно, да еще и неудачно женился на дочке бывшего приказчика, мещанке Анне Семеновне Алферовой. Сына Дашкова прокляла за то, что женился не посоветовавшись с нею, по сути – против ее воли; вскоре сын опасно заболел, она отреклась от своих слов, но было уже поздно – он скоропостижно умер. Дочь Анастасия была несчастна в браке с пьяницей и скандалистом мужем, который был признан неспособным управлять своим имуществом, а небольшое состояние, выделенное им жене, оспаривалось его родственниками; у Анастасии были ощутимые долги. Дашкова посетила свое Могилевское имение и уехала жить в Троицкое. Покинутая детьми, а также сполна непонятая и сполна неоцененная императрицей, она почувствовала себя очень одинокой, почти тяготилась жизнью, приходили мысли о самоубийстве. Но она помнила, что, как учит Православие, самоубийство – тяжелейший грех. Чтобы не предаваться отчаянию и не давать почву дурным мыслям, Дашкова занялась переустройством своего имения. Она занялась пополнением усадебной библиотеки, новыми постройками (возвели 4 дома), цветниками; сама занималась проектированием, разбивкой цветников, перепланировкой сада, контролировала процесс строительства в усадьбе. В парке и в саду все кусты, деревья были посажены по ее указанию или под ее надзором. Е.Р. Дашкова писала: «…я искренне убеждена, что мое Троицкое самое очаровательное загородное место, какое только я видела где-либо». При ней существенно повысилось благосостояние ее крепостных крестьян, увеличилось их число. За 40-летнее владение Троицким число этих крестьян выросло с 840 до 1559 человек только мужчин, в той же пропорции выросло и число женщин, детей. Ее крестьяне жили лучше и богаче, чем у других помещиков. Так прошли 1794, 1795, часть 1796 г. После кончины 67-летней императрицы Екатерины II 42-летний новый император Павел I освободил 52-летнюю Дашкову от должности придворной статс-дамы и приказал ей уехать из Москвы в Троицкое, а затем – в ссылку в имение ее сына – в отдаленную деревню Коротово, в северной части Новгородской губернии. В то время в Троицком с Дашковой жила ее дочь Анастасия, которая поехала вместе с ней в Коротово. 2 года Дашкова, Анастасия и их друг англичанка мисс Бэтси, 3 горничных жили в ссылке, в двух деревенских избах. Обострившиеся болезни Дашковой, ее письма императрице и императору Павлу I, а также связи при царском дворе помогли 54-летней княгине вернуться в Троицкое и жить безвыездно в нем. Дашкова не знала, позволят ли ей хотя бы иногда посещать Москву, поэтому, чтобы не гневить Павла I, никуда не уезжала из Троицкого, куда к ней приезжали ее немногочисленные друзья и верные родственники. Она с удовольствием занималась хозяйственными делами в имении, пополняла библиотеку. Вставала в 3 часа утра (в этот час в 1794 г. она получила известие о ссылке в Коротово), днем занималась хозяйственными делами, после обеда 1 час спала, затем читала, рисовала, занималась делами своей библиотеки, спать ложилась рано. В этот период Дашкова еще раз убедилась в ненадежности дружбы и сотрудничества с властьпредержащими. Император Павел I неожиданно оценил деловые и личностные качества ее сына князя П.М. Дашкова, стал советоваться с ним о своих военных замыслах, сделал его командиром корпуса в Киеве, киевским генерал-губернатором. И вдруг менее чем через год, без очевидной причины – и формально за мелкую оплошность – отправил его в отставку. Она написала: «…видно как опасно плыть на одном корабле с “великими мира сего” и как придворная атмосфера душит развитие самых энергичных натур», «…совесть… может дать нам достаточно сил, чтобы спокойно перенести самые несправедливые гонения. Здесь же мы найдем пример, как зависть и ее верная подруга – клевета преследуют нас на известной степени славы …»
В 1801 г. император Павел I был задушен в своем дворце горсткой заговорщиков, императором провозгласили его 24-летнего сына Александра I. Дашкову пригласили ко двору, дали понять, что она вольна поступать, как хочет. С этого времени Дашкова стала бывать в Петербурге, жила зимой в основном в Москве, но по-прежнему очень много времени проводила в Троицком.
В 1803 г. по приглашению 59-летней Дашковой в Москву приехала и жила у нее почти 5 лет дочь ее знакомых, молодая англичанка Мэри Вильмонт, несколько лет (1805–1807) гостила у нее и ее сестра Кэтрин. Дашкова особенно привязалась к Мэри, которая стала ее главной радостью и утешением на старости лет. Дашкова занималась с ней французским и русским языками, одарила ее чрезвычайно дорогими подарками (о каких ее сын и дочь не могли и мечтать). Она возила девушек в театр, на балы, народные свадьбы, гуляния, к цыганам, к раскольникам, устраивала для них спектакли домашнего театра, катания с гор, ездили в Троице-Сергиеву лавру, в Ростов Великий, Переславль-Залесский, в другие интересные места. Жили они то в Москве в роскошном доме Дашковой (построенном по ее чертежам, на этом месте теперь здание Консерватории), то в Троицком. Мэри с упоением слушала рассказы Дашковой о прошедших временах, о событиях в ее жизни, проявляла искренний интерес ко всему, восхищалась неординарной натурой княгини. Но обе девушки в известной мере стали новой игрушкой, живой забавой княгини. Они не противоречили ей, во всем подчинялись ее желаниям. Неоднократно Мэри просила Дашкову помириться с сыном и дочерью, но она не хотела идти на примирение с ними. Дашкова чувствовала себя совсем одинокой после смерти 44-летнего сына Павла и полного разлада с дочерью. После отъезда Кэтрин она решила удочерить Мэри Вильмот, сделать ее своей наследницей. Мэри была беспричинно оклеветана, отношения Анастасии с матерью еще более накалились. При прощании с умершим Павлом в церкви разразился семейный скандал: Екатерина Романовна и Анастасия оскорбляли друг друга, высказывали взаимные претензии и угрозы, из-за их криков пришлось приостановить отпевание. Анастасия пыталась оттеснить от гроба мать с ее молодой компаньонкой. Клевета, ухудшившееся отношение к ней людей, усталость от обременительного внимания и чрезмерной любви старой княгини к ней заставили Мэри Вильмот вернуться к себе на родину. Она доказала необходимость этого Дашковой, но обещала непременно вернуться. Чтобы не расстраивать лишний раз Е.Р. Дашкову (знавшую о готовившемся отъезде Мэри), девушка уехала из ее дома, когда она спала, не забыв взять многочисленные и очень дорогие подарки, а также рукопись воспоминаний княгини, которые она написала по ее совету в 1805–1806 гг. Свои «Записки» княгиня Дашкова писала на английском языке в Троицком и в Москве. (Первое издание мемуаров Дашковой вышло в 1840 – через 30 лет после кончины – на английском языке. А.И. Герцен заинтересовался «Записками» княгини Е.Р. Дашковой и опубликовал их перевод на русском языке в 1859.)