В Испании Рудольфа обручили с трехлетней дочерью Филиппа II Изабеллой Кларой Евгенией. Дядя готовил его к управлению Испанским королевством, так как после трагической смерти в 1568 году сына, дона Карлоса, у него не осталось прямых наследников мужского пола. Династия Габсбургов находилась в зените своего могущества и боялась упустить «испанское наследство». Однако в 1570 году вторая супруга короля Анна Габсбургская (кстати, родная сестра Рудольфа) родила королю долгожданного сына — также Филиппа, и обещание дяди повисло в воздухе. Более того, много лет спустя, в 1598 году, испанский король обручил любимую дочь с самым младшим братом Рудольфа, Альбрехтом, назначив того еще и своим наместником в Нидерландах. Это была уже настоящая пощечина самолюбию несостоявшегося испанского владыки, после чего даже упоминание об Испании и пиренейских родственниках стало запретной темой при его дворе.
Проведя в Испании 8 лет, весной 1571 года уязвленный восемнадцатилетний Рудольф вернулся в Вену. Отец, император Максимилиан II, увидел в старшем сыне излишнюю жесткость и религиозную нетерпимость, а мать Изабелла, напротив, — редкую в Вене тех лет изысканность и утонченность. Что же касается политических уроков дяди Филиппа Испанского, то Рудольф их хорошо запомнил, и его манера правления отличалась сдержанностью и скрытностью, он вел себя так даже с ближайшими помощниками и родственниками. Кроме того, подобно Филиппу, Рудольф ненавидел путешествия и был закоренелым домоседом.
Отец, уже смертельно больной, приложил немало усилий для утверждения преемственности власти. В условиях усиления конфессиональной вражды в империи и противостояния в совете курфюрстов, где католики и протестанты никак не могли найти общий язык, Максимилиану было крайне важно найти компромиссное решение. И ему удалось убедить курфюрстов-протестантов (их было трое) проголосовать за кандидатуру Рудольфа, пообещав им за это немалые преимущества. 21 сентября 1572 года Рудольф принял венгерскую корону святого Иштвана в Пресбурге (современная Братислава). Через три года настал черед Богемии (Чехии) — 22 сентября 1575 года в соборе Святого Вита на голову Рудольфа была возложена корона святого Вацлава.
Де-факто Рудольф уже был императором, но де-юре он им стал только 2 ноября 1576 года, во время проведения имперского съезда в том же Регенсбурге, после смерти своего отца. Процедура введения в императорское достоинство проходила в городе, где постоянно проводились имперские съезды, то есть изначально подчеркивалось широкое представительство на коронации делегатов от разных сословий и адептов враждующих конфессий. Это были многие сотни гостей, напряженно присматривающихся к фигуре монарха и фиксировавших каждый его шаг. Стоит отметить, что Максимилиан II впервые примерил императорскую корону во Франкфурте, как и преемник Рудольфа II — Маттиас I, а не в Регенсбурге.
Похороны Максимилиана состоялись в Праге, только через пять месяцев, 20 марта 1577 года, и… завершились грандиозным скандалом, в котором многие современники услышали мистические нотки. Во время прохождения процессии по Староместской площади знаменосец уронил штандарт. Древко ударилось о мостовую, в торжественной тишине раздался резкий звук, весьма похожий на выстрел. Буквально в доли секунды вспыхнула настоящая паника, и все бросились искать спасения в окрестных домах и переулках. Молодой Рудольф, всеми покинутый, остается в одиночестве и страхе у гроба своего отца. Не правда ли, странное знамение в самом начале правления? Долгие часы Рудольф безуспешно умолял образумиться парализованных от страха сановников. Возможно, у протестантов возникли ассоциации с недавней Варфоломеевской ночью в Париже, когда католики вырезали тысячи гугенотов?… Мир, в котором вдруг оказался молодой Рудольф, был полной противоположностью его предыдущего окружения. В Чехии преобладали некатолики, впрочем, только в количественном отношении. Католиков же хотя и было меньше, зато они были хорошо организованы. В Вене находилась королева, вдова Мария, строгий католицизм которой ни в чем не уступал ее испанскому происхождению. И это служило опорой для католиков в Праге, представлявших собой весьма монолитную группировку. Их центром стал Пернштейнский дворец на Градчанской площади. Его владелец, известный чешский дворянин Вильям из Пернштейна, во время своей дипломатической миссии в Испании женился на Марии, урожденной Манрике де Лара. Вокруг этой фанатичной католички объединилось дворянское католическое общество, и при участии испанского посла и папского нунция строились козни против некатоликов. Поликсена, молоденькая дочь Пернштейна, далеко не из религиозных побуждений вышла замуж за старого и больного Вильяма из Рожмберка, богатейшего чешского магната и фанатичного католика. Когда Вильям из Рожмберка умер, на молодой красивой вдове женился другой член «испанской» католической партии Чехии — Зденек Войтех Попел из Лобковиц. И снова далеко не из религиозных побуждений. В качестве приданого Поликсены он получил имение Роудницена-Лабе, и, кроме того, этот брак помог ему после поражения сословного восстания попасть на вершину политической власти и войти в доверие к Габсбургам. Целью Габсбургов, всецело опиравшихся на католическую церковь, была в тот период рекатолизация всех подвластных им земель.
Как и повсюду, в Чехии надежными помощниками контрреформации стали иезуиты. Члены ордена, основанного отставным испанским офицером Игнатием Лойолой, начинали очень незаметно. Они учредили в Праге колледж — Клементинум (ныне здесь находится университетская библиотека), и их школа пользовалась хорошей репутацией. Подтверждается это и тем, что сюда стали посылать детей и некатолики. Однако со временем иезуиты печально прославились тем, что они насильно заставляли некатоликов принять «истинную веру».
Вот в такое время и в такой атмосфере двадцатичетырехлетний Рудольф вступает на чешский престол. Вначале Рудольф нерешительно кочует между Прагой и Веной (традиционной резиденцией Габсбургов). Но в 1583 году он окончательно останавливает свой выбор на Праге, где и проводит почти безвылазно тридцать лет. Переезд императорского двора в чешскую столицу способствовал бурному развитию города. Вот что пишет биограф Рудольфа II, чешский историк Йозеф Яначек: «Большой пожар 1541 года привел к заметным перестановкам в городе и началу бурного строительства. Ренессансная архитектура с середины XVI века становится преобладающим стилем в Праге. Инициатива здесь принадлежала дворянству, но вслед за ним начали вести бурное строительство и зажиточные мещане. Так начался период ренессансной перестройки Праги, сильно изменивший прежний средневековый облик города».
Рудольф поощрял эти перемены и сам немало сделал прежде всего для обустройства своего дома — Пражского Града. Сам император поселился в Старом дворце, самой большой достопримечательностью которого являлся Вацлавский зал, длина которого составляла 62 метра. В XV веке этот зал считался самым большим светским помещением в Европе. Здесь избирались чешские короли и проводились рыцарские турниры. Чтобы рыцарь мог попасть на ристалище в полном боевом облачении, не сходя с коня, к дворцу вела специальная лестница без ступеней — пандус.
Чешский сейм охотно выделял средства для ремонта Града, который вскоре начинает сиять первозданной красотой. И Рудольф правит отсюда чешским и венгерским королевством и Римской империей. По свидетельствам современников, Рудольф произвел в Праге хорошее впечатление. Его описывают как симпатичного мужчину среднего роста, с ухоженным лицом, приятного в обращении. Особенно подчеркивают его приветливость.