Хотя Казимир часто повторял, что он очень терпеливый, но теперь все чаще стал использовать силу своей власти. «Sic volo, sic lobelo» (так хочу, так говорю) — эти слова стали любимой фразой Казимира. Когда возникла угроза его правам на Чешское королевство, Казимир решительно заявил, что расправится с теми, кто будет претендовать на чешскую корону. На укоры папы римского за его связи с гуситами резко ответил: «Подданным не делаю обид, а если иной веры, тогда ему нет ничего до этого, самому Богу дам ответ». Не испугало его и отлучение от церкви в 1457 году из-за войны с Тевтонским орденом. С отцовским упрямством он воевал с тевтонцами, не обращая внимания на неудачи и трудности. Казимир в этой ситуации проявил силу духа мужественного человека. И теперь уже не слышны были голоса с требованием смены Казимира на королевском престоле.
Свидетельством политической зрелости Казимира можно считать изданный в 1468 году свод законов для Великого Княжества Литовского — «Судебника Казимира». Он был своеобразным компромиссом великого князя с панами рады. Казимир передавал раде судебно-административную власть в государстве на время своего отсутствия. Дипломатией в его отсутствие также должна была заниматься рада. Паны рады командовали и военными силами, даже раздавали имения и земли.
«Судебник» регламентировал меру наказания преступника — в подавляющих случаях (за тяжелые преступления) он карался «шибинецей». «А над злодеем милости не надобе», — говорилось в «Судебнике». От уголовной ответственности освобождались родные преступника, если они не знали и не участвовали в преступлении или не пользовались краденым, освобождались также дети до семи лет. Наказание преступников Казимир оставлял за собой.
Хоть «Судебник» был уступкой панам рады, но тем не менее они оставались недовольными Казимиром. Долгое пребывание Казимира в Польше не могло отразиться и на внешней политике Великого Княжества Литовского. Если раньше политика ВКЛ была наступательной и агрессивной, то теперь осторожной и выжидательной. Это касалось в первую очередь отношений с Московским княжеством. Казимир тут не проявил активности, хоть внутренние неурядицы и междоусобная война Василия Васильевича с князьями Юрием Дмитриевичем, а потом с Дмитрием Шемякой давали возможность ВКЛ укрепить свое влияние на Руси. Своим бездействием в «русском» вопросе Казимир позволил московскому князю Ивану III в 1471 году овладеть Новгородом. Казимир отказался начинать войну за Новгород (хотя между ним и Новгородом существовал договор «держати тебе, честны король, Великий Новгород в воли мужей волных, по нашей старине»), предупредив панов рады, «что когда с Москвой захотят помериться силами, то скорей будут побежденными, чем победителями». Возрастающую мощь Москвы он хорошо видел и не желал обременять себя конфликтом. Тем более с Московией он поддерживал мир, а ее правитель, двоюродный племянник Казимира Иван III, почтительно называл его «очень высокий, благородный, славный, великий». Казимира более занимали его династические проблемы. После смерти бездетного короля Венгрии и Чехии Владислава Казимир как муж его сестры Елизаветы предъявил свои права на эти королевства. Но королем Венгрии был выбран Матвей Корвин Гунияди, а королем Чехии — Юрий Подебрад. Папа Павел II просил Казимира «взять оружием Чешское королевство для хвалы Божией и возвышения религии католической, а после по причине законного права, за что умножит себе божественную заслугу перед Богом и имя свое прославит на века». Казимир не отважился начать новую войну и отказался от чешской короны. В 1471 году Юрий Подебрад умер, и чехи выбрали своим королем сына Казимира Владислава и 21 августа короновали его. Но за венгерскую корону довелось Казимиру сражаться.
Противники Корвина приглашали на королевство Казимирового сына Казимира. Посланное Казимиром войско во главе с его сыном было разбито в 1471 году Корвиным. И вот ради борьбы за венгерскую корону Казимир пожертвовал делами Великого Княжества. Но предвидел, что это вызовет недовольство литвинов и они вновь захотят объявить своим правителем Семена Олельковича. Поэтому Казимир после его смерти в 1470 году ликвидировал Киевское княжество, чтобы оно не было опорой Олельковичей. Сам по себе это очень показательный поступок. Казимир теперь — не жертва обстоятельств, а предвидит их, рассчитывает свои ходы и сам влияет на события.
Вместо Олельковича король Казимир послал в Киев своего наместника Мартина Гаштольда. Православные киевляне готовы были лучше погибнуть или избрать себе иного правителя, чем подчиниться католику. Просили они Казимира дать им наместника православного или одного из своих сыновей. Казимир — уже не тот слабовольный правитель — настоял на своем. Отметил это и Ян Длугош: «Но наконец киевляне, боясь силы короля, смирились». Князь Михаил Олелькович, который был посадником в Новгороде, узнав о смерти брата, выехал в Литву, но опоздал: Киев уже находился в руках Гаштольда. Оставалось князю довольствоваться Слуцким княжеством. Еще один недовольный Казимиром появился в Литве. А их и так хватало.
Воспользовавшись отсутствием Олельковича в Новгороде, московский князь Иван III захватил Новгород и заставил новгородцев отказаться от приглашения в город посадников из Литвы и «неотступно» повиноваться ему. Падение Новгорода было одновременно и ударом по Великому Княжеству Литовскому. Москва распространила свою власть на Северо-Западную Русь. Иван III почувствовал свою силу и теперь заявлял, «что его отчина и вся Русская земля, Киев и Смоленск и иные городы ... з божьей волею, из старины, от наших прародителей наша отчина». Тем самым он дал знать, что будет бороться за обладание всех былых владений Рюриковичей, а поэтому принимает титул «великого князя Всея Руси».
До поры до времени противники Казимира в Литве смирились с его правлением. Но в 1480 году против него возник заговор православных князей. Возглавили его князья Михаил Олелькович, Иван Гольшанский и Федор Бельский. Заговорщики хотели возвести на великокняжеский посад Михаила Олельковича. Но Софийская летопись иначе объясняет цель заговора: «Восхотеша вотчины — Ольшанский да Оленкович, да князь Федор Бельский по Березыню реку отсести на великого князя Литовской земли, един же их обговорил». Надо согласиться с российским историком Михаилом Кромом, что события, связанные с заговором, «явно увиденные из Москвы». Оторвать от Литвы такую громадную территорию (не менее 500—600 км) заговорщикам было не по силам, тем более, что эту территорию они не контролировали. Думается, что в этом вопросе был осведомлен сын Трокского воеводы Мартина Гаштольда — Альбрехт. От отца, который участвовал в суде над заговорщиками, он знал их цели. В письме к королеве Боне Альбрехт писал, что два предка князя слуцкого были обезглавлены, ибо они составили заговор с целью убийства великого князя, «желая, чтобы по уговору только один занял Великое Княжество».
Для исполнения своего замысла князья собирались воспользоваться свадьбой Александра Чарторыйского с дочерью Федора Бельского в Кобрине. На свадьбу был приглашен и Казимир, где его и хотели убить. Правдоподобно, что Олелькович искал поддержки Ивана III, ибо есть известия о его тайных связях с московским князем.
