Вместо себя Ольгерд предложил псковичам сына Андрея. Молодой княжич был возведен на псковский посад.
Но не Ольгерду достался великокняжеский посад, а Евнуту — сыну Гедимина от третьей жены, полоцкой княжны Евны. Остальные братья не признали власти великого князя и правили самостоятельно в своих уделах: Монивид — в Кернове и Слониме, Глеб-Наримонт — в Полоцке, Любарт — в Луцке, Кейстут — в Троках, Городно и Берестье, Ольгерд — в Витебске и Креве. Каждый правил по своему усмотрению. Только раз собрались они вместе для решения общегосударственных задач. В 1341 году Гедиминовичи участвовали в походе на Пруссию, который возглавил Монивид. Он, вероятно, претендовал на верховную власть в государстве и в обход Евнута подписал перемирную грамоту с Орденом. Хотя, как старший из Гедиминовичей, он считал себя достойным великокняжения, но вот так и не стал великим князем, ибо вскоре после похода умер. В разделе Воскресенской летописи «Начало государей Литовскых» отмечается, что великим князем стал второй сын Гедимина — Наримонт. В одной из битв с татарами он попал в плен, откуда его выкупил московский князь Иван Данилович. Наримонт крестился в православие, «и того для братия его и вся земля Литовъская не даша ему великого княжения, а посадиша на великое княжение Олгерда, а Наримонта взяли въ Великий Новгородъ на пригороды». Эти факты не подтверждаются другими источниками. Известно, что Глеб-Наримонт с 1338 года был полоцким князем, а новгородские пригороды получил еще в 1333 году.
Правдоподобно, что после смерти Монивида Глеб-Наримонт, как старший брат, пользовался большим влиянием в государстве, мог даже выполнять функции великого князя. Правление Наримонта не подкреплено никакими документальными и письменными свидетельствами. Но остались предания о великом князе Наримонте, прототипом которого и был Глеб-Наримонт. Летописный Наримонт «вделал герб человека на кони з мечом», но первая известная печать с гербом «Погоня» принадлежала именно Глебу-Наримонту, которой он в 1338 году как полоцкий князь скрепил договор с Ливонским орденом.
Даже если Великим Княжеством и правили Глеб-Наримонт и Евнут, то Ольгерд и Кейстут брали на себя политическую инициативу. Они организовали в 1342 году поход в Пруссию. Именно к ним как к самым сильным князьям Великого Княжества Литовского и обратились за помощью псковичи. Так что закономерно, что Ольгерд и Кейстут считали себя некоронованными властителями Великого Княжества и мечтали взять верховную власть в державе.
Четыре года после смерти Гедимина в Великом Княжестве было спокойно, не тревожили и внешние враги. Да покой этот был обманчивый. В Ордене решили, что наступил удобный момент нанести Великому Княжеству сокрушительный удар: оно распалось на уделы, великий князь не обладает сильной властью и некому дать отпор врагам. В Пруссии собрались европейские властители, среди них были чешский король Ян, венгерский король Людовик, граф Гюнтер Шварцбуг (ставший позже императором), маркграф моравский Карл, граф голландский Вильгельм IV, граф голштанский Генрих и другие знатные особы. Намечался грандиозный поход на Литву.
Вот тогда Ольгерд и Кейстут решили свергнуть с великого посада Евнута: «Евнутий не бяшеть храбръ, а держит стольный градъ Вильно». В 1345 году Ольгерд и Кейстут выступили на Вильно. Кейстут 22 ноября захватил город. Евнут убежал из замка в одном кожушке, но был пойман и «хован в тюрьме». Кейстут передал власть приехавшему из Крева Ольгерду: «Тобе подобаеть княземь великим быти во Вильни, ты стареши брат, а я с тобою за одно живу». Сам Кейстут стал княжить «волею своею на княстве Троцком», в состав которого входили Аукштайтия, Подляшье, Городенская и Берестейская земли. А Ольгерд «...в Вильне на Великом князстве Литовском и Русском пановал». Из этого сообщения видно, что Великое Княжество Литовское и Русское в то время состояли из Виленской, Новогродской, Менской, Полоцко-Витебской земель, а Трокское княжество, хоть и было вассальным, но не входило в Великое Княжество.
Не все Гедиминовичи приняли власть Ольгерда. Евнут сбежал в Москву. Но московский князь Симеон Гордый не захотел ссориться с новым великим князем литовским и не помог Евнуту вернуть великий посад. Сбежал в Орду и полоцкий князь Глеб-Наримонт. Он также не получил поддержки и лишился Полоцка, который Ольгерд передал своему сыну Андрею.
Вскоре беглецы вернулись назад. Глеб получил Пинский удел, а Евнут — Заславль. Мир в Великом Княжестве Литовском был сохранен.
Орден встретил достойный отпор. Пока крестоносцы безуспешно осаждали один из замков в Аукштайтии, Ольгерд ворвался в Пруссию. Крестоносцы сняли осаду и поспешили защищать свои владения. Ольгерд неожиданно поменял направление похода. Морским берегом привел свое войско в Куронию и напал на владения ливонских рыцарей, захватил и разрушил замок Тервете, разорил предместья Митавы и Зегевольда, волости Торейде и Кремун. «Он произвел большое кровопролитие, убив около 2000 человек, и многих увел в плен», — писал Вартберг. Во время похода к Ольгерду в лагерь прибыл один ливский старейшина и сказал, что ливы избрали его королем. «Литовский же король спросил его, что нужно сделать с ливонским магистром. Тогда лив ответил, что они прогонят его вместе со всеми немцами. Но король сказал: «Мужик! Ты не будешь тут королем!» и велел ему отрубить голову на поле перед замком Зегевольда», — сообщает Вартберг. Но он не объясняет поступка Ольгерда. Что толкнуло его на жестокость? Вероятно, Ольгерд считал, что Ливония должна принадлежать ему как наследственное владение полоцких князей, чью власть он унаследовал. А поэтому терпеть какого-то «мужика», покусившегося на его власть в Ливонии, не стал. Решение было опрометчивым, ибо Ольгерд выступил против воли ливов и лишился их поддержки. Но разве мог он подчиниться чужой воле?
Итоги этого стремительного и разрушительного похода Ольгерда принесли Ордену не только материальные и физические потери, но и моральные. Титулованные гости разочаровались в мощи Ордена, и симпатии к крестоносцам значительно остыли. Многие из них уже более не откликались на призыв Ордена помочь распространять христианство в Литве. Магистр Людольф Кениг был объявлен сумасшедшим, и его заменили на деятельного Генриха Дусмера.
В начале своего правления Ольгерду нужно было не только укрепить власть в Литве, но и показать свою силу соседям. Когда он узнал, что московский ставленник в Новгороде назвал его псом, то в 1346 году выступил в поход на Новгородскую землю. «Хочу с вами видеться, бранил меня посадник ваш Ефстафий Дворянинец, называл псом», — передал Ольгерд через послов новгородцам. Личное оскорбление было только поводом для похода на Новгород, не месть вела Ольгерда, а политическая необходимость убрать ставленника московского князя Симеона в Новгороде.
