В Батуме Джугашвили участвует в работе Батумского комитета РСДРП, в подготовке забастовок и протестных демонстраций рабочих. Среди профессиональных революционеров он был известен под партийными кличками Коба, Иванович, Василий.
В 1901 г. в Баку была создана группа «искровцев», которую возглавил соратник Ленина большевик Леонид Красин. Вместе с грузинским социал-демократом Ладо Кецховели они создали в Баку подпольную типографию, которая перепечатывала номера газеты «Искра» и получила позднее название «Нина». Авторы многих воспоминаний основные заслуги в создании этой типографии приписывали Сталину, хотя это было не так. В этой же типографии начали издавать нелегальную газету тифлисской социал-демократической организации «Брдзола» («Борьба») на грузинском языке. (Газета вышла всего 4 раза.) В сентябре 1901 г. в первом номере газеты была напечатана неподписанная статья под названием «От редакции». В декабрьском номере 1901 г. появилась вторая статья «Российская социал-демократическая партия и ее ближайшие задачи». Обе эти статьи открывают Собрание сочинений Сталина, однако в воспоминаниях кавказских социал-демократов (в основном меньшевиков) ставится под сомнение авторство Джугашвили. Так, Арсенидзе писал, что эти статьи впоследствии стали приписывать Сталину.
Как утверждает в своей работе о Сталине Троцкий, в начале 1902 г. батумской организации социал-демократов удалось организовать нелегальную типографию, простой типографский станок находился в комнате, где проживал Коба. Типографский станок использовался в основном для печати листовок и прокламаций, текст которых писал Джугашвили. Троцкий, имевший все основания не любить Иосифа Джугашвили, с иронией отмечает, что литературный уровень прокламаций соответствовал уровню печатного станка. Но он был правильно рассчитан на малообразованных людей, был общедоступен и понятен. Характерно, что, будучи на вершине власти, Сталин отверг первые варианты книги «Краткий курс истории ВКП(б, по причине того, что содержание было трудным для восприятия. Он затребовал данные об образовательном цензе партийного руководства. И вот что он получил. Как доложил ему Маленков, в середине 1937 г. среди секретарей обкомов партии высшее образование на то время имели лишь 15,7, а низшее — 7-.4 %, среди секретарей окружкомов — соответственно 16,1 и 77,4 %, среди секретарей горкомов –9,7 % и 60,6 %, секретари райкомов –12,1 % и 80,3 %. Это были данные о невежестве и бескультурье партийного руководства страны, которому в начале 30-х гг. предстояло совершить «коренной перелом» в истории России. Сталин приказал переделать учебник так, чтобы он был понятен этим людям.
После разгона батумской демонстрации рабочих 5 апреля 1902 г. во время заседания Батумского комитета Коба был арестован полицией и провел год в батумской тюрьме, затем был доставлен в Кутаиси. Осенью 1903 г. его отправили по этапу в ссылку в Восточную Сибирь. 27 ноября 1903 г. он прибыл в Иркутскую губернию в село Новая Уда.
Впервые он бежал из Сибири в январе 1904 г. В конце месяца он прибыл в Батум, а потом в Тифлис. По воспоминаниям Иремашвили, в это время он женился на сестре своего товарища-революционера Екатерине Сванидзе. В 1907 г. у них родился сын Яков. Екатерина умерла рано от тифа, когда сыну было 2 месяца. Сталина эта смерть потрясла. Якова с малых лет воспитывали родители жены.
После раскола социал-демократической партии, происшедшего на II съезде РСДРП в 1903 г., на местах шло размежевание, большевики и меньшевики собирали своих единомышленников. На Кавказе господствовали меньшевики, Бакинская типография партии перешла в руки меньшевиков. Предстояло сделать выбор и Сосо. В ноябре 1904 г. в Тифлисе состоялась большевистская конференция, однако данных об участии в ней Сталина нет. Но к этому времени Сталин уже сделал свой выбор в пользу большевиков.
Этому может служить подтверждением статья «Класс пролетариев и партия пролетариев», опубликованная 1 января 1905 г. в газете «Пролетариатис брдзола» («Борьба пролетариата»), которая издавалась нелегально на грузинском языке. Авторство Сталина никем не оспаривается (статья входит в Собрание сочинений Сталина). Эта статья, как следует из ее подзаголовка, разъясняла первый пункт Устава партии. Она была четким выражением позиции в дискуссии между большевиками и меньшевиками. Автор однозначно высказывался за большевистское течение, полностью раскрывая позиции большевиков, отстаивая их принципы организации партии. По его мнению, «наша партия является не скоплением одиночек-болтунов, а организацией руководителей», что партия «уподобилась крепости, двери которой открываются лишь для достойных», что «местные партийные организации составляют одну большую централизованную организацию».
Накануне Первой русской революции, 8 января 1905 г. в нелегальной Авлабарской типографии была напечатана листовка, написанная Кобой: «Рабочие Кавказа, пора отомстить!» (Имеется в Собрании сочинений Сталина. Соч. Т. 1. С. 70.) В этой листовке автор призывал пролетариат к свержению царского самодержавия.
1905 год Коба провел в Тифлисе. Воспоминаний о его участии в революции 1905 г. на Кавказе нет. По мнению Троцкого, Сталин остался как бы вне 1905 г.: «В сущности, он стоял спиной к самой революции, как бы обидевшись на нее». Он занят публицистикой, пишет обращения, прокламации, листовки, статьи, многие за подписью «Тифлисский комитет». В мае 1905 г. выходит брошюра «Коротко о партийных разногласиях», которую Крупская просила прислать за границу. В декабре 1905 г. Коба (под партийной кличкой Иванович) как представитель заказвказских большевистских организаций принимает участие в конференции, которую проводят большевики в финском городе Таммерфорсе. Здесь он в первый раз встретился с Лениным.
В апреле 1906 г. Коба под тем же именем Иванович участвует в IV «Объединительном» съезде РСДРП в Стокгольме, где после поражения революции 1905 г. большевики и меньшевики пытались восстановить единство партии. Коба неоднократно брал слово, выступал в поддержку Ленина, однако по вопросу, стоявшему в центре дискуссии, — вопросу о земле — выразил особое мнение. Он подчеркивал необходимость раздела земли. Коба отверг предложения меньшевиков о муниципализации земли, то есть передаче ее в общественное пользование, а также и предложение большевиков о национализации земли, о передаче ее в государственную собственность. В этом случае он руководствовался весьма практическими соображениями. По личному опыту он знал, что крестьяне мечтают получить землю.
Здесь же, на Стокгольмском съезде, была принята резолюция с осуждением террористических акций, которые в тот период проводили «боевые дружины» рабочей самообороны, которые были созданы большевиками и вооружены в революцию 1905 г. Участников этих отрядов, которые занимались добычей денег и оружия для партии, т. е. фактически грабежом, называли «Эксами» или экспроприаторами. Ленин был против осуждения «эксов» и симпатизировал им. Большевики закрывали глаза и на партизанскую войну, использующую террор, который усилился в наступившие годы реакции и гонений на членов РСДРП.
На V Лондонском съезде РСДРП в 1907 г. была вновь принята резолюция с запрещением такого рода партизанских акций. Ленин голосовал против этой резолюции. Сталин присутствовал на съезде партии в Лондоне в качестве делегата с совещательным голосом. Там произошла его встреча с будущим главным соперником — Л.Д. Троцким.
