史太林十六歲時進入第比利斯一所東正教中學讀書，他成績優秀並獲得獎學金。期間他接觸到一些革命書籍，並深受馬克思主義影響。1898年8月，史太林加入了俄國社會民主工黨。1899年，因其無法支付突漲的學費，而不得不放棄最終的考試，被學校開除。但後來史太林自稱是因為在學內宣傳馬克思主義而被校方開除。輟學後的史太林隨後在第比利斯的氣象觀測台找到工作，亦同時積極參與革命活動。1903年，俄國社會民主工黨分裂，他選擇加入以列寧為首的布爾什維克一邊。不久史太林就成為南高加索地區主要的革命活動者。

布爾什維克在俄語中意為「多數派」，是俄國社會民主工黨中的一個派別。領袖人物列寧認為，社會民主工黨應該建立一個以少數「職業革命家」為核心、多數黨員對其絕對服從的組織模式，即所謂民主集中制。1903年在布魯塞爾和倫敦舉行的俄國社會民主工黨第二次代表大會上，布爾什維克派與黨內的另一派孟什維克因意見不合最終分道揚鑣。在《火星報》編輯部領導層選舉時，由於布爾什維克人數多於對方，因此以俄語「多數派」得名。1917年，布爾什維克通過十月革命以暴力奪取了俄國政權，最終在日後成為蘇聯共產黨。雖然布爾什維克在俄語當中的意思是多數派，但是直到1917年十月革命的時候，布爾什維克在俄國社會民主工黨當中實際上一直是少數派。

1902年4月－1913年3月間，史太林因參加革命活動被逮捕七次，六次被流放到嚴寒的西伯利亞地區，而史太林卻又先後五次從流放地逃出。1902年，二十三歲的史太林在首次入獄時的檔案中記述：「他身高大約一米六二，左腳第二三個趾頭聯趾。七歲那年得過天花，強健的體格幫他熬過那場大病，但臉上留下很深的麻子。上學時，他又得了意外，左臂感染。病癒後，左臂略短，肌肉有些萎縮。」托洛茨基說，後來史太林左手總戴一隻厚手套，即使在政治局會議上也是如此。

1905年6月3日，沙皇政府己經以國家杜馬(即俄國國會)中的社會主義政黨的代表(當然亦包括社會民主工黨)搞「叛國政變」，陰謀推翻沙皇為藉口，宣布解散第二屆國家杜馬，並公布新的選舉法。史稱「六三政變」。「六三政變」標誌着俄國1905年革命的失敗，從此開始了斯托雷平的管治。他推行「先安內後改革」的方針，一時大力鎮壓社會主義革命運動。1908年3月底，史太林與其他南高加索社會主工黨領袖一同被捕，被囚禁於巴庫的監獄內。同年被判放逐到位於俄羅斯西北部的沃洛格達省一帶。1912年4月22，已經從沃洛格達逃到聖彼德堡的史太林在列寧的指示下創辦了《真理報》，並撰寫了題為〈我們的目的〉的報刊社論。有趣的是，就在《真理報》創刊號出版的4月22日，史太林再次被捕，並被判流放到西伯利亞為期三年。同年9月，史太林又成功從西伯利亞潛逃回彼得堡。繼續主持《真理報》的工作。1913年3月，他發表了《馬克思主義和民族問題》一文，首次使用了「史太林」（意思為“鋼鐵的人”）這一筆名。隨後不久他最後一次被捕。被判流放到著名的圖魯漢斯克流放區，為期四年，並受到當地警察的嚴密監視無法潛逃。直到1916年12月，由於兵員嚴重短缺的沙俄政府將他強征入伍參加一次世界大戰，卻被醫生檢查出左臂有傷，於是他免於參與動員，被流放到阿欽斯克。

1917年俄國二月革命爆發，沙皇的羅曼洛夫俄王朝，俄羅斯帝國滅亡。史太林被釋放，他於3月25日重返聖彼德堡，與加米涅夫、莫洛托夫等人繼續從事布爾什維克《真理報》的編輯工作。他們曾一度對亞歷山大‧克倫斯基的俄國臨時政府持支持態度，而在4月召開的黨內會議中，列寧主張推翻臨時政府，史太林等人於是轉變了立場支持列寧。會議上他被選為布爾什維克中央委員會成員。同年發生七月事件，列寧由於試圖發動革命而被臨時政府所通緝，史太林協助他逃往芬蘭，不久列寧重返俄國，並策劃武裝起事推翻臨時政府，史太林成為了領導團體的一員，最終布爾什維克在十月革命中成功奪取了政權，史太林得以進入權力核心。