1953年5月，岸信介在著名的政治雜誌《改造》上發表題為〈新保守黨論〉的文章，推動組織新的保守政黨，取代以吉田茂為首的自由黨的執政地位。岸信介之所以反對協助他重返政壇的吉田茂，是不滿由吉田茂主導並簽署《美日安全保障條約》，與及主張修改憲法。從此岸信介成為推動日本右翼保守政黨整合的主要人物。1954年9月19日，岸信介與鳩山一郎、三木武夫、河野一郎、石橋湛山和重光葵6人，在鳩山家中舉行會議，一致同意建立新政黨。11月24日，以團結為宗旨的日本民主黨正式成立，並由鳩山一郎任總裁、岸信介任幹事長。從自由黨保守派分裂出來的民主黨成為國會內僅次於自由黨的第二黨，並直接導致吉田茂下台。1954年12月9日，日本國會眾議院全體議員提名內閣總理大臣（即首相）人選，民主黨總裁鳩山一郎以257票擊敗自由黨對手，成為新的內閣總理。而作為民主黨幹事長的岸信介雖然沒有入閣，卻繼續留任幹事長，以進一步聯合國內所有保守派政治勢力。在岸信介的積極推動下，同源二流的自由黨和民主黨願意重新考慮合併。1955年11月15日，日本國會內兩大政黨——民主黨和自由黨——舉行了聯合大會，正式宣佈成立自由民主黨，簡稱自民黨。岸信介任自民黨首任幹事長，成為執政黨內第二把手，繼續負責黨務全局。

當時日本政壇流傳，鳩山一郎向前自由黨總裁緒方竹虎口頭保證，會於1956年4月辭去首相，讓緒方繼任。當時岸信介也暗中瞄着首相之位，想要與緒方竹虎爭奪寶座。然而緒方竹虎於1956年1月28日突然逝世，其位置由石橋湛山取代。1956年12月24日，自民黨進行了黨內第一次真正的總裁選舉。結果，石橋以7 票之差擊敗岸信介成為新任內閣總理，為表示團結黨不同內派系，石橋邀請岸信介出任副總理級的外務大臣。然而，新內閣成立僅一個月，石橋湛山便因病不能理政。 1957年1月31日，作為內閣第二號人物的岸信介以臨時總理大臣身份，宣讀了第26 屆日本國會的施政演說。2月22日，石橋湛山正式辭職，3日後的2月25日，岸信介順理成章地繼任首相。岸信介重回政壇僅用了四年多時間，便奇蹟地從甲級戰犯搖身一變登上了首相寶座。