1920年底，赫魯曉夫返回頓巴斯，直至1928年初，他一直參與烏克蘭的地區基層組織工作，因而獲得烏克蘭黨中央第一書記卡岡諾維奇的注意。不久，卡岡諾維奇便把赫魯曉夫調升為烏克蘭最大城市——基輔市的組織部長。

1929年，蘇聯政府為了培養國營企業領導及中央一級的經濟工作幹部，決定在莫斯科創辦一所工業學院，招生對象是工業、企業的黨員領導者，並規定對工人出身的企業幹部優先考慮。赫魯曉夫於是棄官求學，並在其原上司卡岡諾維奇相助下，順利入學。 雖然最後他沒有完成學業，但在政治上卻飛黃騰達。1930年，赫魯曉夫成為莫斯科最大的區——克拉斯諾普雷斯奈斯基區的黨委書記。

1934年，赫魯曉夫在第十七次黨代表大會上被選入「聯共」中央委員。1935年，卡岡諾維奇被任命為交通人民委員，赫魯曉夫接替了卡岡諾維奇的職務，成為莫斯科州委兼市委第一書記。 短短數年間，赫魯曉夫從一寂寂無名的烏克蘭地區基層幹部，搖身一變成為首都所在的州委第一書記。