1939年8月23日，蘇聯與德國簽訂了《蘇德互不侵犯條約》。赫魯曉夫此時已升任中央政治局委員，但他並不知曉與德國簽約一事。9月1日，納粹德國入侵波蘭，第二次世界大戰爆發。9月17日，蘇聯政府宣佈，波蘭國家和政府已不復存在，並把原屬波蘭的西烏克蘭和西白俄羅斯劃歸己有。赫魯曉夫以基輔軍區軍事委員會委員的身份，隨紅軍去接收西烏克蘭，按照蘇聯的制度，整頓這些新區域。隨著農業、工業以至整體經濟發展工作均取得一定成就，赫魯曉夫在烏克蘭的威望越來越高，甚至有幾個集體農莊、以及他的母校頓涅茨工學院也改以他的名字命名。

然而，1941年6月22日凌晨，納粹德國突然發動「巴巴羅薩計劃」正式入侵蘇聯！赫魯曉夫此時正在基輔任職，史太林任命他為西南戰區的政治委員，職權與戰區司令員一樣，沒有他的簽署不能發佈任何命令。史太林下令赫魯曉夫死守基輔，但基輔遭到了過百萬德軍的包圍而迅速淪陷，只有赫魯曉夫和部份將領能突圍逃離。基輔失守後，德國稱他們在戰役中抓獲了65.5萬名紅軍俘虜，而據蘇聯的說法，被圍的67.7萬紅軍中只有1.5萬人突圍逃脫。直至1942年5月12日，赫魯曉夫和西南戰區的紅軍將領向德軍發起了一場大規模反攻，一共64萬紅軍投入戰鬥。剛開始幾天反擊進展的十分順利，然而在5月17日，德軍從側翼發起鉗型攻勢，使蘇聯紅軍陷入險境。由於史太林拒絕撤銷反攻計劃，紅軍最終遭到德軍的圍殲，共損失了267萬人，其中被俘20多萬人。

戰後史太林解除了司令員鐵木辛哥將軍的職務，並解散了西南戰區，又將赫魯曉夫召回莫斯科。史太林並沒有太過責備赫魯曉夫，而是將他再次派往前線。赫魯曉夫於1942年8月抵達史太林格勒（今天伏爾加格勒市）前線，他的主要工作是檢查部隊的戰備與士氣情況，親自審訊德國俘虜，徵召戰俘中的一些人進行宣傳工作。

1942年11月，赫魯曉夫重返史太林格勒前線，任政治委員，並以少將文職人員的身份參加了整場史太林格勒戰役，在考驗生死的緊要關頭，與一批重要的軍隊領導人包括朱可夫、葉廖緬科、莫斯卡連科、格列奇科與利諾夫斯基等結下了深厚友誼，對他後來的政治生涯給予了很大幫助。