1964年10月11日，當赫魯曉夫正在黑海邊的中央別墅度假時，蘇共中央主席團在莫斯科召開了討論撤換赫魯曉夫的會議。最後，蘇斯洛夫作主要發言人，強烈批評赫魯曉夫所犯下的種種嚴重錯誤，並通過將其罷免，內定由布里茲尼夫接任第一書記。主席團成員之一的米高揚說服了赫魯曉夫，叫他自願遞交退休聲明，即後來在報上發表的辭職申請書，稱自己因年齡和健康原因引退。10月14日召開的中央全會上，大會決定不對赫魯曉夫展開討論與及公開譴責。

這次中央全會由米高揚主持會議，蘇斯洛夫作了關於撤銷赫魯曉夫的職務及其原因的報告。蘇斯洛夫的報告，著重批評了赫魯曉夫國內政策的失敗，主要是有關農業政策、經濟政策的錯誤，亦指責赫魯曉夫搞個人迷信，任用親朋當顧問，代替徵詢主席團的意見。在外交政策方面，指責他任用《消息報》總編輯、女婿阿朱別依以類似非正式外交部長身份行使職權，許多外交政策的制訂都未徵求外長葛羅米柯的意見。隨後未經中央全會討論，便一致通過撤銷赫魯曉夫的第一書記和部長會議主席職務，以及中央委員身份。在短短數天之間，赫魯曉夫由集黨、政、軍大權於一身的蘇聯最高領導人到被罷黜，並且毫無還擊的機會，其速度之快，可以說是出乎眾人意料之外，亦反映出赫魯曉夫已經是眾叛親離，不得不交出權力。

1964年10月，赫魯曉夫正式下台，米高揚代表蘇共中央向他宣佈退休後的待遇：成為「特殊養老金領取者」，退休金每月500盧布，配專車；目前的別墅和列寧山上的宅邸均歸他終生使用。但實際上三星期之後即令他遷出宅邸，三個月之後又令他遷出別墅。自此赫魯曉夫從公眾視野中消失，情況正如後來他經常提及的：「我的時代已經過去了！」

1970年11月，赫魯曉夫因冠心病入院，直到1971年初春，他一直躺在病床上。出院後，他堅持寫完了回憶錄，但身體已越加衰弱。1971年9月10日再度入院，第二天，即9月11日的下午，赫魯曉夫病逝於醫院中，終年77歲。