1923年春，蔡元培因不滿北洋政府教育總長彭允彝破壞法制的行為，提出辭職，離京南下，及後更轉赴歐洲，從事研究和著述，並參與要求英、法等國退還庚子賠款興辦教育事項。直至1926年初，蔡元培才結束近三年的旅法生活回國。除着南方國民政府的發展，自1927年起，蔡元培先後在南京國民政府任大學院院長、司法部長和監察院長等職。蔡元培在政治上雖曾支持「清共」， 但與其他人不同的是，他同意清黨但反對殺人 。自此以後，蔡元培把精力主要放在組建中央研究院上，他出任中央研究院院長，開始專注國家民族的文化教育和科技事業，並相繼辭去了其他職務。

抗戰爆發初期，蔡元培與上海文化界知名人士聯合組織成立了上海文化界救亡協會，積極組織發動文化界人士及民眾投入抗日救亡運動。1937年11月27日，蔡元培為免被日本軍國主義者迫害，從上海移居到香港，繼續從事抗日活動。1938年初，蔡元培獲推為國際反侵略大會中國分會名譽會長。1940年3月3日，蔡元培於寓所失足跌倒。3月4日便被送入香港養和醫院，翌日病逝，享年73歲。靈柩葬於香港仔華人永遠墳場。