各路諸侯返回東方之後，因為項羽分封不公正，局勢並不平靜，僅僅一個月之後，漢元年五月，齊地原有地方豪強田榮，起兵攻滅附隨項羽的齊、濟北二國，自稱齊王，「三齊俱屬榮」。趙地、燕地也發生類似情況，游兵首領彭越亦據地自立為梁王。西楚霸王項羽見反叛擴大，決定親征齊國。齊王田榮兵敗戰死，但「項王遂燒夷齊城郭，所過者盡屠之。齊人相聚畔之。榮弟橫，收齊散兵，得數萬人，反擊項羽於城陽」，項羽大軍屠殺齊人，激起齊人反抗，田榮弟田橫繼續抵抗。

遠在西南方的漢王劉邦，也密謀起兵。劉邦得蕭何推薦，拜韓信為大將軍，韓信向劉邦分析形勢：「項王雖霸天下而臣諸侯，不居關中而都彭城。有背義帝之約，而以親愛王，諸侯不平。諸侯之見項王遷逐義帝置江南，亦皆歸逐其主而自王善地。項王所過無不殘滅者，天下多怨，百姓不親附，特劫於威彊耳。名雖為霸，實失天下心。故曰其彊易弱。今大王誠能反其道：任天下武勇，何所不誅！以天下城邑封功臣，何所不服！以義兵從思東歸之士，何所不散！」（《史記．淮陰侯列傳》），得到劉邦接納，起兵反楚，出兵陳倉道，先後擊敗項羽所封的三個秦地王國，史稱「還定三秦」。

《史記．高祖本紀》記述：「八月，漢王舉兵東出陳倉」平定三秦，十月，即漢二年初，出函谷關，三月，到達洛陽，得到三老（負責地方教化的鄉官）董公告知，義帝已被項王派人殺死。《項羽本紀》這樣說：項羽「乃陰令衡山、臨江王擊殺之江中」（項羽秘密命令衡山王英布及臨江王共敖襲擊義帝，在江上把他殺死了）。劉邦以此為藉口，聲討項羽「大逆無道」，為義帝發喪，號召天下諸侯起兵討伐項羽。於是「悉發關內兵，收三河士」，「收魏、河南，韓、殷王皆降。合齊、趙共擊楚」，「凡五十六萬人，東伐楚」。當時項羽正領兵攻伐齊國，彭城防守空虛，四月，劉邦順利攻入彭城，放鬆防範，「收其貨寶美人，日置酒高會」。

項羽得知彭城失陷，火速回師救援，劉邦全無警覺，大敗。《史記．項羽本紀》對劉邦彭城之敗有精彩的描述：「日中，大破漢軍，漢軍皆走，相隨入穀、泗水，殺漢卒十餘萬人。漢卒皆南走山，楚又追擊至靈壁東睢水上」，「漢卒十餘萬人皆入睢水，睢水為之不流，圍漢王三匝。於是大風從西北而起，折木發屋，揚沙石，窈冥晝晦，逢迎楚軍。楚軍大亂，壞散，而漢王乃得與數十騎遁去」。劉邦與家人失散，只載得女兒魯元及兒子劉盈在戰車上逃奔，為了趕速，多次把兒女推下戰車，幸得駕車的夏侯嬰救回。逃至下邑（今河南省東端夏邑縣）始能脫險。《史記．高祖本紀》云：「呂后兄周呂侯（呂澤）為漢將兵，居下邑，漢王從之，稍收士卒」。