南唐的成立可以追溯到吳國權臣徐溫的身上。徐溫原本是吳王楊行密的親信大將，協助楊行密南征北討，成為吳國（楊吳）的重要開國功臣，後來他漸漸掌握了楊吳的實權。徐溫早年出征時，收養了一個在戰亂中被遺棄的不知姓名孤兒把他當作義子，改名徐知誥，他就是李煜的祖父。徐知誥逐漸長大，為人處事非常勤懇、審慎、能幹，成為了徐溫的得力助手，深得徐溫信任，但徐溫的幾個親生兒子知訓、知詢等，不把知誥當作長兄，把他視為奴僕，知誥逆來順受。

正當吳王楊行密攻克揚州，在淮河、長江一帶擴大勢力範圍的同時，北方中原的形勢也有新的變化。黃巢大將朱溫歸降唐朝，反攻黃巢，為復興大唐建立功勳，獲唐朝任命為宣武節度使，手握重兵，坐鎮汴州（今河南省開封市），賜名朱全忠，封梁王。正如前述，汴州是大運河通濟渠北端的咽喉，與通濟渠南端咽喉揚州各據一端，緊扼洛陽、長安的糧食、物資供應命脈，宣武朱溫（全忠）與淮南楊行密無可避免為爭奪通濟渠的控制權而展開激烈戰爭。

楊行密趁朱溫忙於用兵山東之機，襲取通濟渠以南的濠州（今安徽省鳳陽縣）、壽州（今安徽省壽縣）等地，拓展地盤，阻遏朱溫插足淮南。乾寧四年（897年）朱溫大舉反擊南侵，楊行密親自督戰，於楚州清口（今江蘇省淮安市），通濟渠與淮河會合處大敗朱溫宣武軍，此後數十年間，南北遂成對抗之局。