龍川縣令趙佗，在秦朝土崩瓦解之際，接受南海郡尉任囂的臨終囑託，領兵控制南海郡，下令封閉北方關隘，以防止中原動亂蔓延到嶺南。而且嶺南地區偏處南方，「負山險，阻南海」，有數十萬中原軍民同心合力開發，足以立國，因此趙佗得知秦朝滅亡之後，立即發兵控制鄰近的桂林、象郡，並且降服不少越人部落，於是自稱南越王，定都番禺，開始割據嶺南。番禺，即今日廣州市越秀山下的老城，老城的中軸線北京路附近，至今仍然保存南越國宮殿遺址。當時番禺縣的範圍包括今日香港在內。

趙佗在嶺南割據，稱王立國時期，中原正處於楚漢相爭，楚、漢兩大勢之外，南方有淮南王英布，控制九江、豫章等郡，即今日安徽、江西省大部份地方，在南越國東北；有長沙王吳芮，控制長沙、零陵、武陵等郡，即今日湖南省，在南越國西北方。兩國都對南越國構成威脅。南越王趙佗一方面封閉關隘，不介入中原爭霸，另一方面積極向南擴展，把南方的交趾及珠崖納入版圖。交趾即今日越南北部，河內至清化一帶，南越國在此設立交趾、九真、日南三郡；珠崖即今海南島，在此設立珠崖、儋耳兩郡，完全仿效秦朝的郡縣制，但越人的部落酋長、首領勢力仍然強大，趙佗為了安撫越人，自稱「蠻夷大長老」。