秦始皇二十三年（公元前 224 年）秦發六十萬大軍攻楚，楚軍大敗，項燕戰死，次年，擄楚王負芻，楚國亡。《史記．秦始皇本紀》記述，始皇二十五年（前 222年），秦將王翦、蒙武攻越地，越君降秦，設置會稽郡，治吳（今蘇州市），這是始皇二十六（公元前 221 年）滅齊統一天下之前，為文獻所記秦朝經營越地之始。征服範圍在長江下游以南至錢塘江口一帶，即春秋戰國時期的吳、越故土，今江蘇南部及浙江北部。而這則記事之後，《秦始皇本紀》再沒有提及對越地的動靜，直至始皇三十三年（前 214 年）有「三十三年，發諸嘗逋亡人、贅壻、賈人略取陸梁地，為桂林、象郡、南海，以適遣戍」這則記事。

但這則記事非常簡略概括。這則記事未有交待甚麼時候發兵，主帥時誰，行軍路線，戰爭過程如何。從字面看似乎是三十三年出兵，一切順利，迅速降服越人，隨即設置三郡，大功告成。事實是否這樣簡單順利？首先，中原與嶺南山河阻隔，道路未有開闢，所經地域多是密林深谷，秦軍從中原進軍運糧南下數千里，必然險阻重重，況且越人部落深藏密林之中，頑強抵抗，隨時突襲。秦軍南征，絕非一年半載可以成功，因此《秦始皇本紀》所記三十三年「略取陸梁地」設置三郡，應該是大功告成的記錄。

那麼，秦始皇何時發兵南征？主帥是誰？進軍路線怎樣？戰況如何？幸而西漢初年，淮南王劉安與其門客編集的《淮南子．人間訓》有一則故事：

「事或為之，適足以敗之；或備之，適足以致之。何以知其然也？秦皇挾錄圖，見其傳曰：“亡秦者，胡也。”因發卒五十萬，使蒙公、楊翁子將，築修城。西屬流沙，北擊遼水，東結朝鮮，中國內郡挽車而餉之。又利越之犀角、象齒、翡翠、珠璣，乃使尉屠睢發卒五十萬，為五軍，一軍塞鐔城之嶺，一軍守九疑之塞，一軍處番禺之都，一軍守南野之界，一軍結餘干之水。三年不解甲馳弩，使監祿無以轉餉。又以卒鑿渠而通糧道，以與越人戰，殺西嘔（甌）君譯籲宋。而越人皆入叢、薄中，與禽獸處，莫肯為秦虜。相置桀駿以為將，而夜攻秦人，大破之。殺尉屠睢，伏屍流血數十萬，乃發謫戍以備之。當此之時，男子不得修農畝，婦人不得剡麻考縷，羸弱服格於道，大夫箕會於衢，病者不得養，死者不得葬。於是陳勝 起於大澤，奮臂大呼，天下席捲，而至於戲。劉、項興義兵隨，而定若折槁振落， 遂失天下。禍在備胡而利越也。欲知築修城以備亡，不知築修城之所以亡也。發 謫戍以備越，而不知難之從中發也。夫鵲先識歲之多風也，去高木而巢扶枝，大 人過之則控，嬰兒過之則挑其卵；知備遠難而忘近患。故秦之設備也，鳥鵲之 智也。」

淮南王劉安（前 179—前 122）是漢武帝、司馬遷的同時代人，他的封國南部與南越之地相鄰。這則故事是《淮南子》藉此作為評論秦始皇發動征南越戰爭，戰事拖延，秦軍苦戰，以至國力消耗，引發民怨沸騰的事例。卻保留了珍貴的秦軍南征史料。司馬遷在《史記．平津侯主父偃列傳》中，也在嚴安諫武帝征伐四夷上書中，引述了這則故事：秦始皇「欲肆威海外，（略）又使尉佗屠睢將樓船之士南攻百越，使監祿鑿渠運糧，深入越，越人遁逃。曠日持久，糧食絕乏，越人擊之，秦兵大敗。秦乃使尉佗將卒以戍越。當是時，秦禍北構於胡，南挂於越，宿兵無用之地，進而不得退。行十餘年，丁男被甲，丁女轉輸，苦不聊生，自經於道樹，死者相望。及秦皇帝崩，天下大叛。」
綜合《淮南子》及《史記》所記如下：
「乃使尉屠睢發卒五十萬，為五軍，一軍塞鐔城之嶺，一軍守九疑之塞， 一軍處番禺之都，一軍守南野之界，一軍結餘干之水」（《淮南子》）；「使尉佗、屠睢將樓船之士南攻百越」（《史記》）「三年不解甲馳弩」（《淮南子》）；「曠日持久，糧食絕乏」（《史記》）「使監祿無以轉餉，又以卒鑿渠而通糧道」《淮南子》；「使監祿鑿渠運糧，深入越，越人遁逃」（《史記》）「以與越人戰，殺西嘔（甌）君譯籲宋。而越人皆入叢、薄中，與禽獸處，莫肯為秦虜。相置桀駿以為將，而夜攻秦人，大破之。殺尉屠睢，伏屍流血數十萬」（《淮南子》）；「越人擊之，秦兵大敗」（《史記》）「乃發謫戍以備之」（《淮南子》）；「秦乃使尉佗將卒以戍越」（《史記》）

由此可知，秦始皇發五十萬大軍南征，兵分五路，其中一路主將是屠睢。戰事延續三年，也就是說至遲在始皇三十年發兵。秦軍進展非常艱難，糧道不通，加上越人頑強抵抗，秦軍雖然殺死西甌君「譯籲宋」，但在其相「置桀駿」指揮下，越人勇士經常埋伏叢林中，夜襲秦軍，大敗秦軍，並殺死秦將屠睢，戰事曠日持久，秦軍糧食絕乏，數十萬人戰死。在這困局中，幸得使監祿（姓氏不詳，名祿，使監是官職，後世稱他為「史祿」）觀察地勢，開鑿貫通湘、灕二水的運河（名為「靈渠」，至今仍然存在，在廣西桂林市興安縣，為歷史文化遺產），使運兵、運糧船可以通航，解決了行軍障礙，大軍直抵番禺（今廣州舊城），終於降服南越諸部。

降服南越諸部之後，秦朝在其地設置桂林、象、南海三郡。桂林郡相當於今廣西東北部，以今桂林市為核心，是中原連接嶺南的水路交通所經地區，湘、灕二水經靈渠通往海濱的番禺。象郡相當於今廣西西南部，以今南寧市為核心，是南越部族集中之地。南海郡相當於今廣東大部份，北倚山嶺（即南嶺，五嶺一部份），南臨大海，秦在此設六縣：番禺、博羅、中宿、龍川、四會、揭陽。其中番禺郡治，《史記．貨殖列傳》謂：「番禺亦其一都會也，珠璣、犀、瑇瑁、果、布之湊。」今廣州、深圳、東莞、佛山、中山、珠海等市，及澳門、香港都屬秦番禺縣境（兩漢同）。據《史記．南越列傳》所記，南海郡長官為郡尉任囂，而南征將領之一趙佗為龍川縣令。據地方志所記，開鑿靈渠有功之史祿，曾為揭陽縣令。
秦降服嶺南，設立郡縣之後四年（始皇三十七年，前 210 年），始皇駕崩，隨即爆發陳勝、吳廣大澤鄉起義，天下大亂。