自從南越群臣被趙佗罵了之後，南越群臣對於趙佗父子之間的議論暫時平息了下來，但是民間對於南越王父子的對比卻是愈演愈烈了，當然了這其中自然少不了秦國細作推波助瀾。
一時間有多個關於南越王父子的傳言甚囂塵上，流傳最廣的就有三個；
一個是有人拿當初南越王釋放青嶂山張良一事大做文章，造謠說南越王膽小如鼠，不敢面對秦國公子扶蘇，即便當時南越王抓住了青嶂山匪首張良一行，都不敢對扶蘇說一個不字，最後屁都沒放一個就派兵將張良一行送回了秦地。百姓以為若是世子趙始遇到這樣的事情，絕不會處理得這樣窩囊，至少會拿張良這些人要挾扶蘇一番。
另一個是傳言將趙佗說成一個沒有主見的南越王了，傳言趙佗凡事都要靠吳國相與一眾臣公來決策。民間百姓紛紛附和著造謠趙佗並無治國的才能，並大肆誇讚世子趙始才能卓越。最恐怖的是傳言中說世子趙始早就看不慣趙佗的昏庸，暗自聯絡了幾個南越重臣準備推翻趙佗。
還有一個傳言是關於趙始在桂林郡圍攻布山縣城一事的，傳言趙始之所以沒能功克布山縣城，全因趙佗調走了圍攻布山縣城的南越精銳，致使趙始圍攻布山縣城一事功虧一簣。最為詭異的是這則傳言竟然說趙佗調走南越軍隊時南越軍已經有幾百人在趙始的帶領下登上了布山縣城樓。
這一日，一名南越宮中侍衛混跡於一夥百姓當中，而這群百姓討論的話題正是關於趙佗父子的。
「要我說，咱這南越王就該由世子來當，你說咱這大王，那一樣能比得上世子？」一名南越百姓對身邊的幾個人說道。
「可不是嘛，就說那山匪張良等人，在我南越鬧騰一番后還要被護送著離開南越，想想就覺得憋屈。」
「誰說不是呢，你們說的還不是最可氣的，我一想到咱這大王將已經衝上布山城樓的士卒召回一事，我就恨不得往這窩囊大王的臉上唾幾口唾沫。要是世子能繼位，我南越還會這麼窩囊嗎。」
「諸位，你們可能還不知道一件事兒吧？」最先開口的那位南越百姓一臉神秘地對眾人說道。
「什麼事兒？」一群好事的百姓說着朝那名故作神秘的說客圍了過去，其中就有混跡在百姓中的那名南越宮中侍衛。
「我要是告訴你們，你們可不能到處亂說。」準備開口的說客故作謹慎地對一眾圍觀的聽客叮囑道。
「你放心，我們絕不亂說。」
「你快說啊，我們保證不到處亂說。」
……
一眾聽客們趕忙承諾道。
見一眾聽客有些急不可耐了，那名要講述自己道聽途說的說客開口了。
「誰說世子就沒有爭奪王位的雄心，其實咱這世子早就開始行動了。各位可能還不知道吧，咱這世子私下已經聯絡了一幫朝中重臣，都快要準備起事了，各位可知道那些之前隨世子一起出征的悍卒嗎？他們也已經答應幫助世子起事了。」
「不會吧，我怎麼沒聽說。」
「就是，我怎麼也不知道？」
「你該不會是在騙我們吧？」
……
見一眾聽客不相信自己所說的，這名說客又添油加醋地加工了一番。
「你們還別不信，這可是我的一名同鄉說的，他就在官軍中任職，他們上頭都已經跟世子聯絡好了，只要世子一聲令下，這南越可就要變天了。」
若是這名說客知道自己所逞的這一時口舌之快會造成南越君臣失和、南越王與世子決裂，
一定會找一根針把自己的大嘴縫起來。
當南越宮侍衛將自己探聽到的這一「驚天秘聞」告訴南越王時，南越王徹底震怒了。
「狼子野心，寡人百年之後這王位就是他的了，他難道就連這幾十年都等不得嗎？南越王一臉憤怒的說道。（若是按照正常的歷史版本，這趙始還真等不到繼位的那一天，因為這趙佗可是活了一百零四歲，一直活到了漢武帝時期，這廝以熬死九位皇帝的戰績成為歷史上最長壽的皇帝。）
「來人，即刻拘捕世子，交廷尉嚴加審訊。命郎中令派人接管所有參與征伐桂林郡的軍隊，所有校尉以上官員暫時拘押至廷尉署，接受廷尉問訊，一定要挖出世子謀逆的親隨。」
次日，當南越群臣聽說世子被南越王下獄的消息后，一時間議論紛紛，那些議論過趙佗父子的臣公更是惴惴不安。
參加朝議時，這些臣子們戰戰兢兢地走進了南越王宮議政大堂。
當這些臣公們誠惶誠恐地來到議政大堂時，趙佗還沒有到來。
「國相大人，你可曾聽說世子之事？」
那名曾出使過布山縣的徐姓朝臣試探著問道。
「如此大事，老夫豈能不知，世子的確是冤枉的。」
「國相大人，還請慎言啊，此事可不敢私自議論。」另一名站在吳簡身後的朝臣開口勸阻道。
「事到如今還有什麼好慎言的，這明擺着就是有奸人在離間大王與世子的關係。大王就這麼一個世子，他犯得着自立嗎？等大王百年之後，這南越王的位子還不是他的。諸位同僚，如今我南越面臨強敵，你說公子真要自立會選擇此時嗎？難道自立就是為了接手這難解之局。」南越國相吳簡憤恨地說道。
聽了吳簡所說的話后，一眾朝臣無奈地點了點頭，他們也知道吳簡所說不無道理，關鍵是他們的大王趙佗不相信啊。
當吳簡準備再度開口時，南越王趙佗在內侍的護衛下來到的議政大堂。
「稟大王，臣下吳簡有事要奏，臣下聽說了世子之事，臣下以為世子是冤枉的。」
聽到吳簡開口直奔世子被下詔獄一事，滿堂文武一時間嚇得汗水都快要凝固了。有人佩服吳簡的膽識，也有人為吳簡的行為暗自擔心。當然了，準備看熱鬧的朝臣也不在少數。
趙佗的臉色瞬間陰沉了下來，一臉怒容地掃視了群臣一眼，最後將自己的目光鎖定在吳簡身上。
「吳國相，那你就跟我說說世子有何冤屈，若是說的在理，寡人恕你無罪，若是說不出一二來，那你就跟廷尉去訴說世子的冤屈吧。」趙佗語氣冰冷的對吳簡說道。
