建元四年（公元前137年）南越王赵佗寿终正寝，享年104岁。赵佗妥妥的高寿，硬生生地熬死了儿子赵仲始，无奈之下其孙赵眛即位成为南越国第二代国王。
建元六年（公元前135年），闽越国借机向南越国发动战争。当时赵眜刚继承王位不久，国内民心还不稳固，只好派人给武帝刘彻上书说：“南越和闽越都是汉朝的藩臣，不得擅自兴兵互相攻打。现在闽越擅自发兵进犯臣国，臣不敢擅自发兵抵抗，请天子下诏指示。”
武帝刘彻赞许南越王为臣忠义，能遵守职责与盟约，决定出兵援助南越国。于是刘彻派大行令王恢从豫章出兵、大司农韩安国从会稽出兵，合力讨伐闽越。
王恢和韩安国的两路大军还未翻越过五岭，余善就发动叛变，杀死闽越王邹郢后主动投降汉朝。于是王、韩两位将军停止讨伐行动，不战屈人之兵凯旋而回。
武帝刘彻平定闽越之乱后，派遣中大夫严助出使南越国。
严助抵达南越国后对南越王赵眛说：“大王能恪守臣属之职，以汉朝为君，以己为臣，诸多事不敢擅专，陛下十分赞赏大王的忠义之举。特派遣臣出使南越国，面请大王到长安朝见陛下。”
赵眜对中大夫严助说：“贵使大人请见谅，鄙国刚刚遭受侵略，劳烦使者先行一步，我正日夜整理行装，准备前往京城朝见天子。”
严助离开后，大臣们劝告赵眛说：“大王，汉朝兴兵杀死邹郢，同时也以此举威吓我南越。况且先王曾经说过，事奉汉朝天子只要不失臣子之礼即可，总之您不可因为汉朝使者的几句好话而被诱惑入朝拜见天子。一旦入朝拜见则不能复归，这是亡国的情势啊！”
赵眜的内心也十分害怕遭到武帝刘彻借机扣留，便一直称病没有前往朝见，只是把太子赵婴齐送到武帝刘彻的身边充当侍卫并以其为人质。
元狩元年（公元前122年），南越王赵眜病重，自知将不久于人世，于是向刘彻上书说：“臣赵眛在万里之外向陛下祈求，臣感念陛下的恩德无一刻敢忘，如今臣即将魂归九泉之下。臣子赵婴齐十余年前有幸侍奉陛下于左右，得陛下教诲永记心中。为使臣死后南越国稳定，臣向陛下请求赵婴齐回归南越继承王位。”于是刘彻允许赵婴齐回归南越国。
同年，赵眜去世，谥号文王，葬于象岗山，赵婴齐顺利继承王位。赵婴齐在长安时，爱上一位樛姓的汉朝美女，并对其展开了猛烈地追求。这位樛姓女子当时已有恋人名叫安国少季，安国少季是霸陵人士，少时便负有才名。
当时安国少季尚未发迹，樛姓女子夹在两个男人之间内心十分犹豫。赵婴齐在长安时虽然只是刘彻身边的侍卫，但是他还有另外一个身份，那就是南越国的太子。樛姓女子经过一番深思熟虑后，为了搏个更好的前程，选择抛弃安国少季，最后与赵婴齐在一起，后来二人生有一子名叫赵兴。赵婴齐还在南越时与当地女人生有一子，名叫赵建德，赵建德是赵婴齐的长子。
赵婴齐即位南越王后，因为十分宠爱樛姓女子，便向汉武帝上书，请求立樛氏为王后，立其子赵兴为太子，武帝刘彻同意他的请求。此举引来长子赵建德及拥护他的南越国本地势力的不满。南越国内长子赵建德和太子赵兴二人明争暗斗，南越国内风起云涌，局势复杂，各方势力盘根错节。
当时，武帝刘彻多次派遣使臣前往南越国，提醒赵婴齐进京朝觐。赵婴齐愿自操生杀予夺大权，随心所欲，害怕一旦入朝，朝廷会用法令像约束内地诸侯一样约束他，所以坚决称病，没有到长安朝见，只派遣儿子赵次公到长安充当侍卫。赵次公是赵婴齐和樛王后所生的次子。
元鼎四年（公元前113年），赵婴齐去世，谥号明王。赵婴齐死后，太子赵兴继位，尊其母为樛太后。
漠北决战后，匈奴远遁漠北，无力南下袭扰大汉边境，汉匈战争告一段落，武帝刘彻逐渐将目光投向岭南和西南诸夷。
长安城，未央宫中，刘彻召集群臣商议解决百越之地和西南诸夷的政权割据问题。
太中大夫安国少季站出来荐言道：“陛下，臣年少时与南越国樛太后是旧识，臣愿出使南越国，规劝南越王赵兴和樛太后，让他们比照大汉各诸侯王，进京朝拜陛下。”
武帝刘彻赞许地朝安国少季点了点头说道：“爱卿勇气可嘉，朕心甚慰。然而爱卿孤身一人，力所不逮。朕特命你为正使出使南越国，另外朕给你配备几名副使辅佐你。”随即刘彻任命能言善辩的谏议大夫终军和勇猛的魏臣等人为副使，辅助安国少季出使，卫尉路博德则率兵驻守在桂阳，以接应使者。
安国少季等人来到南越国后，面见南越王赵兴，向其传达刘彻的旨意。当时南越王赵兴太年轻，樛太后又是中原人，不被南越当地人信任，南越国的大权实际上掌握在丞相吕嘉手中。
南越国丞相吕嘉年龄很大，宦海沉浮，历经三朝，在南越国的根基非常深。从赵眜、赵婴齐一直到赵兴时期，辅助三代南越王，其宗族在南越国当官的有七十多人，而且与南越王室联姻，在南越国的地位十分显要，深得南越国臣民的信任，其威望甚至超过南越王赵兴，他实际才是南越国的实权掌握者。
安国少季以樛太后旧友之名来到南越王宫，见到了年轻时的情人。恰逢此时，人到中年的樛太后丧夫，久处深宫，寂寞难耐。二人相见后很快旧情复燃，互诉衷肠，二人干柴烈火，一触即燃，安国少季与樛太后发生私通。往后的日子里，二人时常以商谈国事为名见面，时至深夜，二人不免发生私通的事。
南越国的大多数人知道樛太后与汉使私通的丑事，她的行为被大多数人所嫉恨，因此只有一部分人选择依附樛太后。樛太后见自己不得人心，内心十分害怕发生动乱，也想依靠汉朝的威势，剪除南越国本地的反对势力，多次劝说其子赵兴和群臣归附汉朝。
于是樛太后召来安国少季商量此事，二人商量一番后，安国少季上书给汉武帝，请求比照大汉各诸侯王，南越国三年朝见汉武帝一次，并且撤除和汉朝交界的边境要塞。
汉武帝答应南越国的请求，赐给南越国丞相吕嘉银印，赐给内史、中尉、大傅等官印，其余官职由南越国自己设置，这意味着汉廷拥有直接对南越国高级官员进行任免的权力。
武帝刘彻还下诏废除南越国以前的黥刑、劓刑等野蛮酷刑，比照内地诸侯使用汉朝的法律。同时将派往南越国的安国少季，终军等使者都留下来镇抚南越，力求南越国的局势平稳。赵兴和樛太后接到汉武帝的谕旨后，十分高兴，马上准备行装和贵重财物，为进京朝见汉武帝作准备。
丞相吕嘉野心勃勃，妄图南越独立，多次反对赵兴内属汉朝，但赵兴一直未采纳。吕嘉仰仗自己在南越国的势力十分强大，便产生背叛的念头，屡次托病不去会见汉朝使者。
南越王赵兴和樛太后察觉到吕嘉的野心，内心惶恐不安，害怕吕嘉先发难，就精心安排了一场鸿门宴。二人计划宴请安国少季，终军等汉朝使者和丞相吕嘉，想借汉使之力来杀死吕嘉等人。宴席上，汉使都面朝东，樛太后面朝南，赵兴面朝北，吕嘉和南越国大臣都面朝西，陪坐饮酒。吕嘉的弟弟当将军，率军守候宫外。宴会上，樛太后当面指出吕嘉不愿归属汉朝的行为，想以此激怒汉使出手杀死吕嘉。汉使因吕嘉的弟弟正率军守在宫外，所以犹豫不决，最终没敢动手。此时吕嘉见形势不妙，随即起身找借口出宫，樛太后大怒，打算用矛撞击吕嘉，但赵兴阻止樛太后的行动。
吕嘉回去之后，便把他弟弟的兵士分出来一部分，安排到自己的住处加强防卫，并托病不肯去见赵兴和汉使。吕嘉暗中同大臣们密谋，准备发动叛乱。赵兴一向无杀害吕嘉之意，吕嘉自己也知道这一点，因此数月过去，吕嘉都没有采取行动。樛太后想自己动手杀掉吕嘉，但因为在南越国权势单薄，没有能力完成此事。
汉武帝得到南越国政权危机四伏的消息，责怪安国少季等使者胆怯无能；同时认为赵兴和樛太后已经归附汉朝，唯独吕嘉作乱，不值得兴师动众，想派庄参带领两千人出使南越国。庄参觉得，如果是去和平谈判，几个人就足够，如果是去动武，两千人远远不够。所以一直推辞不肯去，汉武帝大怒之下罢免庄参的官职。此时，郏地壮士、原济北王的丞相韩千秋自告奋勇地站出来说愿意领兵出使南越国。
元鼎五年（公元前112年），汉武帝派遣韩千秋和樛太后的弟弟樛乐，率兵二千人前往南越国。同年四月，韩千秋和樛乐进入南越国境内后，吕嘉等人终于发动叛乱。
吕嘉首先制造舆论，称赵兴太年轻，樛太后是中原人，而且与汉朝使者有奸情，一心只想归属汉朝，丝毫不顾及南越国的宗庙社稷，只想得到汉朝皇帝的恩宠。并称樛太后去长安是为了把南越国的珍宝献给汉朝皇帝，把南越国百姓卖给汉人作奴仆。然后吕嘉趁机和他的弟弟率兵攻进王宫，杀害赵兴、樛太后和汉朝的使者安国少季，终军等人。
吕嘉杀死赵兴之后，立赵婴齐和南越族妻子所生的长子赵建德为新的南越王，并派人告知了南越国的诸侯苍梧王赵光及南越国属下的各郡县官员。这时韩千秋的军队进入南越国境内，攻下几个边境城镇。随后，南越人佯装不抵抗，并供给饮食，让韩千秋的军队顺利前进，在走到离番禺四十里的地方，此时韩千秋等人已经放松警惕，南越突然发兵进攻韩千秋的军队，轻而易举地就把他们全部消灭。吕嘉又让人把汉朝使者的符节用木匣装好，并附上一封假装向汉朝谢罪的信，置于汉越边境上，同时派兵在南越边境的各个要塞严加防守。汉武帝得知后，非常震怒，他一方面抚恤战死者的亲属，一方面下达了出兵南越国的诏书。
元鼎五年（公元前112年）秋，汉武帝调遣罪人和江淮以南的水兵共十万人，兵分五路进攻南越。第一路任命路博德为伏波将军，率兵从桂阳沿湟水直下；第二路任命主爵都尉杨仆为楼船将军，从豫章郡过横浦关沿浈水直下；第三路和第四路任命两个归降汉朝的南越人郑严和田甲分别为戈船将军和下厉将军，率兵从零陵出发，然后郑严的军队沿漓水直下，田甲的军队则直抵苍梧；第五路以驰义侯何遗利用巴蜀的罪人和夜郎的军队，直下牂柯江。但西南夷国家多不愿出兵，甚至且兰的君主还公然反抗，杀死了汉朝使者和犍为郡太守。
五路军队的最终目标皆为南越国的都城番禺。
与此同时，东越王余善也向汉武帝上书请战，并派兵八千人协助杨仆进攻南越国，但东越王的军队行至揭阳时，便借口遇上风浪而不再前进，还暗中派使者向南越国报信。
该年冬天，杨仆率领精兵，抢先攻下寻峡，然后攻破番禺城北的石门，缴获了南越国的战船和粮食，乘机向南推进，挫败南越国的先头部队，率领数万大军等候路博德的军队。路博德率领被赦的罪人，路途遥远，与杨仆会师时才到了一千多人，于是一同进军。杨仆率军队在前边，一直攻到番禺，赵建德和吕嘉都在城中固守。杨仆选择有利的地形，将军队驻扎在番禺的东南面，天黑之后，杨仆率兵攻进番禺城，放火烧城。而路博德则在城西北驻军，派使者招降南越人，南越人久闻路博德的威名，知道路博德曾经跟随骠骑将军霍去病于漠北决战中大破匈奴主力，立下赫赫之功，于是纷纷投奔路博德的旗下，黎明时分，城中的南越国守军大部分已向路博德投降。吕嘉和赵建德见形势不妙，在天亮之前率领几百名部下出逃，乘船沿海往西而去。路博德在询问了投降的南越人之后，才知吕嘉和赵建德的去向，并派兵追捕他们。最后，赵建德被路博德的校尉司马苏弘擒获，而吕嘉被原南越国郎官都稽擒获。
苏弘因擒获敌酋有功被汉武帝封为海常侯，都稽被封为临蔡侯。
吕嘉和赵建德被擒之后，南越国属下各郡县包括苍梧王赵光，桂林郡监居翁，揭阳县令史定等皆不战而降。郑严和田甲的军队，以及何遗调动的夜郎军队还未到达，南越国已经被平定了。这样，由秦将赵佗创立的南越国经过九十三年、五代南越王之后，终于被汉朝消灭了。
当平定南越的捷报传给汉武帝时，汉武帝正在前去视察缑氏县的途中，当时身处左邑县桐乡，于是汉武帝在桐乡设立了闻喜县，吕嘉被汉军处死后将其首级呈送给汉武帝，当时汉武帝行至汲县新中乡，于是汉武帝又在新中乡设立了获嘉县。同年，赵建德也被处死，其首级高悬在汉朝皇宫的北阙上。其后汉武帝还在益州郡设立嶲唐、不韦两县，将吕嘉的子孙和宗族迁徙过去，以绝南越后患。
汉武帝在平定南越国后，将南越国领地设置了南海、苍梧、郁林、合浦、交趾、九真、日南七郡。次年，杨仆率军从合浦郡徐闻县渡海，占领了海南岛。汉朝将其设为儋耳、珠崖两郡，和前面七郡同隶属于交州刺史部。
闽越王余善的阳奉阴违和西南诸夷君长杀汉使和犍为郡太守等反叛行为彻底激怒了汉武帝，后面两年汉武帝陆续出兵灭掉闽越国，夜郎国。滇国见汉军势大主动投降汉朝，至此以后岭南百越之地和西南诸夷完全纳入汉朝版图。