宣帝神爵四年（公元前58年），单于对于东方的控制力逐渐削弱到一个层次，于是，东方将领们便拥立一位亲王即位，号称呼韩邪单于。单于自然不甘心草原上出现另外一个单于与和他平分草原。所谓“天无二日、国无二君”，呼韩邪单于一旦册立，就代表着匈奴此后必将产生战争，而且必须要一决胜负。
单于出兵讨伐，但是其大军被杀得片甲不留，连单于自己也战败被杀。这是由于他人心尽失，并且呼韩邪单于得到了许多将领的支持，实力更加雄厚。和中原政权一样，匈奴也相信名正言顺。呼韩邪单于杀了老单于便后悔不已，其实，他大可以将单于握在手中，也免得正统一失去，草原大陆便陷入群雄逐鹿的纷乱之中。
见单于被杀，西方将领们为了夺取草原的霸主地位，也拥立另一位亲王即位，号称屠耆单于。两个单于，互相攻击。次年，草原上又崛起了三个单于，于是五单于并立，全国大乱。呼韩邪单于此举，没有考虑到自己的声望难以一统草原，不仅将自己陷入了有王霸之志的群雄的愤恨之中，亦使得此后的匈奴陷入了长期的衰弱。
经过一番为敌报仇式的自相残杀，呼韩邪单于技高一筹，实力强劲的他成为五大单于之中最后的赢家。然而他并非整个草原帝国的最后霸主，因此就在他接连大败其余四大单于之时，他的一位族兄已经在东方自立，号称郅支单于。
宣帝五凤四年（公元前54年），郅支单于打着除国贼的旗号，向西进攻呼韩邪单于，大军不久便进入王庭（当时匈奴的王庭设在今蒙古哈尔和林），呼韩邪单于不敌，大军节节向南败退。
从这一年起，匈奴分裂为南北两部分，即南匈奴和北匈奴，匈奴的分裂对于当时正处于鼎盛时期的汉朝而言，无疑是锦上添花的好事情，百余年的纷争，从当初汉高祖“白马之围”的耻辱，到如今坐收渔利的惬意，实在是天翻地覆的改变。
西域列国此时也唯西汉马首是瞻，南北匈奴要获取胜利，其关键就是得到汉朝的支持，为了争取外援，南北匈奴争着向汉朝奉承乞怜和争着派遣太子到中国充当人质，汉朝也采取了来而不拒的策略，两不相帮。
按照汉宣帝的设想，匈奴一直分裂下去，才是对汉朝最为有利的事情，因此，它只可能去帮助弱者去对抗强者。不久，南北匈奴便高下立判，呼韩邪单于无法抵抗郅支单于的攻势，向南方汉朝祈求援助，但是此刻的汉朝内部，还不能够下冻决心去帮助他，因为那样一来，不仅会彻底得罪北匈奴，还有可能“养虎为患”，让呼韩邪单于强盛起来。
人在屋檐下，不得不低头。为了表示忠诚汉室的决心诚意，呼韩邪单于于宣帝甘露三年（公元前51年），派遣使者前去大汉乞降，希望自己可以率领部众，南迁汉朝地区，宣帝等闻讯，当即大喜，即使得罪北匈奴，也在所不惜，因为这不仅可以彰显当朝的功绩，还可以将匈奴置于自己的控制之下，何乐而不为？于是，宣帝允许了呼韩邪单于的请求。同年，呼韩邪单于率领南匈奴汗国全部百姓和牲畜，向汉朝投降。为了表示中原王朝的热情，呼韩邪单于到长安朝觐时，汉宣帝在皇宫中大摆酒筵欢迎他。
宴会过后，宣帝和呼韩邪单于商议南匈奴的属地，这呼韩邪单于不愧是一带枭雄，他看准了宣帝势必要帮助自己的决心，遂“狮子大开口”，要求迁居河套。以前，河套就是匈奴最为富庶的地区，宣帝眼见呼韩邪单于的势力已经很弱，遂同意了他的这一请求，并派大将韩昌率领骑兵一万六千人，沿着黄河驻防保护。如此一来，宣帝无疑放虎归山，当然，凭借当时汉朝的实力，宣帝实在是找不到任何理由，去畏惧天下任何一股势力。
这次朝觐的威慑性效果是显而易见的，特别是对西域各国而言，无疑是一个晴天霹雳般的震撼，他们认为绝不可抗拒的庞大的匈奴，竟被汉朝征服，并寻求它的保护，试问天下诸国，谁还可以与汉朝相抗衡？于是，西域列国对汉朝更加敬服。为了表示对汉朝援手的感激之情，呼韩邪单于自此不断向西汉皇帝朝觐。
据史载，呼韩邪单于的最后一次朝觐是在元帝竟宁元年（公元前33年）。当时大汉江山已经易主，刘询已经驾崩，由其与许平君所生的儿子皇帝刘奭执掌政权。自刘询时代至此，呼韩邪单于在汉朝的全力援助下，力量渐大，不断反攻，为了继续赢得汉朝的支持，他便向皇帝请求与皇帝的公主和亲。刘奭一时之间，找不到合适的人选，便把一位宫女王昭君赐封为公主，并赏赐给他。
当时刘奭并不认识王昭君，等到辞行时才发现她竟是一位绝色美人，使他那数万名后宫的宫女们都黯然失色，他大大地跳了起来，下令把宫廷画家毛延寿杀掉，因为毛延寿没有把她的美貌画出来。这就是后来家喻户晓的“昭君出塞”的典故。
呼韩邪单于依靠汉朝的支持，不断向郅支单于进攻，最终使得其国不国矣。无奈之下，郅支单于率部向西迁徙，不久便侵入西域北境，灭掉坚昆王国（西伯利亚叶尼塞河上游）和丁零部落（贝加尔湖畔）。
待郅支单于有了立足之地以后，便向汉朝要求送还充当人质的太子，汉朝对于呼韩邪单于的强大，早就生出了防范警惕之心，对于北匈奴的要求，自然慷慨答应，并派使节谷吉一直把太子护送到他的临时首都坚昆王城。可是，汉朝统治者们万万想不到，郅支单于不但毫无感谢之情，反而记起汉朝援助他的对手呼韩邪单于的怨恨，竟把汉朝的使者谷吉杀掉。这无疑是在挑战汉朝的权威。汉朝遂决意派遣西域的兵马，襄助呼韩邪单于打击北匈奴。待郅支单于杀了谷吉之后，才后悔不已，眼看大汉大兵压境，他知道凭借自己的兵力，实在难以与之匹敌，遂放弃坚昆，继续向西迁移。
天无绝人之路，就在北匈奴被南匈奴和汉朝大军追到穷途末路之时，郅支单于看到了希望。因为就在他们抵达康居王国境后，其国王便送来一封邀请函。原来，此前康居王国在西域部分地区的势力争夺中，屡屡被乌孙王国击败，正好听闻北匈奴有如丧家之犬般来到了自己的城下，料想此番只要收容于他，一来可以凭借其强大的兵力抵抗乌孙，二来还可以让他们感恩戴德，避免与之交战。当然，对于汉朝和南匈奴，他们也有所考虑，最后认为，汉朝是不可能因为这样一股小的势力，而甘心得罪一个国家的。
果然，汉军没有追击到底，就连南匈奴也不再进击，因为此时的南匈奴，已经成为草原上唯一的政权。不久呼韩邪单于即向汉朝请求离开河套，回到北方故土，成为草原上唯一的强者，成为此后汉朝的最大隐患，这一点，就连汉宣帝也是始料未及的，可惜此时的汉朝，已经日渐衰败，自顾不暇了。
北匈奴在得到康居王国的邀请后，遂进驻康居都城，与之结成联盟。康居王为了巩固这个联盟，还把女儿嫁给郅支单于，郅支单于也把女儿嫁给康居王，双方互为对方的岳父。
郅支单于与康居兵一起，攻击乌孙，面对强大的匈奴铁骑，乌孙王国自然难以抵御。一时之间，西界边陲，几乎全部残破。然而，好景不长，就在康居王以为，统一西域边陲，成为第一西域强国的时刻指日可待之时，郅支单于开始躁动不安了，并很快威胁到康居王国的安危。
其中最明显的，就是郅支单于竟然以康居王国的保护人自居，性情粗暴的他因为康居王国不肯臣服，而将康居王的女儿悍然杀掉，派驻兵力控制了康居的首都，继而将康居王国中的贵族当做奴隶一样驱使迫害。自此，郅支单于开始逐渐显露出他的野心。他在康居国内大肆兴筑城垒，并向西域各国发出通知，要他们进贡。引狼入室的康居王虽然万般悔恨，却一点也无济于事，无奈之下，只能悄悄地向西域汉朝使者祈求帮助。元帝建昭三年（公元前36年），郅支单于杀汉朝使节谷吉已经八年之久，汉朝西域副校尉陈汤，上乘圣意、下顺民心，调发西域各国军队，连同屯垦兵团，共四万余人，分两路向郅支单于夹攻。北路穿过乌孙王国，南路则翻越葱岭（帕米尔高原），穿过大宛王国，最后在郅支城（哈萨克江布尔）下合围。郅支单于的兵力不敌，郅支城很快就陷落，联军斩下郅支单于的头，星夜兼程的将其首级送到长安皇帝朝堂之上。
同时还附信一封，其间言道：“犯强汉者，虽远必诛！”
经过汉朝历代的努力，特别是汉武帝国策、军事战略的制定以及刘询的延续和彻底的实施，匈奴遭到了毁灭性的打击，最终顺理成章的使得郅支单于身死，北匈奴亦彻底灭亡。