汉武帝征召左将军荀彘到京师，指控他争抢功劳，嫉妒同僚，给公孙遂出阴谋诡计，抓了杨仆，以此罪名，将荀彘斩首弃市。楼船将军杨仆率军先到了列口，本应该等待荀彘到达，再一起发动攻击，却擅自先行进攻导致寡不敌众，给部队造成巨大损失，论罪当诛，免死，缴纳赎金，贬为庶人。
【柏杨曰】
刘彻处理这场战事的方式，显示出一个长期统治者的乖张性格。远征朝鲜，派出两路大军，却不设一个统帅，导致争端。杨仆犯错最多，单独挑战，吃了败仗，吓破了胆之后，又企图以和平手段包揽全局。最严重的是，约定攻击日期，友军发动，他却坐山观虎斗。
从史料上，看不出荀彘有什么不对。他的怀疑是正常的，即使逮捕杨仆，是他的建议，但是决策权在公孙遂，与他何干？万里之外灭国而还，血汗功劳都在，何至于被绑缚到街市斩首？荀彘的冤狱是一个分水岭，刘彻的智力开始走下坡，以后越来越昏庸凶暴，只凭自己一时高兴或者不高兴，完全受自己情绪控制，被左右亲信小人物拨弄于手心之上，所以接着杀宰相，杀妻子，杀亲生儿子，夺取汗血马，一团黑暗血腥，除非他死，否则黑暗血腥不止。
【华杉讲透】
存天理，灭人欲，作为掌握生杀予夺大权的领导者，最重要的就是要控制自己任情任性的欲望，不能按自己的喜怒好恶行事。汉武帝掌权日久之后，已经完全任由自己的情绪驱使，为所欲为。君王任性，则天下恐惧。
前面讨论封禅泰山时兒宽说过，天子位居中和之极。什么叫中和之极？《中庸》说：“喜怒哀乐之未发谓之中，发而中节谓之和。中也者，天下之大本也；和也者，天下之达道也。”致中和，首要是管理自己的情绪。如果汉武帝完全凭自己的喜怒好恶，生杀予夺，那天下人就无所适从。汉文帝喜欢邓通，就要他富甲天下，就赐他铜山，让他拥有私家央行，直接发行货币。荀彘惹汉武帝不高兴，他就不管你多大功劳，反正“朕不满意”，就要斩首弃市。
王者建中和之极，致中和，就是领导者的修养。
【班固曰】
玄菟、乐浪，本是箕子的封地（周武王灭纣，将箕子封在朝鲜）。当初箕子居朝鲜，教导人民礼仪、耕种、养蚕、织布。制定的法律，只有八条，主要是：杀人的，即时偿命；伤人的，用粮食赔偿；偷窃抢夺的，男的罚到失主家做奴隶，女的为婢女；想自己赎回的，缴纳赎金五十万，就算重新做人，成为平民，也会被人瞧不起，结婚都找不到对象。所以朝鲜人民始终没有偷盗行为，夜不闭户，妇女也都保持贞洁，没有**行为。乡下饮食，都以竹篮盛装食物，城市里呢，就仿效官吏，用杯盘碗筷。
郡县官员，开始时都从辽东引进，那些官吏看见朝鲜夜不闭户，特别是等到那些商人往来，晚上就去偷东西，这样慢慢就把朝鲜的风俗也搞坏了。风俗一坏，法令就越来越多，如今已经有六十多条。可贵啊!想想当初箕子的圣贤教化!
不过，东方的蛮夷，天性柔顺，与南、北、西方的蛮夷完全不同。所以在《论语》中，孔子说：“道不行，乘桴浮于海。”他的道如果在中国不能施行，他就要渡海，前往九夷（箕子朝鲜），这是有他的根据的呀!
【华杉讲透】
《论语》里还有一句话：
子欲居九夷。或曰：“陋，如之何!”子曰：“君子居之，何陋之有？”
这里的君子，就是指箕子吧。箕子朝鲜，就是君子之国。
5秋，七月，胶西王刘端薨。
6武都氐部落造反，汉政府将他们强行迁徙到酒泉。
武帝元封四年（甲戌，公元前107年）
1冬，十月，汉武帝巡游雍县，祭祀五色帝庙，开凿及修复通往回中的道路，遂出萧关北上，抵达独鹿山、鸣泽湖，从代郡回长安，途中又巡察了河东郡。
春，三月，汉武帝祭祀后土，下令赦免汾阴、夏阳、中都死罪以下囚犯。
2夏，大旱。
3匈奴自从卫青、霍去病越过沙漠攻击以来，很少再南下对汉朝边境进行侵扰，远远地迁徙到北方，休养士卒马匹，练习射猎，并数次遣使入汉，用甜言蜜语请求和亲。汉朝派北地人王乌等出使匈奴，探其虚实。王乌入乡随俗，放下汉使符节，进到匈奴毡帐中。单于非常喜欢他，用甜言蜜语哄他，说要派太子入朝为质。
汉政府又派杨信到匈奴，杨信不肯接受匈奴风俗。单于说：“以前汉朝都把翁主（亲王女儿）嫁给我们，又陪嫁各种食物绸缎，用以和亲。而匈奴也不再侵扰边境。如今却反过来，让我们送太子去做人质，那我们还剩下什么？”
杨信回来，汉政府又派王乌去。单于又是甜言蜜语，想哄得汉朝更多财物，对王乌说：“我打算亲自到长安面见天子，结为兄弟!”王乌回来汇报，汉政府在长安修建单于官邸。匈奴又说：“除非汉朝派尊贵的大人物来，否则我就不说实在话。”
匈奴先派了一位尊贵的大臣来长安，没想到一来就病倒了。汉政府用尽良医良药，还是没救过来。汉朝派路充国佩戴二千石官印送回灵柩，厚葬，礼物价值数千金。随行人员介绍路充国说：“这就是汉朝尊贵的大臣。”单于认为汉朝杀了他的使者，就把路充国扣留在匈奴。
以前所说的话，都是单于故意虚言哄骗王乌，并没有入朝觐见或派太子为质的意思。因此，匈奴数次出奇兵侵犯边境。汉武帝任命郭昌为拔胡将军，与浞野侯赵破奴屯兵朔方以东，防备匈奴。
武帝元封五年（乙亥，公元前106年）
1冬，汉武帝向南巡狩，抵达盛唐（今安徽六安），前往九嶷山遥祭虞舜。又到灊县，登天柱山，然后从寻阳登船游长江，在江中亲自射蛟（一种传说中的水怪，卵生，像一条巨蛇，有四只脚，可以吃人），并且将蛟生擒。汉武帝的游船和护卫舰队绵延千里，在枞阳时登岸，北上到琅琊郡，沿着海边前行，沿途祭祀所经过的名山大川。
春，三月，汉武帝在归途中路过泰山，命人加高祭坛封土。三月二十一日，汉武帝第一次在明堂祭祀天帝，以汉高祖的神位配享。汉武帝在明堂接受各诸侯王、列侯的朝见，接受各封国、郡交上来的租税钱粮等账簿。
夏，四月，汉武帝下令大赦天下，此次巡游所经过的各县，一律免除今年的田租、赋税。汉武帝回到京师，巡游甘泉宫，郊祀太一神。
2长平烈侯卫青薨，汉武帝为他建了一座巨坟，像庐山的形状。
3汉武帝攘却匈奴和南越、东越，开疆拓土，中国版图大幅扩张，于是在郡之上，再设州，设置交趾州、朔方州，以及冀州、幽州、并州、兖州、徐州、青州、扬州、荆州、豫州、益州、凉州，一共十三州，每州设立一位刺史。
4汉武帝认为知名的文武将相，死的死，退的退，人才凋零了，于是下诏说：“非常之功，必待非常之人。良马可能桀骜不驯，却能奔腾千里；贤士可能为世俗诟骂，却能立功成名。那些特立独行、卓异不俗之士，也看怎么驾驭他罢了。如今下令各州、郡考察举荐吏、民有茂才、异能，可以出将入相以及出使遥远国家的人才。”
武帝元封六年（丙子，公元前105年）
1冬，汉武帝巡游回中。