回来时，吃剩下来的好肉、好米都腐臭了，只好抛弃掉，而当时军中士卒每每有吃不饱的。在塞外作战，士兵吃不饱，饿得走不动路，霍去病丝毫不知爱惜，一个人玩他的“蹋鞠”游戏。虽然霍去病有这些毛病，但他在抗击匈奴的斗争中立下了丰功伟绩，还是值得表彰的。
元狩六年（前117年），霍去病因疾病去世。汉武帝对他的早逝十分伤心，下令让匈奴浑邪王降部的匈奴人全部身穿黑甲为他致哀。送葬的行列，把他从长安城一直护送到茂陵东侧的霍去病墓地。汉武帝为他建立了象征祁连山的大墓，纪念他抗击匈奴的战功。
元狩四年（前119年），卫青、霍去病大败匈奴后，匈奴元气大伤，不得不远途逃遁，从此漠南无王庭。而大汉朝廷也因连年战争耗尽了资财，战马损失无数，无力继续进行远征。所以，此后，汉匈双方十余年无战事，往来使者穿梭不停，进入了所谓的“和汉”时期。但双方和议终无结果。
然而，就在农民起义军反抗西汉王朝剥削压迫的同时，匈奴贵族也开始骄横起来了。伊稚斜单于采用赵信给他提出的意见，一方面继续向西汉王朝假意表示求和，另一方面又不断侵扰汉边境，随时准备挑起新的战争。元狩六年（前117年）遣使者到汉朝请求和亲。
此时，由于西汉王朝实力的相对下降，汉武帝对匈奴的阴谋也缺乏足够的认识，放松防范措施，而且用将不当，导致对匈奴新的战争的一系列失利。
元鼎三年（前114年），伊稚斜单于去世之后，他的儿子乌维单于立为王。元封元年（前110年）十月，汉武帝封禅前巡视朔方，勒兵11万骑，旌旗千余里，实际上是一次大规模军事演习示威行动。紧接着又采取外交行动，派遣郭吉出使匈奴，示意乌维单于向汉称臣。乌维大怒不已，扣留了郭吉。但乌维知道自己的兵马弱，很少寇边，只是在漠北休养士马，练习射猎，并屡次派使者到长安好言相告，要求和亲。
汉武帝多次派使者与匈奴往来和议。元封四年（前107年）夏，汉武帝派王乌到匈奴摸情况，王乌尊重匈奴风俗得见乌维单于，乌维假惺惺表示要派太子入质于汉，以结和亲。而后，汉武帝派杨信作为正式使者去谈判。
乌维在穹庐外接见杨信，杨信提出：将上次非正式协议确定下来。
乌维觉得后悔，说这不符合传统的和亲。谈判因此失败。汉武帝再派王乌出使匈奴，乌维想多得财物，就哄骗王乌说：“吾欲入见汉天子，当面结为兄弟。”
王乌回到都城，把消息报告给汉武帝，汉武帝信以为真，在长安为乌维修建官邸。可是不曾想，乌维又提出要汉派高级使者到匈奴，同时派匈奴贵人到汉朝的要求。匈奴贵人病，服药无效而死。
汉武帝派路充国佩二千石印绶，带数千金护送其丧。乌维误会汉朝杀了他的使者，扣留路充国。于是和议中断，乌维单于不断制造边境事件。于是，汉武帝便派郭昌为拔胡将军，会同浞野侯赵破奴屯兵朔方以东，加强边备。
汉武帝太初（前104―前101年）年间，匈奴经历詹师庐、句黎湖、且鞮侯三代单于。这一时期匈奴内乱，上层多变动，五年中换了三次单于。这时的汉朝国内已经无大事，东、南、西三面开土斥境的军事行动大都结束。
元封六年（前105年），乌维单于去世之后，他的儿子詹师庐立为王，年龄小，号为儿单于。此后，匈奴愈加远离东部，向西北迁移，左方兵在云中郡正北，右方兵在酒泉、敦煌正北。双方互相扣留使节。
詹师庐年轻气盛，喜好杀戮征伐，使得匈奴内部动**不安，内部矛盾加深。左大都尉想杀单于，便派人暗中报告汉朝，他准备降汉。太初元年（前104年）夏，汉武帝派因将军公孙敖在五原郡北长城外筑受降城，准备接纳来降匈奴，再派赵破奴将两万骑出朔方，向西北行军两千里，抵达匈奴障蔽浚稽山。
这时，詹师庐觉察到左大都尉计谋，杀左大都尉，发左方兵迎击赵破奴。赵破奴捕获匈奴数千人后立即退兵，在距受降城北400里的地方被匈奴8万骑追上围住。赵破奴被生擒，2万汉骑全部覆没。詹师庐大喜，派骑兵攻受降城，劫掠汉边而去。到这时，元鼎、元封间的和议彻底破裂，边疆上的挑衅又开始了。
太初三年（前102年），詹师庐去世了，匈奴立乌维单于弟右贤王句黎湖为单于。汉武帝针对匈奴左右两翼，相应修筑边防设施，加强警戒，派光禄勋徐自为出五原郡榆林塞外，西北走向到卢朐一线筑城、障、列亭，游击将军韩说、长平侯卫伉屯兵其间，又派路博德在居延泽筑军事设施。
这些边防设施在阻遏匈奴南下方面显示了潜在的力量，匈奴一心想破除它们。这年秋天，匈奴全力大肆扰掠定襄、云中，杀掠上千余人，沿途捣毁汉所筑城、障、列亭。右贤王攻略酒泉、张掖，掳略数千人，被汉军正任文救回。当时汉廷大臣都主张专力攻击匈奴，汉武帝正一心西顾征伐大宛，边境纠纷才没扩大。
正好句黎湖死，继立的左大都尉且鞮侯单于怕汉朝趁他统治未稳时出袭，主动表示尊崇汉朝。天汉元年（前100年）三月，把元封四年乌维单于扣留的路充国等送回汉朝。
太初四年（前101年），大宛降服后，汉武帝原打算乘伐宛的余威，继续解决匈奴问题，因且鞮侯尊服，才改变主意。天汉元年春，汉武帝组成中郎将苏武、副中郎将张胜、假吏常惠等募士、斥候百余人的大型使团。
苏武字子卿，是杜陵人，将军苏建的二儿子。年轻的时候担任郎官，后担任中厩监，负责管理御马。在苏建的三个儿子中，他是最有节操和才干的一个。一直被同僚所称赞，颇受汉武帝的赏识。
天汉元年（前100年）初，在一个春寒料峭的日子里，长安城门旌旗飘扬，人头攒动，原来苏武将作为汉使率百多人前往匈奴，而城门中皇帝一行人正准备为他们送行。
到了城门，苏武等翻身下马，向送行的人拱手致谢。御史大夫杜周举杯，代表皇帝向他敬酒，苏武接过一饮而尽。
“谢圣上。”
“圣上祝你们一路平安，你们要好好地完成朝廷使命，要让匈奴知道大汉天子的威力。”
苏武忙朝皇宫方向拱手道：“请圣上放心，苏武是大汉使臣，绝不辱使命。”说完，苏武便骑上马向送行的老母、妻儿、同僚、亲友道别，带领使团踏上了去往塞北的征程。
刚刚40岁出头的苏武，骑着一匹雪练似的高头骏马，手持旌节，神色凝重，走在队伍的前头。那根旌节，以9节之竹为柄，长8尺，顶端系索，索上垂挂三重白色旄牛尾为饰，它是使者节操和信守的象征，苏武把它看得比生命还重要。
对于这次出使匈奴，苏武深知任重事险。汉、匈两国交恶多年，互相仇杀，结怨甚深。何况匈奴人一向狡诈，且鞮侯单于的真正意图究竟是什么，还很难猜测。一路上，苏武想到了种种方案，以期圆满完成使命。至于他个人的安危，倒很少考虑。
苏武一行经过近一个月的长途跋涉，到达了匈奴王庭。苏武拜见且鞮侯单于，递交了汉武帝表示愿意释放匈奴使者的名单，彬彬有礼，不卑不亢，并且赠送了礼品，说：“这是我大汉天子向贵邦赠的礼物。”
单于看是一匹匹的锦缎丝绸和黄金，顿时眉开眼笑、面现狂色，他哈哈大笑，转过头对左右说：“这是汉王朝给我敬献的礼物，哈哈……”
苏武见单于的狂相，心中甚为反感，但想到自己的使命，他还是不亢不卑地说：“大汉愿与贵邦结为友好，互通商贸。大王给天子的使函大王自称是小辈，对此，天子很赞赏。”
“哈哈哈……”单于又是一阵大笑，“是小辈吗？以后还要请天子老儿多加指教。”
苏武听了立即沉下脸来：“请大王自重。”
“自重，我们匈奴是小辈吗？我们原来也在中原生活，是你们大汉把我们赶到西域来的，总有一天我们要打回去。”
苏武听了严正地回驳：“大王，我汉朝是在祖先给我们留下的疆域里生活，从炎黄与蚩尤战于涿鹿，到秦始皇统一六国，再到当朝天子西征，我们都在自己的家园里生活，我们赶走的是豺狼……”
“住口！你把谁比作豺狼了？”
“再重申一遍，我们把侵犯我们漠北、偷袭我们西疆的豺狼赶走了。”
“那是你们的地盘吗？”
“有万里长城为证。”