汉武帝元封四年,公元前107年,冬十月,汉武帝巡游至雍,祭祀于五畤,然后走回中道,北出萧关,经独鹿山、鸣泽湖,到了代地,之后回返,途中巡视了河东郡。春三月,汉武帝祭祀后土神,赦免汾阴、夏阳、中都地区死刑以下的囚犯。夏季,关中大旱。
匈奴自卫青、霍去病率军穿越大漠将其逐北以来,很少再对汉朝进行侵扰,而是休养生息,并多次派使臣到汉朝廷来,好话说着请求和亲。汉朝廷派北地人王乌等人去侦察匈奴情况,王乌遵守匈奴的风俗,把朝廷赐予的旄节收起来,进入到匈奴单于的大帐。单于假意许诺王乌要派匈奴太子到汉朝做人质。王乌回朝廷复命后,朝廷又派杨信再出使匈奴,但杨信不愿遵守匈奴的风俗,单于说:“根据从前的盟约,汉朝廷曾将藩王的女儿嫁到匈奴来,陪嫁缯絮、食物等礼品,用这种方式和亲,匈奴也不再侵扰汉朝的边境。如今却要违反以往的盟约,让我的太子去做人质,这就没意思啦!”杨信回来后,朝廷再派王乌出使匈奴,单于希望得到汉朝的更多的财物,又对王乌说好话,骗他说:“我想亲自到汉朝去见天子,相互结为兄弟。”王乌回来后报告了汉武帝,于是汉武帝下令在长安为单于修建宫邸。匈奴单于又说:“除非汉朝派地位尊贵的人作为使者前来,否则不谈实质问题。”单于的原话是:“非得汉贵人使,吾不与诚语。”匈奴派了一位地位很高的大臣出使到汉朝,但这个人大概因为水土不服,生了病,朝廷派御医给他治病,但没治好,死了。于是,汉朝廷派路充国佩带二千石官员的印绶,出使匈奴,同时将匈奴使臣的灵柩送回,还送了数千金以厚葬,随使对单于说:“这是汉朝地位尊贵的人。”单于认为是汉朝杀了他们的使臣,所以将路充国扣留。其实,单于以前说的话,都是给王乌的空头支票,单于自己根本就无意到汉朝去,也无意派太子去。此后,匈奴屡次派兵侵犯汉朝边界。汉武帝任命郭昌为拔胡将军,与浞野侯赵破奴屯兵朔方以东地区,防备匈奴。