春，上令大将军青、票骑将军去病各五万骑，步兵转者踵军数十万……行二百余里，不得单于，颇捕斩首虏万余级，遂至窴颜山赵信城，得匈奴积粟食军。军留一日而还，悉烧其城余粟以归。
——《汉书·卫青霍去病列传》
自汉匈开战以来，历经数年血战，匈奴右贤王损失可谓惨重，不仅其本部损失极大，随着浑邪王、休屠王的战败归降，河西地区随之落入汉朝手中，而西域也随时有脱离右贤王统治的风险。如此情形下，龟缩于匈奴右地科布多和乌里雅苏台一带的右贤王，已经基本丧失了与汉朝对抗的能力，西汉都城长安来自西部和西北部的威胁基本被解除。
不过，右贤王虽败，但伊稚斜单于本部和左贤王部却仍然拥有着相当的实力。尤其是伊稚斜单于，自定襄北之战后，他听从降将赵信的建议，将单于庭北迁，本是企图“诱罢汉兵，缴极而取之”，却没料到汉武帝在北部压力减轻后竟然转攻河西，趁机占领了河西走廊，导致匈奴的诱兵之计落空。
得知汉朝占据河西之后，恼羞成怒的伊稚斜单于，于元狩三年（前120年）春大举出兵，南下侵扰右北平和定襄两郡，企图借此激怒汉武帝，诱使汉军北进，进而实现以逸待劳歼灭汉军的目的。
接到边关奏报，汉武帝虽然恼怒于伊稚斜单于的再度南侵，但由于当时朝廷正忙于安置内附的浑邪王所部，改革财政缓解朝廷财政压力等事务，对此根本无暇顾及。
直到元狩四年（前119年），随着浑邪王所部安置完毕，朝廷的一系列财政改革措施也在逐步落实。在筹集了大量资金后，朝廷的财政压力得到极大缓解，再加上经过了两年的休养生息，汉朝已经重新具备了发动战争能力。
鉴于匈奴单于本部和左贤王部仍然具相当实力，并严重威胁汉朝北部边疆安全的现实，汉武帝最终做出了大举出兵漠北的决定。
为此，汉武帝召集众将商议出兵事宜，经过缜密磋商，考虑到汉军经过多次实战锻炼，已经积累了使用大规模骑兵长途奔袭的作战经验，汉武帝与众将最终制定了一个集中兵力、深入漠北、寻歼匈奴主力的大胆作战计划。
为了鼓舞士气，汉武帝对众将说道，“翕侯赵信为单于出谋划策，认为汉朝的士卒不能穿越沙漠，长期留在漠北作战，正因如此，我们大军出征必能攻其不备，克敌制胜。”
按照汉武帝拟定的计划，汉军将兵分两路，其中由霍去病率部出定襄，北上进攻单于庭；由卫青领兵出代郡，攻打左贤王。
然而，就在汉军出发前，在漠南抓到的几个匈奴俘虏却交代说，伊稚斜单于并不在单于庭，而是向东前往了左贤王处，于是汉武帝便又调整了两路大军的部署，改命霍去病率骑兵五万出代郡，直取匈奴左地，攻打左贤王及伊稚斜单于，而以卫青率另外五万骑兵出定襄郡，直取漠北的匈奴单于庭，彻底摧毁伊稚斜单于本部。
为了确保取胜，彻底解决伊稚斜单于和左贤王部给汉朝北部边疆带来的安全威胁，这次大规模北征，汉武帝不仅下令调集了十万骑兵，为了防止长途奔袭战马损失，更是为此调集了公私之马十四万匹随军出征，同时还抽调了数十万步兵和转运夫运送后勤物资，确保前线大军补给。
西路军方面，以大将军卫青为主帅，郎中令李广为前将军，太仆公孙贺为左将军，主爵赵食其为右将军，平阳侯曹襄为后将军，此前在“第二次河西之战”中因贻误战机被削爵为民的公孙敖，亦被授予校尉之职，跟随卫青出兵北上。
战前，李广多次向汉武帝主动请缨，汉武帝念其年老，担心其身体不堪长途奔袭之重负，多次予以拒绝。然而，对于李广这个从军四十载，征战了一辈子的将领来说，此生最大的遗憾便是没能拜将封侯，他也知道自己年事已高，如果错过了这次漠北之战，不知道还有没有机会参加下一次战争了。因此，即便屡次被拒，李广还是坚决请求随军出征，汉武帝实在拗不过，这才同意他出任前将军。
得知汉朝大军北上，伊稚斜单于亦立即召集军队，与将领们研究迎敌对策，降将赵信为其出谋划策道，“汉朝大军远道而来，就算穿过大漠，兵马必然也已经十分疲乏了，我们不妨将部众辎重转移到更远的北方，防止汉军夺取补给，再将精兵布置于沙漠北部以逸待劳，必可一战将其击溃。”伊稚斜单于认为此计甚妙，遂按照其建议部署。
卫青率军北进之后，从抓获的匈奴散兵口中得知，伊稚斜单于在得知汉军北上后，已经率部自左贤王处返回，如今正在单于庭。
针对这一情况，卫青果断决定兵分两路，由自己亲率主力北上，正面迎击伊稚斜单于的主力，又命前将军李广、右将军赵食其合为一路，率军自东部迂回包抄，配合自己夹攻匈奴单于庭，并防止伊稚斜单于率兵东进与左贤王合兵。
李广认为向东绕行不仅道路遥远，而且沿途缺乏水草，根本无法负担两路大军合兵前进，因此派人给卫青送信，请求说，“我是前将军，大将军为何却命我自东部绕行。况且，我自年少时期从军与匈奴交战，至今才得到与匈奴单于正面交战的机会，实属不易，还请大将军以末将为先锋，先与单于决战。”
面对李广的请求，卫青却选择了置之不理，并命令长史书写公文，派人送至李广军中，命其按照将令行事，尽快与右将军赵食其合兵东进。
关于这次分兵的原因，已经无人知晓，有人说是在出征之前，汉武帝暗中嘱咐卫青，说李广年老，而且运气十分不好，每次出征要么遇不到匈奴军队，要么便是以偏军遭遇匈奴主力，因此建议卫青不要让李广与伊稚斜单于对阵，否则恐怕难以达成战略目的。
也有人说，卫青乃是因为好友公孙敖此前因罪免爵，有意利用此次机会让其获取战功，重新得以封侯，这才将公孙敖带在了身边，而将李广调往了东路。
无论是出于哪种原因，从卫青的人事安排来看，都很难说他没有自己的私心。毕竟，相较于卫青带在身边的左将军公孙贺、后将军曹襄和校尉公孙敖，无论是从军多年的前将军李广，还是右将军赵食其，与卫氏家族的关系都较为疏远。
公孙敖自然不必多说，他与卫青早在建章宫当差时便已经相识，公孙敖更是在馆陶公主企图谋害卫青时对其有救命之恩，此后两人长期在汉武帝身边做事，乃是相交近二十年的至交好友。
至于卫青其他两人，也都与卫氏家族关系紧密，其中左将军公孙贺迎娶了卫孺为妻，乃是卫青的姐夫。后将军、平阳侯曹襄乃是开国功臣曹参的玄孙，其母便是汉武帝的姐姐平阳公主，正是因为当初平阳公主将卫子夫推荐给汉武帝，卫氏家族才有了今日，两家关系本就十分亲近，何况曹襄还迎娶了汉武帝和卫子夫的长女卫长公主，两家的关系可想而知。
且不论其中缘由，按照卫青的命令，西路汉军最终还是分兵前进。卫青亲率主力经过艰难跋涉，好不容易走出了茫茫大漠，结果迎面便撞上了伊稚斜单于统率的匈奴主力。
虽说卫青大军背后，有着大量步兵和负责转运后勤补给民夫，然而大漠之中行军，除了沿途缺乏饮水和粮食补给之外，更为严峻的是沙漠中恶劣的气候环境。一路艰难行来，出塞一千余里的汉军，早已疲惫不堪，而伊稚斜单于统率的匈奴主力，却是在沙漠以北以逸待劳、精力充沛。
卫青深知，此时的汉军根本不是这支匈奴主力的对手，然而即便他想要驻军休整，伊稚斜单于又岂会给他这个机会。
在卫青派出的侦骑发现匈奴主力的同时，伊稚斜单于也发现了卫青统率的汉军，早已等候多时的伊稚斜单于立即精锐尽出，向着汉军所在之地冲击而去，意图趁着汉军立足未稳一举将其击溃。
得到侦骑回报之后，卫青立即便明白了伊稚斜单于的阴谋，连忙命令随军步兵以武刚车环绕为营，想要先行稳住阵脚，防止被匈奴大军一举冲破本阵，同时等待后续大军前来集结。为此，卫青派遣五千骑兵主动出击，冲击匈奴大军，为主力结阵争取时间。
伊稚斜单于见状，意识到了卫青用意的他，为了避免自己的主力全部被卷入混战，伊稚斜单于立即从先行抵达的匈奴主力中挑出一万余骑出阵迎战，而他自己则在等待后续大军赶来的同时，伺机而动，随时准备率军冲阵。
双方交战片刻，凭借着汉军骑兵的拼死作战，在付出了不小的代价后，总算给主力争取到了结阵时间，见到大阵结成，卫青这才心中略定。
时值日落时分，又恰逢刮起大风，一时间黄沙遍天，除了仍在近身肉搏的一万余人之外，汉匈主力却是谁也看不见谁。
伊稚斜单于由于看不清汉军本阵情形，也不敢贸然发动进攻，而卫青却意识到机不可失，在汉军骑兵经过短暂休整，已经恢复了一些战力的情况下，立即出动两路军队，自左右两翼包抄而上，围攻伊稚斜单于本阵。
由于风沙遮蔽视野，伊稚斜单于抬眼望去，只见黄沙之中尽是骑兵飞驰，一时间根本搞不清到底有多少汉军冲杀而来，担心继续打下去对己方不利的他，完全不顾正在交战的军队，便乘着六匹骡马拉的车，借着黄昏，在几百名精壮骑兵的保护下，趁着汉军尚未完成合围，冲破汉军包围圈向西北逃窜而去。在发现单于逃走后，匈奴主力也随之撤退，仅剩先前出战的那一万多骑仍在与汉军缠斗。
等到风沙渐停，天色已经完全昏暗，原本互相混战的汉匈双方这才看清形势，发现匈奴主力已经撤走，战团中的匈奴骑兵士气骤降，很快便落入了下风。
这时，汉军左校捉到的匈奴俘虏，供说单于已经在天未黑时逃离，卫青得知消息，连忙派遣轻骑兵连夜追击，卫青则率领主力在对遗留战场的匈奴骑兵完成清剿后，紧随其后追击而去。
汉军紧追一夜，追出去二百多里，一直追到了寅颜山的赵信城，虽然先后捕杀匈奴骑兵一万余人，却始终没能追上伊稚斜单于。无奈之下，卫青只好命令大军在赵信城中短暂休整，一面以匈奴人囤积在此的军粮补充大军，一面侦骑四出寻找伊稚斜单于的下落。
卫青率领大军在赵信城停留休整一天，却始终没有发现伊稚斜单于的下落。卫青虽然心有不甘，却也不敢让大军在漠北久持，只好将赵信城中的匈奴屯粮焚烧殆尽后，率领大军撤退。
就在卫青统率大军与伊稚斜单于激战之际，前将军李广和右将军赵食其统率的另外一路汉军，却由于大军没有向导，在大漠之中迷失了道路，别说按照原定计划与卫青夹攻伊稚斜单于了，就连大漠也没能走出去。无奈之下，只好赶在军粮耗尽之前率军沿原路撤回。
实际上，就算李广、赵食其能够顺利率军走出沙漠，也根本无法完成与卫青夹攻伊稚斜单于的计划，毕竟伊稚斜单于根本没在单于庭，而是将军队前移到了沙漠边缘，而且在卫青刚刚走出沙漠时，双方便已经展开了决战，且仅仅交战片刻便连夜逃走了。因此，绕行东路、路途遥远的李广和赵食其，无论如何也是来不及与卫青汇合的。
结果，等到卫青率兵班师，南行渡过沙漠，这才遇到了李广和赵食其的军队，心中颇有怨气的李广，在谒见大将军卫青之时，只告诉卫青自己迷失了道路，而无任何解释，之后便心灰意冷的回到了自己军中。
卫青也知道此事自己理亏在先，因此非但没有怪罪李广的不敬，反而派长史带人给李广所部送去干粮和酒，在犒赏军队的同时，顺便向李广询问迷路情况，以便回朝后给汉武帝上报军情。
然而，李广平素治军便简单随意，军中文书不全，根本没办法解释清楚迷路问题，只好沉默不语。
卫青以为李广这是对自己心中有怨，便也不再向其问询，而是派长史传令李广部下校尉、文书等官员前去受审对质。李广自然知道自己军中文书不全的问题，因此说道，“校尉们无罪，迷失道路乃是我自己的问题，大将军要问罪，我亲自去大将军幕府受审对质便是。”
李广一路行来，回想自己这半生征战，一时间心中尽是悲凉之意。来到大将军幕府前，李广回身对着跟随在身后的部下们说道，“我自年少时起，与匈奴作战七十余次，如今有幸随大将军出征，本想着有机会与匈奴单于交战，然而大将军又调我的军队迂回绕远，偏偏又赶上迷路，这难道不是天意吗？”说到这里，李广仰头望天，长叹一口气后继续说道，“如今我已六十多岁，又岂能再受那些刀笔吏的侮辱。”
说罢，李广拔刀自刎而死。这位征战一生的老将，就此永远倒在了卫青大将军幕府前的血泊之中。