跟日耳曼民族不断侵略罗马帝国一样，中国中原王朝的富庶对于居住在寒冷荒凉地带的匈奴来说，一直是难以抗拒的诱惑。
秦汉时期，北方的匈奴始终对中原王朝是个巨大的威胁。在秦代，匈奴曾一度为大将蒙恬所击败，逃往漠北，十多年不敢南下。秦朝覆亡后，匈奴趁楚汉相争、无暇北顾之机再度崛起。在骁勇善战的冒顿单于统率下，四面出击，重新控制了中国西北部、北部和东北部的广大地区。西汉王朝建立后，匈奴依然是汉民族和平生活的重大威胁：数次入侵边境，攻城屠邑，掠夺财物和人口，给西汉北方地区民众带来沉重的灾难。
忍辱负重，休养生息
西汉开国皇帝刘邦对匈奴的屡屡犯境非常愤怒。公元前200年，刘邦乘着刚刚击败项羽、统一中国的余威，率领大军向匈奴进攻。双方在白登山展开激战，结果汉军队大败，刘邦被围七天七夜，几乎被俘，后以重金收买了匈奴首领，才得以突围。
刘邦自此认识到汉朝实力不足，开始休养生息，发展生产，但在处理与匈奴关系上仍苦思不得良策。不得已，刘邦采用了娄敬的建议，以汉家公主和亲匈奴，并赠送丝绸、粮食等物品，与其约为兄弟，以缓解其袭扰。在军事上，则主要采取消极防御的方针，尽量避免与匈奴进行决战。
汉高祖之后，文帝和景帝继续推行休养生息政策，积极发展生产。
但历代的和亲政策并没有遏制匈奴的袭扰活动，反而使他们认为汉朝软弱可欺，因此在边境闹得越来越凶。
边患大事，一日不忘
公元前140年，汉武帝刘彻即位时，汉帝国经过60多年休养生息，经济有了很大发展。国力的强盛为汉武帝的战争动员和实施创造了有利的条件。
汉武帝是一个具有雄才大略的政治家，他不满足于王朝贵族固步自封的做法，希望能有大的作为。
汉武帝在位最初的几年，虽然还延续着前几任的和亲政策，但他一直在寻找机会改变传统政策，彻底击退匈奴，解除边境安全隐患。他曾对大将军卫青说：“汉家庶事草创，加四夷侵凌中国。朕不变更制度，后世无法。不出师征伐，天下不安。”汉元帝时担任西域都护府副校尉的陈汤曾在向中央陈述攻打匈奴的理由时说：“凡侵犯中国的，逃得再远，也要诛杀。”这句话最能代表汉武帝的想法(原文：“明犯强汉者，虽远必诛”———编者注)如此气概，当为后世敬仰。
此后，积极发展军事力量成了汉武帝的重要任务。他认识到汉军战斗力弱的问题，便积极从匈奴那里学习先进的骑兵突击战术，以及铸造锋利而结实的战斗武器技术等。
同时，汉武帝不拘成法，大胆起用一些勇猛而功名心强的将领，陆续清除一些思想僵硬腐化的军事将领。
为加强边防建设，汉武帝将大量民众迁往边境，在那里建立城邑，并对边郡居民进行军事训练。还在边郡设立马苑，大量养马，官府养马达45万匹，奠定了建设大骑兵集团的基础。武帝还创置了北军八校尉，其中四校尉都是为建设骑兵而置。至此，汉朝建立起一支由10万—15万骑兵和数十万步兵组成的强大军队。
组织辩论，明确态度
为推行攻击匈奴的策略，公元前133年，汉武帝在御前主持了一场规模空前的是否需要打击匈奴的辩论。
汉武帝的观点是：汉朝对匈奴的大量馈赠示好，不但没有满足这些野蛮人的贪欲，反而更激起他们对汉朝巨大财富的觊觎之心。朝野上下已经对匈奴毫无信用、反复无常的行径感到无比厌烦，确认这是一群不可以用道义来约束的野蛮部落。对于这样的边患，如果不彻底清除，反倒会让其觉得软弱可欺，国家边境也不会获得永久的和平。
辩论开始后，汉武帝发现朝廷中的论调明显分为两种：支持和亲者认为匈奴难以降伏，还是应该继续以前的和亲策略;主张用兵的大臣则尖锐地指出，和亲只会助长匈奴嚣张的气焰，会向朝廷提出更多的无理要求，对他们的宽容忍让绝不能再继续下去，并且，事实证明匈奴的存在对汉朝的安全构成了严重的威胁。后来，大行令王恢提出一个大胆而又诱人的计划：在马邑设下埋伏，用计诱使匈奴单于上钩，一举消灭。这个方案打动了汉武帝，他义无反顾地决定出兵攻打匈奴。
公元前133年，汉武帝派王恢统领30余万军队，埋伏在马邑城(山西朔州)左右山谷之中，然后设计引诱匈奴进击。但在最后关头，被匈奴单于识破计谋，匈奴急忙撤退。汉匈两国的邦交从此破裂。
