后来，汉朝用马邑城引诱单于，派大军在马邑两旁的山谷中埋伏。李广任骁骑将军，受护军将军韩安国统领节制。当时单于发觉了汉军的计谋，就逃跑了。汉军都没有战功。四年以后，李广由卫尉被任为将军，出雁门关进攻匈奴。匈奴兵多，打败了李广的军队，并生擒了李广。单于平时就听说李广很有才能，下令说：“俘获李广一定要活捉送来。”匈奴骑兵俘虏了李广，当时李广受伤生病，就把李广放在两匹马中间，装在绳编的网兜里躺着。走了十多里，李广假装死了，斜眼看到他旁边的一个匈奴少年骑着一匹好马，李广突然一纵身跳上匈奴少年的马，趁势把少年推下去，夺了他的弓，打马向南飞驰数十里，重又遇到他的残部，于是带领他们进入关塞。匈奴出动追捕的骑兵几百名来追赶他，李广一边逃一边拿起匈奴少年的弓射杀追来的骑兵，因此才能逃脱。于是回到汉朝京城，朝廷把李广交给执法官吏。执法官判决李广损失伤亡多，他自己又被敌人活捉，应该斩首，李广用钱物赎了死罪，被削职为民。
转眼间，李广在家已闲居数年。李广家和已故颖阴侯灌婴的孙子灌强一起隐居在兰田，他们常到南山中打猎。曾在一天夜里带着一名骑马的随从外出，和别人一起在田野间饮酒。回来时走到霸陵亭，霸陵尉喝醉了，大声喝斥，禁止李广通行。李广的随从说：“这是前任李将军。”亭尉说：“现任将军尚且不许通行，何况是前任呢！”便扣留了李广，让他停宿在霸陵亭下。没过多久，匈奴入侵杀死辽西太守，打败了韩将军（韩安国），韩将军迁调右北平。于是天子就召见李广，任他为右北平太守。李广随即请求派霸陵尉一起赴任，到了军中就把他杀了。
李广驻守右北平，匈奴听说后，称他为“汉朝的飞将军”，躲避他好几年，不敢入侵右北平。
李广外出打猎，看见草里的一块石头，以为是老虎就向它射去，射中了石头，箭头都射进去了，过去一看，原来是石头。接着重新再射，始终不能再射进石头了。李广从前驻守的各郡，听说有老虎，常常亲自去射杀。到驻守右北平时，一次射虎，老虎跳起来伤了李广，李广也终于射死了老虎。
李广为官清廉，得到赏赐就分给他的部下，总与士兵在一起吃喝。李广一生，做二千石俸禄的官共四十多年，家中没有多余的财物，始终也不谈及家产方面的事。李广身材高大，两臂如猿，他善于射箭，也是天赋。即便是他的子孙或外人向他学习，也没人能赶上他。李广语言迟钝，说话不多，与别人在一起就在地上画军阵，然后比射箭，按射中较密集的行列还是较宽疏的行列来定罚谁喝酒。他专门以射箭为消遣，一直到死。李广带兵，遇到缺粮断水的地方，见到水，士兵还没有完全喝到水，李广不去靠近水；士兵还没有完全吃上饭，李广一口饭也不尝。李广对士兵宽厚和缓不苛刻，士兵因此爱戴他，乐于为他所用。李广射箭的方法是，看见敌人逼近，如果不在数十步之内，估计射不中，就不发射。只要一发射，敌人立即随弓弦之声倒地。因此他领兵有几次被困受辱，射猛兽也曾被猛兽所伤。
太史公说：《论语》里说：“在上位的人自身行为端正，不下命令，别人也会跟着执行；自身行为不正，发下命令，也没人听从。”这就是说的李将军吧！我所看到的李将军，老实厚道像个乡下人，开口不善讲话，可在他死的那天，天下人不论认识他的还是不认识他的，都为他尽情哀痛。他那忠实的品格确实得到了将士们的信赖呀！谚语说：“桃树李树不会自我吹嘘，可是因为它们的花朵好看、果实好吃，自然而然人们就会来到这儿，日子久了，树下就自然地被人踩出一条小路。”此段话语虽然短小，倒也不妨用来比喻李广人格的伟大。
网友评论