鉴于湘军是唯一有战斗力的部队，咸丰皇帝命曾国藩出省作战，支援困境中的江西。
湘军出省作战实行的是“就地筹饷”，江西省官僚系统负有供饷之责。其时江西巡抚是陈启迈，其人气度狭隘，寸权必争。在他眼里，曾国藩不过是一个办团练起家的在籍官员而已，地位等同绅士，要在江西吃自己的军饷，就必须对自己唯命是从。因此他对曾国藩指手画脚，呼来喝去，而所下命令又朝三暮四，令人左右为难。曾国藩在奏折中有过这样的描述：“罗泽南克复广信以后，臣本欲调之折回饶州、都昌，以便与水师会攻湖口。陈启迈则调之防景德镇，又调之保护省城，臣均已曲从之矣。旋又调之西剿义宁，臣方复函允从，而陈启迈忽有调往湖口之信；臣又复函允从，陈启迈忽有仍调往义宁之信。”[21]
对这样一个毫不知兵的巡抚，曾国藩实在无法敷衍，只好拒不从命。这下子惹火了陈启迈，对曾国藩“多方掣肘，动以不肯给饷为词”。曾国藩没办法，只好自己想办法在江西筹饷，这又侵犯了陈启迈的财政权。在他的带领下，江西通省官员与曾国藩针锋相对。曾国藩要对商人抽税，地方官员马上也抽，强分一杯羹。曾国藩要任用一个地方上的绅士，地方官就扣住不放，甚至对敢于接近曾国藩的绅士打击报复。盖有曾国藩关防的捐输执照，不被地方官员承认，说曾国藩“未奉明诏，不应称钦差字样”；又说他“曾经革职，不应专折奏事”；说他“系自请出征，不应支领官饷”，等等，极尽污辱玩弄之能事，大有挤垮曾国藩之势。曾国藩在江西的数年步步荆棘，处处碰壁。曾国藩自己说在江西“事事被人欺侮，故人得而玩易之也”，连与曾国藩积怨很深的王鑫，也不无同情地说：“涤帅遭际若是，直令人急煞。”“涤帅所处真是不易。”
曾国藩忍无可忍，拍案而起，于咸丰五年六月十二日，以陈启迈“劣迹较多，恐误大局”，上奏参劾。陈启迈所作所为确实让人无法为之辩解，咸丰皇帝阅之大怒，立刻将陈启迈革职查办。
然而，接下来发生的事情又重复了湖南的经验，这次参劾不但没有使其他江西官员束手，反而让他们变本加厉。接替陈启迈任江西巡抚的文俊行事一如陈氏，江西官员在他的率领下团结起来处处给曾国藩下绊子、设障碍。甚至曾国藩的兵勇也被人痛骂毒打，遭受侮辱。曾后来在给朋友的信中回忆这段经历说：“江西数载，人人以为诟病。”又形容当时的苦况说：“士饥将困，窘若拘囚，群疑众侮，积泪涨江，以求夺此一关而不可得，何其苦也。”
网友评论