1861年6月，曾国藩在湘军中组成了以黄翼升为统领的淮扬水师九营后，编练陆营淮勇的计划，便被提上议程。
招募淮勇是曾国藩心中酝酿已久的大事。1859年初的招募皖北马队可以称为发轫之举；此后，在1860年8月议办淮扬水师时，曾国藩又接受胡林翼的建议，准备建立陆营以辅弼水师。
在李鸿章正式招募淮勇前，湘军系统已有三营“淮勇”，这三营分别为：一是马从震的震字营，马从震为桐城团练头目马三俊之子，其父1854年被太平军所杀，他于1860年3月到宿松投奔曾国藩，曾令其招募一营，号为淮勇，移师祁门后驻守榉根岭，不久即拨归左宗棠部入浙作战。二是张遇春的春字营，张为李鸿章旧部，1860年应李之召来祁门。三是李元济的济字营，李元济为1858年投降的皖南太平军将领，其部先作为团练随杨载福（岳斌）在建德一带作战，1860年7月由曾国藩选取500人，编为济字营。李鸿章募勇开始，曾国藩即将春、济两营拨归其统辖。
1861年12月，曾国藩基于同样的考虑，让李鸿章招募淮勇，组建援沪之师。李鸿章受命之后，考虑到“徒党星散”，“立时募练”困难重重，而庐州一带旧有团练较为强悍，自己对当地人情也较为熟悉，所以决定罗致并改编庐州一带旧有团练，组建淮军。于是坐镇安庆，征召庐州一带旧有团练。
曾、李决定“创立淮勇新军”后，李鸿章特邀张树声前来面商一切。张树声不仅自己募勇相从，而且还左提右携，动员刘铭传等“各建旗鼓”。由于曾、李决定招募淮勇和庐州旧有团练，双方一拍即合，使得李鸿章招募淮勇十分顺利，多次在舒庐一带旧有团练中进行改编，而加以部勒营哨，即成新军。因而仅仅两月之间，李鸿章就成军数营。
李鸿章所部淮勇到安庆后，曾国藩“为定营伍之法、器械之用、薪粮之数，悉仿湘勇章程，亦用楚军营规以训练之”。2月22日，李鸿章移驻安庆北门城外营内，曾国藩亲临祝贺。李鸿章深知淮勇实力单薄，于是恳请曾国藩调拨数营湘勇，以加强战力。曾国藩为陶铸淮勇风气，因而允其所请，陆续调拨湘勇八营，拨归淮军，作“赠嫁之资”。所有这些，就是淮军初创时期的基干队伍，共计十三营，6500人。3月4日，李鸿章陪同曾国藩检阅铭、鼎、树、庆和曾国藩调拨给李鸿章的程学启（太平军叛将，后投靠湘军）、滕嗣林等营，这标志着淮军正式的基本骨干，当以李鸿章所率援沪的陆师十三营为主，此为淮军之根本。然而淮军援沪的陆师十三营，并非李鸿章一手组成。首先，亲兵营两个营就并非是李鸿章的亲兵，而是湘军统帅、两江总督曾国藩的标亲兵为韩正国所统带，其源于湘军。其次，开字营系借自曾国荃的，为程学启所统带，本身也是湘军，只是营中多为两淮子弟而已。再次，林字营二营，为滕嗣林、腾嗣武统带，虽非湘军，却系薛焕在湖南招募湘人而成。复次，熊字营，该营为陈飞熊统带，垣字营为马先槐统带，均系曾国藩在湖南所新招，后随同李鸿章援沪。
淮军建成后，就成了曾国藩势力的另一条腿，很快加入了镇压太平天国起义的行列。
并且，淮军的武器装备是晚清各支军队中，变化最大、最迅速的一支。淮军在1864年前后完成了第一次装备更新，尽弃冷器，实现了火器化。到19世纪80年代初又陆续完成了用后膛枪替代前膛枪的更新，而此时的湘军和练军仍保留着相当比例的冷兵器。到90年代初，淮军又开始了以连发枪取代单发枪的再次更新，在晚清，淮军始终以其装备最新最好而位居各军之首。
淮军是按照曾国藩湘军模式一手编练起来的，在其衣钵传人李鸿章的统帅下，通过镇压太平军，与列强侵华工具常胜军既勾结又争夺，直至最终取代常胜军，成为能够任他调遣的另一支武装力量，可以说基本上实现了曾国藩“两条腿走路”的战略意图。
后来，在湘军攻陷天京之后，长期浮沉宦海的曾国藩鉴于“自古握兵柄而兼窃利权者，无一不凶于国而害于家”的惨痛教训，决定裁湘留淮时，尽管曾李之间也有矛盾和分歧，但淮军仍成为“以济湘勇之穷”的一支后备力量。曾、李能够在晚清急剧动**的社会中站稳脚跟，完全靠的是有一支听命于己的军队。
分辨清楚主次、轻重和缓急
主次分明，轻重缓急，永远是做事的原则。你要获取成功性格，不可能全面开花，只要从一个方面突破，就可以大有收获。因此曾国藩在谈自己获取成功性格的感受时曰：“抓住关键，收纲举目张之效。”
咸丰九年（1859），太平军与湘军已几决雌雄，各有胜负。然而太平军还控制着南京及其与南京相关的长江上游安徽等重要市镇。如何把握下一步战局的有利发展，是对曾国藩的一个重大考验。曾国藩以为，凡事必抓关键，而这个时期的关键就是要夺取安徽的重要据点。
攻克武昌后，曾国藩留驻武昌，与胡林翼商定了进兵安徽的计划，然后按照李鸿章所讲之策，向咸丰帝上奏了进兵的折本。折本内容强调进兵安徽的重大军事意义，他说：金陵之所以久攻不下，赖于陈玉成经营的安徽。陈玉成开辟并护守住金陵与安徽的通道，以安徽为金陵的后方，并在三河、浦口、庐州迭挫清军。所以，要想攻破金陵，必先驻重兵于滁（州）、和（州），阻住金陵与安徽的通途、割断芜湖的粮道，金陵则不攻自危。而要想把重兵驻到滁、和，就得围攻陈玉成的驻军之地安庆，兼攻安徽的首府庐州，迫使陈玉成进行决战。消灭了陈玉成的安徽军队，攻陷安庆、庐州，攻克金陵就没有大问题了。曾国藩采纳了李鸿章的这个策略，自然是切中要害的，当时太平军的战略要地的确在于天京与安徽之间的相互毗连，在于陈玉成往返天京与安徽，以滁、和、安庆为屏蔽，不断打击湘军与胜保等部的进犯，才保住天京的安全不动摇。曾国藩把进兵安徽，攻陷安庆当作打败太平军的中心战略，到底让他抓到了太平天国的生死关键了。
咸丰九年九月（1859年9月末），曾、胡商定了三路进兵计划：都兴阿、多隆阿、鲍超、杨载福沿江东进，围攻安庆为第一路；曾国藩攻太湖、潜山、桐城为第二路；胡林翼取道英山、舒城、六安为第三路。咸丰帝听了别人的建议，害怕湘军会把安徽的太平军逼向淮北，令曾、胡改变战略计划，而曾、胡并未接受，曾国藩反而亲领围攻安庆的第一路军，第二路军调多隆阿、鲍超担任。当各路人马会齐，便发起对太湖的进攻，打响了湘军反攻安徽的第一仗。
湘军入皖早为太平军所注目。当战争在太湖发生后，陈玉成于咸丰九年十二月（1860年1月）率水军增援太湖，扎营七十余座，包围进攻太湖的湘军。胡林翼闻讯也迅速由黄州进驻英山，并向曾国藩告急，建议集中兵力打击陈玉成的援军。曾国藩同意了胡林翼的建议，但并不放弃进攻安庆的计划，提出让李续宜、曾国荃增援太湖。李、曾二支人马尚远在湖南和江西，无法马上应援。因此，进攻太湖和阻击陈玉成的援军，仍旧只有多隆阿、鲍超率领的第二军，另有曾国藩派去的朱品隆、李榕的少量湘军。
胡林翼知道太湖的这一仗是关系重大的战役，必须有正确的指挥，于是让多隆阿担任太湖战役的总指挥。多隆阿是满洲正白旗人，福州副都统。曾参加堵击太平军北伐军的战役，作战勇敢，强悍而又傲慢，对汉官、汉军尤为轻视。这次会攻安徽，曾国藩虽是统帅，但他却不把曾国藩放在眼里。正因为如此，多隆阿担任进攻太湖诸军的总统，湘军诸将也不乐意配合。
第二路军的主要将领之一是鲍超。鲍超在太湖之战中发挥了关键作用，他也因此名声大震。鲍超，四川奉节人，字春霆。是湘军中的一个传奇人物，其父为绿营士兵，在鲍超幼年时即战死军中，其母亦丧。十余岁时到四川峨眉山清虚观为道士打柴挑水，他为人爽直、做事卖力，深得道长喜爱。在清虚观几年，竟学来了道长的真传武功。道长欲留他在观里，但鲍超却要凭着自己的一身本事干出轰轰烈烈的事业来，到了成年后便下山投了清军。时太平天国在广西起义，鲍超被发往广西，选入向荣的亲兵营。永安一战，他身负重伤，留在了广西，与姓韦的女子结了婚。伤好之后，他领着妻子到湖南追随向荣，结果没有追上向荣，却遇上曾国藩招兵。当时，鲍超身无分文，携着妻子走投无路，几乎走上自杀的绝途中。曾国藩试了他的武功和谈吐，知此人未识一字，却有一身莽力和武艺，乃留下他做了湘勇的一名教练。后入塔齐布营，数战之后，以勇悍闻于湘军。后编练湘军水师，曾国藩让他做了水师哨官，是杨载福长江水师的前锋船。参加了洞庭、岳州、金口、武昌、田家镇等战役。每战皆立功，破田家镇拦江大锁，他的功劳尤大。战后，被提拔为营官。
曾国藩家居期间，鲍超留湖北，属胡林翼。多次战斗，战功卓著，胡林翼对他十分器重，认为“布衣知己，尝以弟呼之”。并改鲍超所部水师为陆师，招长沙勇3000，号“霆军”，转战安徽、湖北等地，屡与陈玉成及捻军作战，在农民起义军的心目中，他是一个最为凶恶的强敌。这次参加会攻安徽，他以参将衔为第二路军主要将领，率众六千余人。
陈玉成领兵援太湖，鲍超主动要求打援。多隆阿让他率本部人马到太湖东北的小池驿驻扎，阻止陈玉成进兵太湖。仗打起来后，鲍超抵挡了陈玉成的全部援军，战斗进行得异常残酷。他离诸军距离很远，成了一支最孤立、最突出的挨打部队。他屡向多隆阿要求增援，多皆置之不问。结果，他的部队死伤过半，被陈玉成团团包围。
鲍超坚忍不拔，在包围圈里往往率队主动出击，使陈玉成的数万军队一时战不胜他。一次夜间，他乘太平军连日围攻疲惫之时，率军摸进敌营，发起突袭。太平军在睡梦中突遭袭击，不知是何军杀来，几被其击溃。幸赖陈玉成挥军迎战，才免于溃败。
鲍超坚守二十余日，直至胡林翼派金国琛、余际昌率领万余援军赶到，鲍超率军从堡垒中尽数杀出，里应外合，打败了陈玉成的数万军队。陈军的大批粮草、储备被夺被焚，败走天京。湘军趁势夺占太湖，近围安庆。
由于鲍超的苦战，阻住了陈玉成的大军，使太湖一战取得胜利。战后，鲍超及其“霆军”声名大振。咸丰闻报，加封提督衔，并赏假回籍养伤、省亲。待他假满之后，曾国藩、胡林翼令其募勇万余人统带，成为湘军中最主要的一支大部队。
这时，曾国荃、李续宜也率军由湖南赶来，曾国藩、胡林翼再次部署兵力：曾国藩围攻安庆，攻夺城池；多隆阿主攻桐城，同时狙击太平军对安庆的援军；李续宜驻军桐城与潜山之间的青草塥，策应各路军，是围攻安庆的一支机动部队。从此，安庆被湘军和湖北军紧紧包围，内外联系中断，直至咸丰十一年（1861）被攻陷为止，一直处于敌人包围的困境中。
曾国荃一军在安庆到底还能否坚持下去？会不会攻安庆不克而反被太平军吃掉？很多人发出了这样的疑问。有的人提出要先求稳后求胜，宁可将曾国荃一军先从安庆城外撤走。连胡林翼也一度失去信心，对于继续围攻安庆发生了动摇。
曾国藩感到从各个方面来的压力。他在给友人的信中写道：自今春以来，艰难万状，逆党之救援安庆，其取势乃在千里之外。江西被陷一府五县，湖北被陷二府十一县，皆所以牵制湘军之势，解安庆之围。论者多思撤皖围之兵，回顾湖北腹地。又有人主张弃皖南之防退保江西。鄙意皖围万不可撤，否则江北之贼将一意上犯湖北，皖南之贼将全力进攻江西。所以，他始终坚持要继续围攻安庆，认为能否攻克安庆才是一切问题的关键，其他的都可以放到相对次要的位置上进行考虑。他说：纵使武昌有疏失，安庆之围仍不能退。因为贼纵有破鄂之势，断无守鄂之力，武昌纵失尚可复得，而安庆一旦弛围，将不可复得。无论武汉幸而保全，贼必以全力攻扑安庆围师，即使武汉失守，陈玉成亦必是以小支驻守，而以大部队回扑安庆，甚至弃鄂而不顾。去年李秀成等弃浙江而回攻江南大营，曾经得手，现在陈玉成必定又是故伎重演。因此，无论武汉能否保住，总以陈玉成回扑安庆时，湘军能否守住壕垒，以定乾坤之能转不能转。安庆之壕墙能守，则武汉即使失守，也可由李续宜等重新收回，这样乾坤必有转机。安庆之壕垒不能守，即使武汉保全，贼势亦必复昌，则是乾坤没有转机。
他还特别对曾国荃说，安庆之得失，是关系曾家气运的一大关键，也是关系大清王朝安危的一大关键。他要求曾国荃在安庆无论遇到什么险恶情况，一定要设法坚守起码5天的时间，在5天之内，他一定会派援军前来救援的。
曾国藩所说的援军，主要是指他从皖南抽调出来的鲍超一军。还有胡林翼从太湖大营和鄂皖边界地区抽调的成大吉部湘军近万人。
把围攻安庆作为当时战事的关键来抓，可以说是曾国藩看得准、有眼力，把握问题实质的能力强，而顶住各方面压力，克服极端的艰难险阻，坚持安庆之围不撤，则更体现了曾国藩在关键问题上的主见性、不妥协性以及那种战胜险恶的坚韧精神。
坐下来，看一看，周围究竟有什么
人生中总有迫不得已的时候，该怎么办呢？大凡人在初创崛起之时，不可无勇，不可以求平、求稳，而在成功得势的时候才可以求淡、求平、求退。这也是人生进退的一种成功哲学。
其实，早在安庆战役后，曾国藩部将即有劝进之说，而胡林翼、左宗棠都属于劝进派。劝进最力的是王运、郭嵩焘、李元度。当安庆攻克后，湘军将领欲以盛筵相贺，但曾国藩不许，只准各贺一联，于是李元度第一个撰成，其联为“王侯无种，帝王有真”。曾国藩见后立即将其撕毁，并斥责了李元度。在《曾国藩日记》中也有多处戒勉李元度慎审的记载，虽不明记，但大体也是这件事。曾国藩死后，李元度曾哭之，并赋诗一首，其中有“雷霆与雨露，一例是春风”句，潜台词仍是这件事。
李元度联被斥，其他将领所拟也没有一联合曾意，其后“曾门四子”之一的张裕钊来安庆，以一联呈曾，联说：天子预开麟阁待；
相公新破蔡州还。曾国藩一见此联，极为赞赏，即命传示诸将佐。但有人认为“麟”字对“蔡”字不工整，曾国藩却勃然大怒说：“你们只知拉我上草案树（湖南土话，湘人俗称荆棘为草案树），以取功名，图富贵，而不读书求实用。麟对蔡，以灵对灵，还要如何工整？”蔡者为大龟，与麟同属四灵，对仗当然工整。
还有传说，曾国藩寿诞，胡林翼送曾国藩一联，联说：用霹雳手段；
显菩萨心肠！曾国藩最初对胡联大为赞赏，但胡告别时，又遗一小条在桌几上，赫然有：“东南半壁无主，我公其有意乎？”曾国藩见之，惶恐无言，将纸条悄悄地撕个粉碎。
左宗棠也曾有一联，用鹤顶格题神鼎山，联说：神所凭依，将在德矣；
鼎之轻重，似可问焉！左宗棠写好这一联后，便派专差送给胡林翼，并请代转曾国藩，胡林翼读到“似可问焉”四个字后，心中明白，乃一字不改，加封转给了曾国藩。曾阅后，乃将下联的“似”字用笔改为“未”字，又原封退还胡。胡见到曾的修改，乃在笺末大批八个字：“一似一未，我何词费！”曾国藩改了左宗棠下联的一个字，其含意就完全变了，成了“鼎之轻重，未可问焉”！所以胡林翼有“我何词费”的叹气。一问一答，一取一拒。
曾国藩的门生彭玉麟，在他署理安徽巡抚、力克安庆后，曾遣人往迎曾国藩。在曾国藩所乘的坐船犹未登岸之时，彭玉麟便遣一名心腹差弁，将一封口严密的信送上船来，于是曾国藩便拿着信来到了后舱。但展开信后，见信上并无上下称谓，只有彭玉麟亲笔所写的十二个字：东南半壁无主，老师岂有意乎？这时后舱里只有曾国藩的亲信倪人皑，他也看到了这“大逆不道”的十二个字，同时见曾国藩面色立变，并急不择言地说：
“不成话，不成话！雪琴（彭玉麟的字）他还如此试我。可恶可恶！”