各地军民纷纷赶往前线，冯子材见战机成熟，下达了总攻命令。清军、黑旗军从各个山头、各处长壕、隘口冲出，潮水般地向法军阵地冲去。苏元春命令将山岭上的炮弹全部打到法军的阵地，法军阵地到处起火，硝烟弥漫。趁着烟雾，清军杀进法军阵地。尼格里拼死抵抗，双方展开了白刃战。清军人多，很快法国人便招架不住了。
尼格里急得团团转，这时候，一个法国士兵前来报告，说王德榜从油隘杀出，抄了后路，正大举进攻文渊城，运到半路的粮草、弹药均被王德榜夺去。
尼格里大惊失色，心想丢了文渊城，士兵吃什么喝什么？马上传令退兵。
清军乘胜追击，走到驱骡，双方再战，冯子材、王德榜、苏元春率军奋战，无数战士跟着他们向前冲杀，湘军士气高昂，气势如虹。
尼格里退至文渊城，清点人数，又死伤二百五十八人，他害怕湘军来攻，连夜撤出文渊，准备退守谅山。
三天以后，冯子材采用明修栈道、暗度陈仓的战术，自己率军在正面攻击，暗中令刘永福率领黑旗军从小道突袭。法军没有想到中国人会有此一招，落败而逃。尼格里手提短枪，阵前指挥，一颗流弹飞来，将胸前勋章击得粉碎。尼格里受伤，在随从的拼死保护下，杀开了一条血路，逃出谅山战场。
此战，法国士兵在谅山丢下了三百多具尸体。
尼格里心惊胆战，将军事指挥权交给143团团长爱尔明中校，自己逃往河内。爱尔明中校躲在谅山军事要塞里面不敢出来。冯子材一鼓作气，拿下了文渊城，只留一营人马看守，大军迅速出城，分两路包围谅山。周围老百姓知道清军前来攻打谅山，都来助战，他们将粮草弹药等物资源源不断地送到前线。
爱尔明中校待尼格里走后，害怕被敌人围歼，弃守谅山，逃往一百五十里以外的屯梅。尼格里知道以后大骂：“敌人还没有攻打谅山，不战而逃，是何道理？”
爱尔明也不争辩，保命要紧。
谅山之战，打出了中国人的威风，王德榜、苏元春功不可没，尤其是七十岁的冯子材威名远扬，这就是有名的“镇南关大捷”。
在西线，刘永福在临洮也大败法军，准备进攻北宁、河内。越南军民群起响应，他们在西贡做好了准备，准备里应外合将法军赶出越南。
黄遵宪闻之，深受鼓舞，作诗《冯将军歌》，来赞美冯子材：
冯将军，英名天下闻。
将军少小能杀贼，一出旌旗云变色。
江南十载战功高，黄褂色映花翎飘。
中原**清更无事，每日摩挲腰下刀。
何物岛夷横割地，更索黄金要岁币。
北门管钥赖将军，虎节重臣亲拜疏。
将军剑光方出匣，将军谤书忽盈箧。
将军鲁莽不好谋，小敌虽勇大敌怯。
将军气涌高于山，看我长驱出玉关。
平生蓄养敢死士，不斩楼兰今不还。
手执蛇矛长丈八，谈笑欲吸匈奴血。
左右横排断后刀，有进无退退则杀。
奋梃大呼从如云，同拼一死随将军。
将军报国期死君，我辈忍孤将军恩！
将军威严若天神，将军有令敢不遵。
负将军者诛及身，将军一叱人马惊。
从而往者五千人，五千人马排墙进。
绵绵延延相击应，轰雷巨炮欲发声。
既戟交胸刀在颈，敌军披靡鼓声死。
万头窜窜纷如蚁，十**十决无当前。
一日横驰三百里，吁嗟乎！
马江一败军心慑，龙州拓地贼氛压。
闪闪龙旗天上翻，道咸以来无此捷。