李纲坚决反对黄、汪二人的举动，却无法见到皇帝，也就无法阻止黄、汪二人的举动。
此时，皇帝的后宫出了一件天大的喜事——潘氏生下了一位皇子，赵构正忙于在后宫赏赐侍奉潘氏有功的太监和宫女。
母以子贵，潘氏也一跃成了“贤妃”，在后宫的地位最为尊贵。
五马山寨的义兵久久得不到朝廷的承认，人心渐散，许多头领都在失望中领兵投往他处。
同样，张所的请求也一次次被朝廷拒绝。赵构不仅不愿下亲征诏书，也不准张所向金兵进攻。
李纲眼见朝廷大权被黄潜善、汪伯彦二人控制，无法实现他的抗敌之策，愤而上表辞职，言辞十分激烈。
赵构心中很不高兴，但还是温言挽留了一番。
李纲暂时留在了朝廷，而河北的形势，却发生了不利于大宋的变化，使李纲忧心如焚——刘彦宗率领数万辽国汉人为主力的精兵，冒着炎热，突然向五马山寨发动了攻击。
五马山寨众头领措手不及，仓促应战，连吃败仗。
驻守大名府的张所和驻守汴京的宗泽飞奏朝廷，请求立即发兵增援五马山寨，却得不到朝廷的任何回答。
孤立无援的五马山寨终于被金兵攻破，信王赵榛在乱军中失去踪迹，下落不明。
看到金兵发动了攻击，而宋军偏又按兵不动，李纲等人忍无可忍，连上奏章，痛斥执掌兵权的黄潜善、汪伯彦，并请求皇帝将黄、汪二人赶出朝廷。
但皇帝赵构接到奏章之后，却做出了令无数人感到震惊的决定——大宋建炎元年（公元1127年）八月二十日，高宗皇帝赵构下旨，以“狂诞刚愎”的罪名，罢去李纲，安置鄂州（今湖北武昌），命地方官严加看管。
应天府中军民闻之，俱是激愤不已，自动聚于行宫门前，请求皇帝复任李纲为相。
进士欧阳彻、太学生陈东跪于宫门前，上书言道——
李纲不可罢！
黄、汪二贼不可用！
“南巡”不可行！
赵构见书大怒，竟下旨以“聚众胁逼皇帝”的罪名，将欧阳彻、陈东斩首示众。黄潜善、汪伯彦趁势派出御营司亲军，将宫门前聚集的军民强行驱散，捕杀为首者数十人。应天府顿时笼罩在一片悲观失望的气氛中，许多坚持抗敌的朝臣纷纷辞去官职，退隐山林。
李纲一去，朝中大权尽落于黄潜善、汪伯彦手中。二人对李纲恨之入骨，凡是李纲建议实行的主张，千方百计加以废弃。
河北招抚使司的设立，是李纲全力促成的结果，黄、汪二人视为眼中之钉，必欲除之而后快。
李纲罢相后没过几天，朝廷便下旨正式废去河北招抚使司，同时又以“纵容匪类，滥行封赏”的罪名罢免了张所的官职，将张所远远流配到蛮荒的岭南之地。
对于手握重兵的汴京留守宗泽，黄、汪二人一时不敢下手，却将宗泽阻止皇帝南行的奏折加以扣留，并故意断绝对汴京的粮草接济。
张所被流配，招抚使司被废，王彦、岳飞等人无法在大名府中立足，只得另寻驻兵之地。
在决定寻找驻兵之地的方向时，王彦、岳飞发生了冲突。
王彦主张向南，尽量接近汴京，在黄河与太行山之间寻找一块有利地形，进可攻，退可守，遇到危急之时，还可迅速渡河进入汴京。如此，方能保全招抚使司留下的人马。
岳飞主张向北，与汴京保持相当的距离，吸引金兵的注意力，使金兵无法集中力量攻击汴京。既然大名府无法安身，那么就向更北进军，在真定府、中山府、河间府三处重镇中选择一处驻守，成为抗击金兵南下最直接的堡垒。
王彦认为岳飞的主张太过危险，坚决不同意。
众将领也都主张向南，认为须先求自保，然后才谈得上与金兵决战。
王彦官居都统制，为军中主将，其进军方略又得众人赞同，岳飞只得听令随同众人南下。
对于岳飞的勇敢，王彦十分欣赏，令其率领骑兵当先而行，充作先锋大将。
岳飞一路行着，眼前总是晃动着张所的面容。
张所临行前，召集众将，殷切叮嘱道——大宋之根本，在于中原。欲保中原，河北必固。望诸君努力军事，切勿失去河北之地！
唉！张大人哪里知道，他一手创立的招抚使司兵马正在向南行进，眼看就要离开河北之地了。岳飞心中充满了愧意。
暮色中，渐渐出现了一道长长的城墙。
岳飞知道，眼前便是卫州所属的新乡县城，也就是王彦心中的最佳驻兵之地。
新乡城东南有黄河天堑，西北有太行高山，易守难攻，且离汴京不过百余里，地势极好。