“是何道理？”
“下官以为，吴曦回蜀典军，危及社稷。”
“陈腐之说！”韩侂胄生气了，“吴氏捍蜀六十余载，危及社稷了么？”
“太傅休得恼怒，容下官细禀。吴氏三公，献身边地，功莫大焉，可吴曦就不同了。他十六岁离开兴州，二十余年来羁泊江南，回蜀成了他最大的心愿。一旦其志得逞，既不会感恩太傅，也不会感恩朝廷。心无感恩之念，远离京师统帅大军，社稷岂不危殆？”
韩侂胄冷冷道：“你这是凭空臆测！”
“不，”何澹摇头，“这并非凭空臆测。太傅请想，一个人迫以某种情势羁绊异乡二十余载，感恩之心从何而来？”
韩侂胄怔了一下。
何澹继续道：“更何况，吴曦不吝钱财，广交大臣，对朝中权贵动辄巨资，据下官推测，其间必定包藏祸心……”
“好啦！”韩侂胄气呼呼地打断何澹的话头，“自家也曾受过馈礼，在枢密眼中，莫非也与吴曦沆瀣一气不成？”
仿佛迎头一棒，何澹一张脸瞬间变得苍白。未等他反应过来，韩侂胄厉喝一声：“周筠，送客！”
后来，何澹都记不清是怎样走出南园的。这是八月，临安的八月秋高气爽。而当何澹走出南园大门后，只觉浑身已然湿透。回到家，没想谢深甫正在客厅候着。自从来到京城，这是谢深甫第一次光临何澹的府第，他颇觉意外。
“谢相公来了？！”何澹强打起精神，“下官不曾迓迎，失礼，失礼。”
谢深甫属于传统的儒学派官员，既不认可理学派的标新立异，也不赞同反理学派的大张讨伐。在他看来，儒学与理学本为一体，用不着生死对立。
婢女上茶毕，何澹道：“谢相公莅临寒舍，有何见教？”
谢深甫端起茶盅，轻啜一口，缓缓放下道：“何枢密去了南园？”
何澹想了想，点头道：“正是。”
“太傅可是恼怒得很？”
何澹复又点了点头。
谢深甫缓缓道：“今日内廷召对，说是与宰执商议，实则圣意已决。下官斗胆猜度，是太傅力主吴曦回蜀。”
何澹没有答话，很多圣断来自南园，这是不争的事实。
“不知何枢密是否已附议太傅？”谢深甫看着何澹。
“不，”何澹坚决地摇了摇头，“下官世受国恩，忝为枢臣，日夜当思报效，岂能在大是大非面前袖手旁观？”
须臾，谢深甫起身告辞。
何澹送出门外，谢深甫上轿之前回过头说一句话，声音有些喑哑：“枢密保重。”
何澹是何等人物，对于谢深甫的到来已经明白十之八九。至晚，何澹将长子何处仁与季子何处智叫进书房。何澹有三子，长子何处仁为司农少卿；次子何处礼为温州通判。因何处礼在温州任上，府中只有长子何处仁与季子何处智。何澹将今日圣上召对以及韩侂胄的召见讲述一遍，为了不让两个儿子的心理压力太大，他竭力保持着平静与淡然，同时也省略了一些细节。尽管如此，两个儿子听完父亲讲述，仍然神情大变。
“爹爹是否担心圣上会因此降罪？”长子何处仁毕竟年近四旬，出仕多年，很快便镇定下来。
何处智道：“即便圣上不降罪，韩侂胄也不会放过爹爹。”
“我将你们二人叫来，就是让你们心里有个准备。”何澹顿了一顿，“你们的妈妈身子不好，我担心她若是知晓，会受到惊吓。”
“相公莫要为奴家担心。”何澹和两个儿子急忙回头，原是何澹娘子朱氏。何澹官升知枢密院事后，朱氏被敕封为了福国夫人，“相公的事奴家方才已经知道了。相公身为执政，言行当以国家为重。有违圣意，冲撞太傅，那是职责所为。”她手指两个儿子接着道，“你们饱读圣贤之书，若爹爹受挫，休要指责。”
何处仁、何处智齐声答道：“儿子谨遵母命。”
朱氏又问何澹：“相公将如何应对？”
何澹回道：“与其夺职，不如上章请辞的好。”
朱氏摇头道：“依奴家看来相公莫要狷急，且看朝廷如何措置。”
赵扩对何澹的处理是宫祠，却遭到了谢深甫的坚决反对，理由是何澹身为宰执，主管兵事，有权表达自己的意见。最后，朝廷只得罢免何澹知枢密院事一职，以资政殿学士身份出知福州。
就在何澹离开京城的第二天，谢深甫也向赵扩递上了辞呈。无论赵扩怎样挽留，谢深甫坚决求去。
公元1201年八月末的一个黎明，一支船队悄悄驶出了临安。没有人饯行送别，甚至没有人驻足围观。对于生长在临安城里的百姓来说，像这样的船队进出京城是常有的事情。按照吴曦的意思，离开临安之前要热热闹闹地排宴一回，被娘子安氏否决了：“能走已是不易，迟走莫如早走。”
吴曦会意道：“早走莫如悄悄地走。”
安氏闻言，轻轻一笑。
此次吴曦回川，新任职事为利州西路安抚使、兴州御前诸军都统制兼知兴州。