对此，潘汉年的内心是极其不平静的。有时，他觉得自己原属另一条战线上的干部，也不是饶漱石的直接部属，寄住黄花塘新四军军部本是为形势所迫，不得已而为之的。可是当他想到这两年来的生活，他这位自视客身的“外人”也不能不有所而感。就在他接到出席党的七大通知的当天晚上的雨夜中，碎然百感交集，独自对着那盏如豆的孤灯，轻声吟诵着新的诗作《雨夜有感》：
潇潇细雨又黄昏，
独坐寒斋伴孤灯；
冉冉清愁成绮梦，
醒来优是客中身。
潘汉年就要离开淮南根据地了，他再次想到了因“黄花塘事件”被排挤走的陈毅军长，又想起了杨帆无端坐了共产党自己建造的近十个月的监狱，自然也想到了自己只不过为申张正义，说了一个共产党员应该说的话，做了一个共产党员应该做的事情，却落得个如此的下场，真是不胜烯嘘！他由此再回想起当年在立三路线、王明路线下受迫害―乃至于为此献出宝贵生命的同志，一个由来已久的问号在脑海屏幕上再次出现：“相煎何太急？”但是，善良的潘汉年终生没把这个问号拉直变成惊叹号―寻找到真正相煎的根由。他行前把写给杨帆的那首《忆狱中某生》七言绝句抄给杨帆，既算作临别蹭语，也算是自己内心的真实写照：
细雨寒风忆楚囚，
相煎何必数恩仇。
无权拆狱空叹忽，
咫尺天涯几许愁。
潘汉年赴延安参加党的七大的消息很快传开了，那些为陈毅同志鸣不平―或政治上受到饶漱石打击的高级干部，很想向延安的党中央反映情况，而最可靠的传信人就是潘汉年同志。对此，李一氓同志作了如下记述：
那时饶漱石颇不安份，总怨挤走陈毅同志，并且挑拨部分糊涂干部反对陈老总。但大部分同志都不赞成饶漱石的做法，拥护陈毅。这些同志后来迫不得已向中央写了一个报告，反对饶漱石，支持陈毅。汉年同志在上海工作，与华东局和军部内部没有直接的关系，但也卷入这个斗争，支持华东局和军部广大干部的正确意见。这个给中央的报告，就是汉年同志受这些同志的委托从军部带列延安转到中央手中的。可见他在党内斗争中也是是昨分明的，有原则的，并且勇于支持正确的一方面。
潘汉年按照组织的要求，于1944年初冬的一天离开淮南，“在交通员的护送下乘津浦线火车到了北平。按照上级通知的约定，潘汉年到北平后住进一家旅馆，等候由晋察冀根据地派出的交通员到这家旅馆接头联系，由他再带领潘经由晋察冀根据地转赴延安。不料潘汉年在旅馆一连等了十多天，仍不见晋察冀派来的交通员联络，心里不免着急起来……时间久了，他担心会出危险……在这种情况下，为安全起见，潘汉年只得采取转移措施。他给一个社会关系留下一封信，然后便乘车南下上海。”
潘汉年回到久违的上海，这里曾是他战斗多年的地方。这儿不仅有和他并肩战斗的战友和部属，还住着元配夫人许玉文和心爱的董慧。他的内心是相当不平静的1“他立即找到情报系统的电台，给华中局发电，说明他在北平未能接上关系，不得已暂时返回上海，在这里继续等待华中局重新安排交通线路，再赴延安。”
潘汉年办完公事之后，遂又想起了落脚的地方。从严格意义上讲．潘汉年在上海有三个家：一是属于许玉文看守的自己的家；二是我党设在上海的情报系统……属于他工作战斗的家；三是属于董慧在上海居住的家。他希望自己去属于董慧的那个家去居住，因为他实在是想念睽违多时的心爱的董慧一一而且他深信董慧也同样地思念着他。但是，当他决定动身去属于董慧的那个家的时候，许玉文的形象又闪现在他的眼前。他很不情愿地……却又是近似本能地强迫自己改变了路线，……分沉重而又痛苦地向着属于许玉文看守的自己的家走去。
潘汉年敢于和一切剥削阶级决裂，他却没有勇气和旧的伦理道德分手。有时，他还被这其中某些落后的精神枷锁束缚着自己的手脚，痛苦地做这些属于传统文化范畴的封建习俗的殉道者。他不爱原配夫人许玉文，可他事母至孝，不愿―或曰不敢因此而获罪于给他选择了许玉文为妻的母亲。加之许玉文受着“嫁鸡随鸡，嫁狗随狗”的习俗的影响，决计从一而终。他只好选择这种社会风尚所不允许的―自己的良心也受着谴责的“婚外恋”生活。昔日，他为了慰藉向封建习俗投降了的所谓良心，不惜让心爱的董慧关照许玉文的生活！今天，他同样为了慰藉向封建习俗投降了的所谓良心，悖逆于自己的意愿，强迫自己的双脚改变了去属于董慧那个家的方向卫
潘汉年痛苦地走到了属于许玉文看守的自己的家的门外，一阵哇哇啼哭的孩子声由门内飞出，惊得他着实地吃了一惊。他下意识地抬起头，看了看他非常熟悉的大门，暗自说：“没错，是自己的家。”可是当他再一听孩子的啼哭声，又禁不住地自问：“哪儿来的孩子呢？是家乡来了亲戚？还是许玉文搬了家？……”
然而潘汉年万万不曾想到，这孩子是许玉文生的，是属于她和她的堂姐夫的。
许玉文虽然属于那种很有教养的家庭妇女，可她毕竟也是一位具有七情六欲的女人，她具有一切女人所具有的一切本能的属性：需要有一个相依相偎的丈夫，需要得到她应得到的爱抚。常年以来，她和潘汉年的爱情生活、婚姻关系形同虚设，过着最不人道的守活寡的日子，其精神所受到的长期折磨是自不待言的。她受教于封建的家庭，所谓女人所格守的“贞节观”是相当顽固的。每当潘汉年提出离婚，她是绝对不会答应的。随着日月无情的流逝，她的豆寇年华也悄然逝去，其灵魂深处所受的刺激，也是为一般人所难以理解的！
人的习性是会随着环境改变的。许玉文自然也不例外。潘汉年离她远去了，把她一个人抛在上海这个花花世界中，各种红男绿女都会对她产生影响；就说左邻右舍和睦的家庭生活，乃至于里弄深处的夫妻恩爱，也都是她所渴望而又所得不到的。她唯有长夜伴灯守空室，凄凉在心自相知！长期以往，她能做到甘忍清苦而无所为吗？如果后人也要求许玉文为潘汉年守节，那真是太不公道！
结了婚的女人，最怕自己的男人有外遇。许玉文作为一名难以自食其力的家庭妇女，更是担心潘汉年有新欢。而她这种担心又早已成了现实！俗话说得好：没有不透风的墙。许玉文隐约地听到了潘汉年和董慧的一些事情，并依靠做妻子的特有的敏感，完全证实了这些传言就是事实。这对她的打击实在是太大了！在这种事情的面前，女性有三种抉择：其一是离婚；其二是忍受；其三是报复。而许玉文痛苦到了极点以后，她选择了报复。于是，她用自己的双手，把格守的传统礼俗的精神枷锁打得粉碎，遂和她的堂姐夫发生了暖昧关系，并公开为她的堂姐夫生下了一个男孩。
潘汉年获悉这一情况之后，他并没有感到自己是一种精神上求之不得的解脱。相反，他感到作为男人失了应有的自尊。他一句话也不曾说，当即拿起属于他的财产和衣服，愤然地离去了。只有当他叩开董慧的房门，见到心爱的董慧的时候，他才说了这样一句话：
“我们再也不分离了！……”
从此，潘汉年再也没过问这位许玉文。
但是，许玉文却一直记住潘汉年是一位革命者，为人民立了功勋。就是在潘汉年被捕下狱，全国掀起揭发、批判潘汉年反党罪行的时候，她不仅没有落井下石，而且对外调她的公安人员说了这样一段话：
“老潘做了这许多年革命工作，做错些事是难免的，哪里能算反革命。他做情报工作本来容易得罪人。共产党样样都好，只是反脸无情，没有调查清，便大张旗鼓不惜牺牲人，而且多年老同志也不在乎。”
对此，史家曾发出了如下的感叹：“1955年夏天，在上海揭发声讨‘反革命分子潘汉年’的大浪潮中，是没有第二个人敢说出这徉的话的。翻遍当年汇集起来几乎所有的群众揭发和反映的材料，也只有这唯一的一件材料上有这样的一段公道话。”
事后追论：那些昧着良心揭发·－一甚至伪造潘汉年所谓罪行的人，不知看了许玉文这样一位普通妇女的话后，将会有何感想？推而广之，再想想揭批革命元勋刘少奇、彭德怀的历史，不就更值得中国人民深思了吗？
话再说回来，潘汉年在董慧处没有过几天，“华中局就派情报部副部长徐雪寒到上海来找潘汉年。原来中央已有电报给华中局询问：说晋察冀的交通员到北平的那家旅馆没有找到潘汉年，很不放心。华中局获悉潘汉年已回卜海，便立即让徐雪寒到上海，通知潘汉年跟新派的交通员，经另外的路线，直接去延安。”
潘汉年又要告别上海，踏几奔赴延安的征程。行前，他对董慧说道：
“慧，你离开延安已经六年多了，一定很想念延安吧？”
董慧并不知道潘汉年问这些话的本意，她只是深情地点了点头。
“你想去延安吗？”
“想，做梦都在想。”
“那就和我一道去延安。”
“真的？”
潘汉年微笑着点了点头。
董慧激动地投入了潘汉年的怀抱中，遂淌下了无比兴奋的热泪……