岩井作为日方派驻上海的战略特殊头子，他懂得“将予取之，必先与之”的道理，因而他答应了潘汉年的要求；但是，岩井就像二战中的战略特务那样，遵奉“不见免子不撤鹰”的信条行事，他要求潘汉年先写一份拟在上海搜集情报的大致计划。不久，他收到了潘汉年编织的合乎他的情报日胃的计划之后，遂为潘办了一份由日本驻上海领事馆签发的身份证明文件。上面写着：“凡日本军、宪、警如对持证人有所查问，请先与日本领事联系。”另外，岩井对潘汉年寄予了很大的期望，为了方便潘的情报工作的开展，还以自己的名义在汇中饭店开了一个专门房间供番使用。
潘汉年有了这张“护身符”以及这个特殊的情报点，遂放手地指导、开展上海的情报工作。来自情报网系中各个角落的情报源源不断，又经他亲自挑选，电传给陕北的中央，供中央决策抗日的方针大计作参考。自然，他也必须完成岩井约定的“任务”，定期编出一份精心挑选的“情报”交差。
其次，香港沦陷了，而且是在一夜之间失落在日寇之手，潘汉年设在香港的情报班底几乎无一例外地都滞留在香港，很有可能变成日本侵略军的战俘。一且出现这样的结局，其政治后果是不堪设想的。为此，上级要求潘汉年，必须对滞留在香港的一批情报人员作出新的妥善安排，以保证他们的安全。这时，潘汉年不在香港，而且香港也没有应付这样仓碎之变的交通。当时香港的实际情况是：日本的陆军和海军封锁了香港通往外地的一切通道，连英国人和美国人都乖乖地做了日本的俘虏，被关在日本俘虏营中长达近四年之久！因此，潘汉年完成上级交给的这一任务决非易事。
然而，潘汉年的性格是富有挑战性的，他从不向任何困难让步，更不会在强大的敌人面前低头，况且滞留在香港的情报人员都是他的战友和部属呢！他经过周密的思考，并商请中央有关部门的同意和批准，决定采用古已有之的“以夷制夷”的策略，完成上级交给的这一艰难的重任。接着，潘汉年在袁殊的陪同下来到“岩井机关”，开门见山地对岩井说：
“我们在香港的一批人员现在那里不好活动了，我打算把他们撤出来。一部分转移到大后方去，继续帮助我搜集情报；一部分撤到上海来帮助我搞‘和平运动’。”
岩井听后沉吟片时，认为潘汉年说得不无道理，故微微地点了点头答说：
“可以吧！你打算怎么个撤法？”
“我是没有撤退办法的。今夭前来求见，就是希望您出面帮个忙。”
“请让我考虑一下。”
岩井答说考虑的目的有二：其一，他需要了解潘汉年在香港的属下和日本驻香港领事馆接触的现状；其二，他和日本有关部协商，拿出一个可行的撤退办法。对此，潘汉年是理解的，遂告退。过了几天，岩井通过袁殊约见潘汉年，一见面便说：
“我已经接到驻香港领事馆的电报，说小泉和陈曼云的联系因战事中断了。希望上海方面派人去找陈曼云恢复联系。你可以派人去香港，按你的计划撤退和转移。”
潘汉年听后大喜过望，遂把预先设想好的撤退和转移的方案说出：
“我决定派叶文津去香港找陈曼云办理撤退的事。请你通知香港的日本领事馆给予帮助，以免发生安全问题。”
“可以，”岩井也胸有成竹地答说，“叶文津先生去香港时，可以从驻上海总领事馆拿一封介绍信去香港领事馆接洽。另外，我再派我的助手德田同叶先生一起去协助办理。”
岩井英一作出这种决策是有其政治目的的。其一，他所说的小泉即小泉清一，是他指定在香港和陈曼云进行联络的情报特务。小泉清一和陈曼云失去联络，等于他失去了在香港的一个重要情报来源地。因此，他急需潘汉年帮助恢复联络；其二，他派助手德田赴港协助办理撤退和转移，是为了掌握潘汉年属下的情报人员的去向，设法继续为日本情报部门服务。对此潘汉年将计就计，一是顺利完成撤退和转移任务；再是取得岩井和香港的日本情报部门的信任，使我们的同志埋得更深，以便更好地完成党中央交给的情报任务。对于后者，大导演蔡楚生的夫人陈曼云同志曾回J忆说：香港沦陷之后，当时处境很困难。她曾从小泉那里取钱，又通过小泉买米去接济几位同志的生活；她还通过小泉买船票，送一些同志和民主人士离开香港到内地去；她还经手投资经营一艘机器木船，通过李默农（李少石）转告何香凝、廖承志等乘坐这艘船秘密离开香港。
这足以说明潘汉年这一策略的成功，小泉清一把陈曼云一直当作他们的人而给予认真的帮助。由此，也反映了这场情报战的复杂性和某种神秘性。
话再说回来，潘汉年写了一封亲笔信交给叶文津，请叶到香港后当面交给陈曼云，并转给徐明诚和张唯一，请他们按着信中的办法进行撤退和转移。同时，潘汉年又请刘人寿同志编了一份新的密码，交由叶文津带给陈曼云，供撤退到内地的电台和二海方面联系使用。
叶文津在德田的“陪同”下安抵香港，华南情报局设在香港的情报摊子按照潘汉年的“锦囊妙计”，在日本驻香港的领事馆的掩护下，于1942年三四月间分两批撤离香港。徐明诚、陈曼云、高志昂、简竹坚等撤到了内地；张唯一、王却尘、何积、潘丽华等随叶文津一道撤到了上海。
潘汉年亲自导演的这次撤退和转移，无疑是古今中外情报史上的创举，也是利用情报对手作掩护最为成功的范例吕这次胜利的取得，也集中反映了潘汉年的胆大、心细和智慧。这就是潘汉年战胜敌人的高明之处。
潘汉年深谙情报之道，他清楚地位较高的情报能手，其身份几乎都是多重的；其工作对象也绝不是单向的―经常是双向的或多向的，这是常识问题。也是为历代情报之战―尤其是第二次世界大战中反间谍情报之战所一再证实了的。但是，潘汉年在这方面为我党所建立的功勋，却成了他作为“内奸”的主要依据，真是咄咄怪事！
在这次撤退和转移的过程中，还有一位被人忘却了的功臣―董慧同志。香港沦陷了，她的父母和亲人全都沦为亡国奴，她无时无刻不在为他们担惊受怕。但是，她为营救情报战线上的战友，权且忘记自己的小家。她这位经费保管员不仅把情报经费用在了刀刃上，而且还用自己的积蓄―乃至干董家的私产，接济自香港撤到上海的战友和同志。那时，同志们是何等敬爱董慧这种大公无私的品质啊卫多年之后，这种崇高的品德却变成了罪行，怎么能使人信服呢？
潘汉年成功地完成这次撤退和转移之后，又继续以胡越明的化名深入“岩井机关”，积极开展情报活动的时候，出任“岩井机关”机要秘书的刘人寿同志突然叩开了他的门，当面转达了岩井英一的意见：时任汪伪政权最高顾问的影佐祯昭要求召见“胡越明”。这无疑又给潘汉年出了一道难题……