当时国务院港澳办公室有一位副主任李后，在他的《回归的历程》书中有一段写到这人：“他个人专断，在许多重大问题上，擅自对外发表意见和采取行动，在组织上怀有浓厚的宗派情绪，培植和安排亲信，排斥和打击不同意见的干部。结果弄得民怨四起，许多在香港工作的干部，纷纷向北京反映对他的意见。”这时中央考虑这人已七十三岁，年龄过线了，就决定调他回来。可当时这人不愿回来，说调他走可能会引起香港股市波动。中央领导人认为他提出的理由非常可笑。这个期间，华新社就公布了任免情况，香港股市一点波动也没有。结果这人就赖着不想走，他说：“不让我在香港，我就在深圳住下来，我还要研究香港的问题。”中央没有同意，说：“南京已经给你搞好房子了，还有车。你愿意到北京住也可以，要回南京也可以。”因为这人是南京来的，所以组织上让他在北京、南京随便选择一个地方做为退休后的居住地方，总之就不要在深圳了，中央不希望这人继续干扰香港那边的工作。