却说高宗因避金兵，启跸而行，退往临安，方才七日，兀术已分两路入寇。一路自滁和入江东，一路自蕲黄入江西。高宗恐隆祐太后在洪州受惊，又命刘光世移屯江州，作为屏蔽。自己却与吕颐浩渡了钱塘江，逃往越州。
那兀术探得高宗越远，一时追赶不及，不如到江西去，逼迫太后，遂取寿春，下光州，陷黄州，长驱过江，直薄江州。
刘光世自移镇江州，每日置酒高会，绝不处置兵事；等到金兵已临城下，方才知道，哪里还能守御，连忙逃往南康。
金人入城，劫掠一空，遂由大冶进取洪州。滕康、刘钰闻得金兵已到，连忙奉了太后出城。江西制置使王子猷亦弃城遁去。洪抚袁三州，相继失守。
太后行抵吉州，闻得金兵追来，急雇船夜行。次晨至太和县，船家景信见太后带了许多金帛珍宝，不觉眼红起来，便将所有财物，尽行夺去。总算还有良心，没有十分惊扰太后。那护卫都指挥使扬维忠的部兵，也溃散了。
宫女们逃奔的，被劫的，失去了二百名。滕康、刘钰二人也逃得无影无踪。太后身边还有数十人卫兵都很有忠心，仗着他们保了太后和元懿的生母藩贵妃，从万安登陆，行至虔州。哪知土豪陈新，又将城围了。太后又惊惶不小！幸喜杨维忠的部将胡友前来救援，杀退了陈新，太后方才得安。
金人未得太后，又从楚州改道。掠真州，破溧水县，再从马家渡过江，攻下太平。杜充守着江淮，任凭金兵来去，绝不发兵救援。统制岳飞，涕泣入谏，他也不理。到了太平失守，距建康不远，方令副使王裇，都统制陈淬，与岳飞等，邀截金兵。才经交绥，王裇的兵已经逃去。陈淬、岳飞相继突入金兵阵内，陈淬竟至战死。独有岳飞一条枪，一骑马，往来冲突，金人不敢近前，只好让他独逞威风。无如各军溃退，岳飞恐众寡不敌，只得领了部众，杀将出来，择险立营，为自保计。杜充得了败报，即弃了建康，逃至真州，诸将怨恨杜充暴虐，要想将他杀死。杜充闻知，不敢回营，守居长芦寺内；忽然接到兀术的书信，劝他投降，当封以中原，如张邦昌故事。杜充大喜过望！
潜还建康。恰值兀术也到城下，便与守臣陈邦光，户部尚书李棁，开城迎接。兀术入城，全城官员，尽皆降顺，独有通判杨邦又，啮血，大书十字于衣襟，道：’宁作赵氏鬼，不作他邦臣。”金兵牵了来见兀术。兀术敬他忠义，劝他投降。杨邦又大骂不已，方才将他杀死。那高宗往来杭州、越州之间，闻得杜充降金，吓得魂飞天外，魄散九霄，连忙召吕颐浩计议道：“建康已失，如何是好？”颐浩道：“万一危急，莫如航海；敌善乘马，不善乘舟。等他去后，再返两浙，他入我出，他出我入。也算是兵家的奇计呢。”高宗从之，立刻东奔明州。兀术长驱入独松关，见关内外，并无一兵，不禁笑道：“南朝若用羸卒数百把守此关，我们哪里能渡过呢？”当下径抵临安，守臣康允之逃去，钱塘县令朱跸自尽。兀术入城，亟令阿里蒲卢浑领兵渡浙，去追高宗，高宗闻得金兵追来，忙乘楼船，航海而逃。留参知政事范宗尹，御史中丞赵鼎守明州。恰巧张俊从越州到来，也奉诏留守明州。且亲付手诏，有捍敌成功，当加王爵之语。吕颐浩奉请从官以下，行止听便。高宗道：“士大夫当知义理，岂可不随朕同行。否则朕所到之处，将与盗贼一般了。”于是郎官以下，多半随从，还有嫔御吴氏，也改换戎装，扈从而行。
那吴氏世居开封，其父吴近，尝梦至一亭，匾额上有“侍康”二字。亭之两旁，遍植芍药，只放一花，鲜嫣异常，醒来不知主何祥兆。至吴氏既生，年方十四，已是秀外慧中知书识字，且能发弩箭，百不失一。高宗在康邸时，选充下陈，甚获宠幸。吴近也得官武翼郎，方才明白侍康梦兆。至高宗奔波渡江，惟吴氏不离左右；及高宗航海，吴氏本来懂得武艺，便改了戎装，保卫御驾。楼船行过定海县，至昌国县，忽有白鱼跃入御舟。吴氏即称贺道：“此乃周武王白鱼入舟的祥瑞，皇上终当克复中原。临御万方，妾敢预贺。”高宗大悦！面封吴氏为和义郡夫人。未几，越州被陷。警报到来，高宗愈加不敢登陆。此时已是残腊，只得闷坐在船中过年。吴氏见高宗在船内郁郁不乐，惟恐有伤圣躬，知道高宗最喜题诗写字，便每日里吟诗觅句，为高宗消释愁怀。在船内作的诗倒也不少，只因仓猝奔避，都已遗失；只有吴氏尚有两首，为内侍所藏，所以传流下来。一首是题徐熙所画牡丹的，其诗道：吉祥亭下万千枝，看尽将开欲落时；
却是双红深有意，故留春色缓人思。
农李夭桃扫地无，眼明惊见玉盘盂；
扬州省识春风面，看尽群花总不如。
但就这两首诗而论，女子之中有此才华，也就不可多得了。无怪高宗深加宠爱，流离颠沛之中也带在身旁，顷刻不离了。
其时，高宗的御舟，移在温台，过了年，不敢登陆。直至建炎四年正月，得到张俊的捷报，才敢移舟近岸，泊在台州境内的章安镇。过不到十余日，又闻明州被陷，急得高宗惊惶异常！连忙命水手启衆，速向烟波深处躲