李岘在陇右期间，金军已经完全占领了不设防和杭州和越州等地，完颜宗弼在听到康王赵构乘船逃往海上的消息后，也搜集了一百多艘战船，一路追往明州。
可是茫茫大海，哪里能寻得到赵构一行人的踪影，宗弼在舟山群岛转了一圈，才知道大海之辽阔，绝不似辽东与登州之间的渤海湾，这才放弃了在海岛上的搜寻，悻悻返回了杭州。
金人行军打仗，还保留着草原民族的传统，从来都是不带补给，以战养战。为了维持后勤，金军纵掠各地，结果遭致江南各地民众自发的强烈抵抗，这些民军居然比宋国的正规军还要厉害，金军派往各地抢劫的小股金军经常是会被全军消灭。这些损失看起来不起眼，但若是累积起来就足以令宗弼胆战心惊了。
宗弼所带的兵马本就只有三万来人，而拔离速方面也只有一万余兵马，这四万多人，散布在江南各地，无异于陷入到了大海之中，根本控制不住局面。宗弼知道这江南不能久留，否则早晚自己非得全军都困死在这里不可，于是在返回杭州的第三天，就决定撤军北返。
现在整个江南东、西两路已经没了官府，没有了那些胆小怕死的文官在胡乱指挥和掣肘，江南各地的军队自发起组织起来，积极地袭扰金军，反而是越战越勇。大家在与金军的交战过程中发现，原来金人也不如传说中的那般神勇，大家都长着一颗脑袋和两只胳膊，被刀子砍中后也会死。随着各地军民信心的恢复，有越来越多的小股劫掠的金军被自发抵抗的抗金军民所消灭。比如韩世忠与张俊在秀州、岳飞在金坛和宜兴都有歼来金军的战绩。
宗弼在率主力从杭州撤军的过程中，韩世忠率所部八千余众利用金国骑军不习惯江南水网地带地形作战的弱点，在苏州以北主动向金军的主力发起了袭击。双方经过半天激战，宗弼击败韩世忠所部。韩世忠率部躲进了常熟以南阳城湖里的黄天荡，宗弼率部搜索了四天，最终是一无所获，只得继续退往建康。
（注：黄天荡一战，《宋史》吹的实在是太厉害了，韩世忠以八千人围困金军十万，怎么看都会给人一种玄幻的感觉。这里作者采信的是《金史》里的说法，各位不喜勿怪）
黄天荡一战，韩世忠虽败犹荣，这标志着南宋的官军在见到金军主力时，不再是抱头鼠窜，而且还开始了主动进攻。这是一个明显的战略转折，韩世忠在这一战的最大功绩就是激起南宋军民的抵抗决心和信心，虽败犹荣。
金军开始退出江南、淮西等地，甚至连京东路都不愿久留，又扶持起刘豫任伪齐国皇帝，掌控黄河以南到淮河一带的地盘，以作为宋金之间的战略缓冲。
没有抓住赵构，金国上层想要一举覆灭宋国的计划基本破产，由于宗翰的威望也大受打击，此时主和派的宗磐、希尹和完