徐绍不方便直接拒绝，遂找个理由当托辞。
没想到，这么简单一句，倒真还把许翰给问住了一时吱唔着答不上来，徐绍见状，趁热打铁：“官家虽手足不便，然神志清醒，此时言禅位，诚为不妥，在下言尽于此。”
听对方下了逐客令，许翰还想复言，却又见徐绍站起身来。心知对方无意参与，只得起身道：“既如此，下官不敢勉强，告辞。”
“恕不远送。”徐绍拱手道。看着对方离开后，徐绍暗自担心，朝中有这种想法的，绝对不止许翰一个看来，迟早要出事自己此时赋闲，未尝不是一件幸事
可徐绍想错了
许翰离了徐绍府邸之后，又去了几处地方，联络朝中大臣，商议劝上禅位一事。从大理寺卿万俟卨府中出来以后，他估摸着差不离了，但去寻御史中丞秦桧，打算近日联名上奏，按下不表。
却说他已经授了广南东路安抚使，本该走马上任，但却一直滞留杭州不走，早引起了耿南仲的注意。遂派人监视，得知他近来游走于朝中大臣的私宅，耿南仲猜测他们可能在串联要搞事，因此分外当心，指使爪牙准备给他罗织罪名。
然而这一天，当耿南仲听到许翰去拜会了徐绍之后，坐不住了。朝中主战派的大佬，大部分已经被他清洗干净，无一例外都是贬谪安置，监视居住。只有两个特例，一是折彦质，他有抗金之功，再加上自请辞职，不用动他。二就是徐绍，因为官家念他的旧，保着他，因此奈何不得。
此二人，俱是声望盖朝野，而且都当过执政。如果他们挑头出来闹事，那就不是小打小闹了他把突破口，放在了大理寺卿万俟卨身上，因为此人是他上次在任时，从陕西调入中枢，任主管刑罚的大理寺主官，而万俟卨跟许翰又有私交当他得知许翰一干人，是在密谋劝上禅位，拥立太子时，气急败坏的耿南仲决定提前下手
行在迁往杭州以后，宫室楼宇却迁不过来。再加上现在财政困难，一无资金二无时间去营造宫室，赵桓暂住在从前蔡京的豪宅里。当初蔡京驻杭州，替太上皇收罗奇珍异宝，花木奇石，在这大肥差上刮了不少钱，遂修建了这所占地极宽的宅院。蔡京倒台后，家产被籍没，现在权充行宫。,
眼下虽是春回大地之际，但气候极嫌寒冷，可耿南仲却急得满头大汗在行宫门前下了轿之后，还不忘对紧随其后的万俟卨嘱咐道：“稍后面君，务必实言，备说徐绍、许翰、秦桧等人居心叵测记住了？”
万俟卨也是冷汗连连，疾声道：“下官谨记”
耿南仲点点头，拔腿就要往里走，但还是不放心，又回头小声道：“本相能调你来中枢，也能贬你去岭南记住了？”
“不敢相忘”万俟卨一惊，赶紧俯首道。
耿南仲这才抹了一