大家又饮宴一会儿，吕祉起身告辞，刘光世也不愿让他留在大营，将其与随行人员安顿在寿春的署衙里。
刘光世将吕祉送出八公山下的营寨后，与谋士秦绍回到房里，两人开始密谈。
成大事者不谋于众，刘光世的心事，只限于极少数人知道，就连王德、郦琼等主要部将都未能全部知晓。
刘光世脸色阴沉，将一柄镇纸用的玉尺重重扔在书桌上，然后说道：“卸磨杀驴，兔死狗烹，这兔子还没死，他们就准备想要伸手夺权了！”
秦绍道：“吕祉这次只是奉命而来，没啥真本事，依我之见，真正拿主意的还是他背后之人。谁都知道这秦桧是怎么从金营中逃脱出来的，但是官家不究，别人拿他也没办法。官家一味想与金人求和，这朝堂中恐怕早晚都要被这帮金人的奸细们所控制。常言道，君子不立危墙之下，太尉还需要早做打算。”
刘光世摇了摇头：“这华夏那边，也是在防备着武将们坐大，过去西军的老人们，也没能剩下几个。我们就是投过去，差不多也是要交出兵柄。如果当初李岘活着的时候，大家还有些交情，可现在，那掌权的翟进、王禀和刘锜等人一向瞧不起我们兄弟，就是投了华夏，也不会得到重用。”
秦绍又道：“如果太尉不愿交出兵柄，便须假意投靠金人，然后伺机取刘豫而代之。在以后问鼎江山，可成就大志。现在徘徊于淮西，只不过苟延残喘罢了！”
刘光世听了不住摇头：“投降金人，最终下场有可能更惨，而且还要背负一辈子骂名，这种事我家兄弟是不会做的，宁可把兵柄交与朝廷，大不了回家种地。这种话，先生再莫要提起！”
秦绍道：“只怕太尉想拖延时日，官家那边却急不可耐，此时太尉还要先下决心。”
刘光世道：“一切都在掌控之下，那吕祉以为王德是为内应，孰不知那小子早就将消息透露给我。他若真惹急了某家，就拿他人头祭旗，最后直接投了华夏！”
秦绍道：“太尉既然已经拿定了主意，那就需要早作布置，切恐吕祉最后玩出什么诡计出来。常言道，防人之心不可无，还请太尉思虑周全。”
……
“十月一，送寒衣”，按照宋代北方的习俗，十月初一是一个重要的祭奠日子。
也许是因为不习惯南方的气候，刘延庆在建炎三年随官家赵构南渡后不久，就病死于苏州，随后暂葬于苏州城外的小孤山上。每年这个时候，刘光国、刘光世、刘光召等族中兄弟都要前往苏州，去坟前祭拜刘延庆。
秦桧、张焘和吕祉等认为这是个机会，趁着刘氏兄弟离开军营之时，趁机宣布将这两兄弟免职，由王德和杨沂中取代他们的职务。
吕祉从江州到信阳军，其后又转到寿