这边宇文乐得了吴王贿赂，要为他转达宇文素，又听了东方文杰的话，所以每日和宇文素相见，便愁容满面，一日宇文素奇怪的问他：“我弟因何如此？”宇文乐叹道：“前日兄长出去狩猎，燕王府长史林锦暗闻燕王道：‘当要杀此老贼！’便来报知与我，老贼不是兄是何人？”宇文素愤然道：“曲曲燕王，又能把老夫如何！”宇文乐又叹道：“只恐怕燕王若将来登基，必成大患！”
宇文素恩了一声道：“那你的意思，我是辞官避他，还是如今改心顺他？”宇文乐便道：“无论如何，他也不能释怨，只有使计废其王位，使其永无继位之可能，方能如愿。”宇文素抚掌道：“没想到你还有这心思，正和我意！”宇文乐低声道：“这事不可迟疑，一旦燕王知道，必生大祸。”宇文素点头道：“这事还须皇贵妃在内做主。”
两人商议完了，宇文素便来见绛仙，绛仙知道他握有重兵，便托他赞成废立，两人一拍既合，于是绛仙不时在杨广面前，搬弄是非，又加上大多数宦官官妾和朝中大臣都受了林南的好处，所以大伙冷一句，热一句的，全在杨广面前说燕王不好，正是积毁成山，大伙都说燕王不好，杨广也就有些拿捏不定起来，但燕王毕竟没有大罪，所以杨广倒也没有起废起王位之心。
林南见杨广迟迟不废燕王，也有些不耐烦了，这时东方文杰又出一计，听的林南连连点头。
细究燕王的过失，其实也没有什么，只有一点，他生性奢华，又宠爱小妾云昭训，偏偏这些都是杨广最忌讳的，这才埋下了祸根。
林南听从了东方文杰的计策，故意向燕王示弱，并且花重金买下了一副金镂甲赠给了燕王，燕王生性直率，而且这金镂甲又正好投其所好，竟把对于林南的猜忌之心全忘在了脑后，和这个弟弟和好了起来。
这一切都在林南和东方文杰的意料之中，如此又过了几个月，直到冬至，林南又履行了东方文杰设下的毒计，他让燕王在自己寿辰之日，王府坐堂张乐接受百官的朝贺，燕王见林南如此顺从自己，越发觉得自己眼看着就要承袭太子之位，立令至昏之下，竟然欣然接受。
燕王高坐府前，林南故意谴派己方的官员也都来朝拜，一时间来者数百人，几乎就如同天子坐朝一般，这事自然有人早呈报了杨广，杨广开始不信，等到亲自来到燕王府一看，顿时勃然大怒，抽出龙泉剑来喝道：“待我杀了这畜生！”燕王见杨广提剑入殿，顿时傻了眼，这时林南忽然冲过来拉住杨广道：“兄长不识忌讳，父皇且莫见怪啊！”杨广自然不听，怒气更盛，挥剑指道：“畜生何足付大事，言罢愤然而去。”
“十六弟，父皇不会废了我吧。”燕王惊出一身冷汗，也清醒了