人们似乎也仗着他寡言少语性子沉默，就不将他放在心上，克扣他的衣食穿戴都是司空见惯的。
随着年岁渐大，只有在皇帝来椒房殿询问孩子们功课的时候，皇后才会让人给他收拾好衣衫拉到人前来。
他在椒房殿虽不得宠，可是难掩天资过人，学什么都比太子快，在皇帝面前奏对回答的时候顺畅如流，常被皇帝褒奖，还顺带着要批判一下太子蠢笨。
太子憨憨的不说什么，还为自己的弟弟被父皇夸奖而高兴，皇后的心里就很不是滋味了。
至于后来有一次晏珽宗不慎打翻了烛台，伤了太子的脸，直接让皇后对他的不满升至了顶点。
她怨恨晏珽宗。
这个“儿子”出身低贱，还抢占了她亲生儿子的名位。
随着对那个早夭的小皇子的思念，皇后总是疑神疑鬼，颠倒因果地认为是他克死了自己的亲生儿子。
于是她不费吹灰之力地编造了一个星象之说，让钦天监启奏陛下，说晏珽宗与皇帝、太子相克，是个灾星等语，要将他挪出去住，最好几年之内都要避讳、不可相见。
皇帝点了点头便准许了，他以为不管挪去哪个宫里住，皇后肯定都不会亏待自己的亲儿子。
可是他想错了，皇后将只有不到十岁的晏珽宗安排在了冷宫边上的空殿里，只留一个小宫女和一个小太监伺候。
有了皇后的默许，这两人也是三天打鱼两天晒网，根本不把堂堂五皇子放在心上。
皇后一家独大，她都不把五殿下放在眼里，六宫妃子又谁会多嘴去告诉皇帝“你儿子被人虐待了，你快去看看他吧”。
她们的儿子皇帝都没功夫去看呢。
那段时间他的日子过的很艰难，个中酸苦自是不必说的。
唯一时常来看望和陪伴他的是圣懿帝姬。
是他人生里独一束照在心上的皎皎白月光，让他求之不得。