藏书阁偶遇后，太宗并未把这事放在心上。
次日晌午，太宗想去藏书阁，就随口问了王德一句“徐慧可在”。王德派人打听，答曰：“徐才人在。”
傍晚的时候，太宗觉着徐慧这回该走了吧，就又问了一次，结果徐慧竟然还在。
如此一来，太宗又问，又在，又问，又在，念叨她的次数多了，太宗忍不住道：“这孩子是住在藏书阁不走了吗？”
他倒是没生气，也没往歪处想，只是觉得徐慧看着沉稳，到底还是有几分小孩子气。想想她还挺有趣的，性格里有一份固执的可爱。
如此问答了几次，太宗忽然不问了，起身道：“走，去藏书阁看看。”
王德听了，心里为徐慧高兴，知道陛下这是对她上了心了。谁知主仆二人到了藏书阁，才发觉扑了个空，徐才人前脚刚走呢。
王德就看到，他家主子的脸上明显露出了几分失望的神色。旁人或许看不出来这细微的神情变化，可王德跟在皇帝这么多年，最擅长的就是察言观色，哪里不明白太宗的心思？便小心翼翼地问了句，“大家，要不要着人请徐才人过来？”
“咳嗯！”太宗掩饰性地咳嗽一声，拒绝道：“不必了，这丫头不在正好。”他惯来是不喜欢有人打扰他的。
谁能想到这么一来，就叫徐慧误会了，还叫她被整个后宫的人笑话。
后来几日，太宗去藏书阁之前，还是习惯性地问一句徐才人在不在。本来他是想着不要避开她了，或者干脆挑她在的时候过去。可王德的回答，再次让太宗失望了。连续几日，她竟然都没有再去藏书阁。
这日太宗刚好早早批完了折子，没什么要紧的事，就随口问了王德一句，“你说她这是怎么了？明明是个泡在书海里头的痴女子，竟不去看书了，当真颇为奇怪。”
王德犹豫了一下，决定如实以告，说是近日宫中有些风言风语，说徐才人日日去藏书楼不是为了看书，而是在等陛下。