于此同时，长安凭空出现许多关于白遐的流言蜚语，将白遐描述成一个大忠似奸的奸臣形象。
许多不明所以的百姓被蛊惑，言白遐，必称之为奸相，说他有负白氏之名，是白氏中的败类。
甚至有人前往太原，向白氏主家请求不要让白遐继承白氏家主之位，甚至应该将他除名。
但不管是白遐，还是白氏现任家主白宸，都对这些事情没有丝毫反应。
长安，紧临东市，只有一墙之隔的常乐坊，白氏在长安的别院，白国公府就在这里。
因为如今长安寸土寸金的土地，为了节约国库，白遐拒绝了李厥为他修建太傅府，而是就在白国公府居住。
故而白国公府门口挂了两块牌匾，一曰：“白公府邸”，二曰：“太傅府邸”。
一墙之隔，两方世界，东市商贾云集，吵闹非凡，白公府素雅清静，丝丝悦耳的管竹声起，内有花团锦簇，各地名贵花草都可在此看见。
一处凉亭中，太傅白遐与吏部尚书白侃在此对弈，白遐居左，白侃居右。
“兄长，如今坊间流言愈演愈烈，兄不做些什么？”白侃于棋盘边角落下一白子。
“管他们作甚，不外乎政治报复罢了，都是一些无根之言，时间过去了，也就消弭殆尽了。”白遐于适才白侃所下对角，落下一黑子。
“周公恐惧流言日，王莽谦恭未篡时。族中有一小童，前些日子写下这首诗来，我认为很好，人言可畏啊。”
“此诗甚好，少年留名，家族该好好培养，未来或许成就不下于白望宗。”
看着突然升起爱才之心的白遐，白侃捏着一白子，说道：“兄长又在打岔了。”
抬起头，白遐感受到了白侃浓浓的关心之情，心中流过一丝暖意，指着自己花白的头发，轻笑着说道：
“我老了，有些事情还没有做完，时间可不多了。这些流言无外乎那些世家大族放出来的，毕竟我戳到了他们的痛处。”
“若我预料不错，接下来他们就该在朝堂上发力了，五品以上的，该出手了。”
略微皱了皱眉，白侃放下一白子，说道：“你就不担心下场？”
“呵呵，他们敢对我动武吗？无外乎辞职而已，只要清理户籍、田地的事情完成，罢相就罢相吧。”
“如今四海康平，圣人也已经登基了四年了，也该养成一些帝王之气，也有自己的一些想法了。”
“再眷恋这个位置，就该适得其反，惹人厌恶了。不仅对我自己，对白氏也不是好事情，急流勇退谓之知机，至少先帝托付给我该做的，我也都做了，其余的看天了。”
白遐又重新落下一黑子，棋盘霎时局势大变，白侃立即围追堵截，最终道：
“也就兄长不眷恋权势，对了，颖儿你准备怎么安排？要一直待在琅琊王府吗？待了这么久，别呆废了。”
“在我退之前，我会表他为忻州刺史，也能照顾到琅琊王，不过之后的路，就要靠你来安排了。”
看着白遐不断的捻起自己的白子，最终棋盘上仅剩下黑子，白侃苦笑道：“我尽力吧。”
将所有黑子放入白侃一旁的棋篓，白遐笑着说：“尽力就好，不用太过于压力，局势还没到那么紧迫。”