但他与白氏的意见一样，即使杨勇有一些小德有亏，但大是大非上并没有做错过的。
如此轻言废黜太子，将对隋朝的根基不利。
而白槐也正是因为秉公直言，让杨坚知道这是白氏的态度，所以虽然十分喜爱白槐的才能，但只能将其贬放，以彰显自己的态度。
“唉，两位都是我的好友，如今在下已经将该说的，都告诉了陛下，人事已尽，就听天命吧。”
“今日是我的离开长安的日子，不知道又要何时才能够再见到诸位了，望诸位安好。”
说完，转头看向一直没有说话的李渊道：
“兄长才从岐州任上回来，我们还没有机会把酒言欢，等到下次见面，弟一定要好好与你喝一次。”
这几年的时间，已经让李渊十分沉稳，再也不复以往的行事无度，潇洒如风，微笑道：
“那可一定要说好了啊。”
最后看向白奈，嘱托道：“自从祖父病逝，家父告老，我就挑起了长安的责任。”
“今日我即将远去，家族在长安做决定的就是你了，其余的族人职位太低，我倒是不担心，但你身处中枢，万事一定小心。”
白奈躬身道：“二哥放心，长安一切有我，我自会小心行事。”
交代完诸事，白槐启程前往江州任职。
开皇十六年，白贺在晋阳白氏别院去世，享年七十三岁，白聚承袭白国公之爵，故而免去阳国公的爵位。
同年，白聚以返乡守孝，已经年老无法任事为名，乞骸骨。
但白聚之所以这个时候乞骸骨，是因为之前仁寿宫一事，他看到了杨坚多变的态度，此为思危。
更有几个开国功臣虞庆则、史万岁接连被杀，虽然白聚行事一向低调，但还是心有所忌，故而想要趁机返乡，见小白氏在杨坚眼中的威胁，此为思退。
等到举事明朗，白氏再出山也不迟，此为思变。
白聚虽然是开国功臣，又手握重兵，但素来不与朝廷群臣接触，洁身自好，是开国元勋中少有的省事之人。
不像杨素、史万岁等人，凭借功劳肆意妄为，惹得杨坚不喜，所以对于白聚的退隐，他十分不舍。
便向他说道：“不如暂时保留你的官职，等到白国公的孝期结束，你再返还朝廷如何？”
只听到白聚说：
“白氏之所以能够传承这么久，就是因为每代家主都能够安于现状，不慕名利，持守己家。”
“按照惯例，家父已逝，臣需要常年待在家中，一则修书修史，二则处理家务，三则教育子弟，四则修身养性，此乃家主长盛不衰之秘诀。”
杨坚听后十分认同，赞叹道：“白氏果为千年世家，若天下世家豪族都若白氏，岂会有那么多乱臣贼子，天下早就大定矣。”
于是便同意了白聚的乞骸骨，并下令剥夺去白聚的阳国公爵位，使其袭爵白国公，阳国公爵位由白贺二子奉州刺史白祁袭爵，以褒白氏之功。
如此，白氏一门双国公，因为袭爵淇国公的白丰得罪前朝宇文赟，被免去一切官爵，贬为庶人，淇国公的爵位自然也被朝廷收回。
杨坚代周后，自然也没有特意提过恢复白丰爵位的事情，所以淇国公的爵位自此消失。
而如今白国公白聚很明显的就要退隐，所以影响力最高的，竟然是一直远在蜀地的白祁。
也正是因为如此，虽然白氏一门双国公，极具殊荣，但杨坚丝毫不担心功高盖主，其他人也没有对此感到不满。
于是白聚带着妻子宇文氏，以及才六岁正好要入族学的幼女白曼，返回了晋阳。
只留下白槐，作为家族在长安的决裁人。