保定六年，多位大臣、牧守以天子早已及冠，上书请让宇文护还政于天子。
奏表内含宇文护“只能掌政令，而不能掌军权”的讽刺，也暗指宇文护不是忠臣，意欲专政。
虽然宇文邕极力驳斥了这些人的上书，言自己年岁尚幼，很多事情不能理解，必须仰仗宇文护。
又说宇文护乃国之忠臣，不可擅自妄议，还下旨加食宇文护封邑，以表帝心。
但此事还是让宇文护感到了威胁。
天和四年（保定十年）
几年的时间里，随着宇文邕的年岁渐长，让宇文护执政的合法性越来越低，朝野中开始出现对他的口诛笔伐。
而这股风气愈演愈烈，这股风气中央与地方都有，大有汉末讨伐董贼的气势。
为了解决这个问题，宇文护一直想要改立新帝，但根本找不到宇文邕的一丝错处。
甚至宇文邕对待宇文护的态度和恭敬，比之自己的儿子还要顺从，让宇文护找不到动手的理由。
于是为了维护自己的威权，宇文护不得不违背本心，大肆在朝野安插忠于自己的亲信，不再如同以往量才而用。
使得之后很多宇文护任命的官员，德不配位，以权谋私。
再有宇文护的几个儿子与他性格宽厚，不贪不占不同，反而十分贪婪，不仅放纵部下，仗恃着宇文护的声威权势卖官鬻爵。
还欺上瞒下，伙同鲜卑等胡人出身的将领横行霸道，残害百姓，毫无顾忌。
自汉以来，胡人开始崛起，虽然如今依旧以汉人为主，但胡人的势力经过百余年的发展也不容小觑。
特别是因为许多胡人经过数代与诸夏文化的融合，已经完全融入了诸夏体系，行为举止除了略微豪放，已经与汉人无异。
这部分人可被称之为熟胡。
但因为北方与草原紧紧接壤，加之夏以来宽容的民族政策，使得不断有没有接受汉化的胡人担任朝廷官职。
而这部分没有完全接受汉化的胡人，可称之为生胡。
与熟胡接受了汉化，视百姓为兄弟手足不同，生胡因为没有完全开化，行事素来无所顾忌。
不过也因为生胡的这种特性，使得他们作战十分凶猛，颇得各地豪帅、诸侯的所爱。
也因此，这些熟胡、生胡多掌握着北方各地的兵权。
原本在夏室、宇文泰等各方势力的压制下，他们不敢胡作非为。
之后更是为了解决这个问题，当初占据关中的贺拔岳首先提出了仿照武川生胡、熟胡、汉人结成的同盟。
糅合关中的鲜卑等族豪帅、汉人当地豪强、武川元勋，三方势力以武川同盟为核心，结成同盟，可称之为关陇军事集团。
依靠关陇集团，贺拔岳后来居上，越过了莫折念生（生胡）、万俟丑奴（熟胡）、萧宝夤（汉人），成功占据了关中。
随后因为意外，贺拔岳身死，但宇文泰全盘接过了贺拔岳的势力，也就是继承了关陇集团，这才有了周国。
如今宇文护儿子们为了利益，偏袒生胡将领残害百姓，使得汉人豪强，以及早已汉化的熟胡对其十分不满。
这让宇文护在朝野的名声，开始臭不可闻。
天和七年
本来早就想要密谋诛除宇文护的宇文邕，因为其忌惮白丰在其身边，将其调任为襄州刺史。
没有白丰的出谋划策，宇文邕一直不敢有说动作。
这日，宇文邕接到了远在襄州的白丰密信：
“臣在襄州一日不担心陛下之安危，担心陛下等待不急，贸然行事，以至于功亏一篑，丢了性命。”
“如今得知陛下一直谨守己分没有丝毫表露，臣心遂放，圣明无过陛下。”