白斌连忙回礼，直言不敢，并说道：
“群臣对于当今陛下的所作所为早已不满，只要大将军同意了，我们即日就上奏太后吧，早一分将其从那个位置拿下，百姓就早日摆脱他的伤害。”
霍光点头，想了想后说道：
“可是，如果陛下去了，我们又能选哪个继位呢？”
白斌思考后道：“我们要排除掉已经就封的诸侯王，万万不能开这个头，俗话说，不患寡而患不均，要是给他们以希望，恐又酿成七国之乱。”
霍光也同意此事，随后白斌突然想到了什么道：“大将军还记得故太子刘据吗？”
“当然。”
“我突然想到当初故太子，还遗有一孙流落在民间，他是武帝的嫡孙，正适合继位。”
“可是其久居民间，不知其性格能力如何，别又是一个刘贺。”
“我记得当初保住他的是廷尉监的丙吉，此时他已经是光禄大夫兼给事中，想来他最了解此中之事，不如找他来问问。”
“我认为可以。”
不多久，光禄大夫丙吉来到大将军府，霍光向其询问故太子刘据嫡孙的情况。
早已经收到白斌消息的丙吉知道其中内情，便极力推举道：“故太子嫡孙名为刘病已，武帝崩逝时，曾留有遗诏，命我将他的曾孙刘病已养在掖庭外的百姓家中。
我以前让他寄居郡邸时，他还年幼，如今应该有十八九岁了吧，我听人说，他精通经术，颇有才能，办事稳重又有礼节。”
霍光遣人前去掖庭外暗中打听消息，果然如丙吉所述。
既然如今继位之君有了，那不配占据高位的人，也该下来了，随后又召集其他大臣商讨，几乎每一个都同意霍光的举措。
八月一日
大将军霍光同群臣一起谒见禀告上官皇太后，详细陈述了昌邑王不能继承皇位的情况。上书的正是由杨敞所书《奏废昌邑王》：
“丞相臣延年、大司马大将军臣光、车骑将军臣安世、度辽将军臣明友、前将军臣增、后将军臣充国、御史大夫臣斌、太常臣昌、大司农臣延年、宗正臣德、少府臣乐成、廷尉臣光、执金吾臣渡、大鸿胪臣贤、左冯翊臣广明、右扶风臣德、长信少府臣嘉、典属国臣武、诸吏文学光禄大夫臣迁、臣畸、臣吉···昧死言皇太后陛下：
天子所以永保宗庙总壹海内者，以慈孝礼谊赏罚为本。孝昭皇帝早弃天下，亡嗣，臣敞等议，礼曰：“为人后者为之子也”，昌邑王宜嗣后，遣宗正、大鸿胪、光禄大夫奉节使征昌邑王典丧。
···
《春秋》曰‘天王出居于郑，’繇不孝出之，绝之於天下也。宗庙重於君，陛下未见命高庙，不可以承天序，奉祖宗庙，子万姓，当废。臣请有司御史大夫臣斌、宗正臣德、太常臣昌与太祝以一太牢具，告祠高庙。臣等昧死以闻。”
皇太后上官音，于是乘车来到未央宫承明殿，诏令各个宫禁门卫不要放昌邑王刘贺的群臣进宫。
刘贺进宫朝见太后返回，正准备坐辇车回到温室殿，但宫中的黄门宦官各自手持门扇不让他离开，而早在刘贺进入宫中时，他们早就将刘贺的一干旧臣关在门外。
当时刘贺就感觉不妙，立即向中黄门呵斥：“大胆，你这是在干什么？还不赶快开门，将朕的臣子放进来”
恰好大将军霍光此时来到，跪下对刘贺道：“皇太后有诏令，不让昌邑王的群臣进来。”
刘贺一见这个场景，有些虚：“大将军慢点来，这是干嘛，为什么要弄得这么吓人！”
霍光没有理会，只是派人将刘贺的群臣全部驱逐出宫，集中在金马门外。而车骑将军张安世，则是率领羽林骑士将这二百多人全部拘捕捆绑，交给廷尉关在诏狱内。
霍光又命令原昭帝的侍中、中常侍看守住刘贺，并吩咐道：“你们要小心值班守卫，陛下如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”
没多久，太后披着珍珠缀成的短袄，穿着盛装坐在布置有兵器的帷帐中，几百名宫廷卫士都拿着武器，期门武士持戟守卫台阶，他们都排列在殿下。
群臣按顺序走进殿来，叫昌邑王伏在前面听诏令。霍光同各位大臣一起联名奏劾昌邑王，尚书令当庭宣读了弹劾奏章，细数刘贺即位以来种种不孝违法之行。
皇太后下诏说：“准奏。”
霍光就叫刘贺起来跪拜接受诏令，刘贺急迫道：“我听说天子只要有诤谏之臣七人，即使无道也不会失去天下。”
霍光说：“皇太后已下诏令废黜你了，哪里还是什么天子！”
于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，又扶着刘贺下了宫殿，走出金马门，后面群臣都跟着送行。
第二日
还在原先的地方，还是原来那群人。
依然由杨敞上书请立新君《奏立皇曾孙》：
“《礼》曰：‘人道亲亲故尊祖，尊祖故敬宗。’高宗无嗣，择支子孙贤者为嗣。孝武皇帝曾孙病已，武帝时有诏掖庭养视，至今年十八，师受《诗》、《论语》、《孝经》，躬行节俭，慈仁爱人，可以嗣孝昭皇帝后，奉承祖宗庙，子万姓。臣昧死以闻。”
皇太后诏曰：“可”。