二十一日，张豺派张雄假传诏令，派兵来到石斌府邸，以天子病重，身为臣子却不入宫服侍，非忠臣孝子的罪名，杀掉了石斌。
二十七日，刘氏再次假传诏令，任命张豺为太保、都督中外诸军，总管尚书职事，如西汉霍光辅政专权一样。
二十九日，石虎去世，太子石世即位，尊奉刘氏为皇太后。
延平二年正月，刘氏当朝行使皇帝的权力，任命张豺为丞相。
张豺辞让不肯接受，请求任命彭城王石遵、义阳王石鉴为左右丞相，以此来安抚石氏宗亲，刘氏听从了他的建议。
二月，石遵才抵达长安，就听闻父亲石虎病故的丧讯。
姚弋仲、苻洪等人在讨伐梁犊后的归途中，和石遵在长安相遇。
他们一起劝石遵说：
“殿下年长而且德才兼备，先帝也曾有意让殿下当继承人。
正是因为他晚年昏然迷惑，才被张豺所欺误。
如今女主当朝，奸臣独揽朝政，乐陵那里夏赵双方相持不下，京师的守卫力量空虚。
殿下如果声讨张豺的罪行，击鼓进军对他进行讨伐，有谁不打开城门、掉转武器而迎接殿下呢！”
石遵被他们说动，听从了他们的建议，起兵清君侧。
石虎才一去世，夏国就得到了消息，在山阳王白机等人的上表下，已经服完丧的白锴，以白机为大都督，出兵乐陵。
故而京师开封的兵力，大多都调往乐陵，抵抗夏军的入侵了。
石遵的勤王大军初通过潼关，洛州刺史便率领洛阳的部众前来与他会合。
讨伐檄文传到开封，张豺十分害怕，急忙命令援助乐陵的军队返回，驻守沿途关卡、要地。
谁知开封城内德高望重的老臣、老将以及羯族的士兵听说石遵起兵，都说：
“彭城王前来奔丧，我们应当出城迎接他，怎么能为了汉人，攻打他呢？不能再为张豺守城了！”
于是纷纷翻越城墙逃跑。
即使发现的张豺虽然以杀头来制止，但也不能奏效。
就连戍守皇宫的龙腾卫士，也在领头将军的带领下冲破关卡，准备迎接石遵。
刘氏十分恐惧，召张豺来到宫中，裴痛地对他边哭边说：
“先帝的棺材还没有入土，而祸乱就到了这种地步！如今太子年幼，只能依靠将军您了。
将军您打算怎么办呢？我想给石遵加封显赫的官位，这样能安抚住他吗？”
张豺这时也十分惊慌害怕，不知道该怎样回答，只是满口称是。
于是刘氏便发下诏令，任命石遵为丞相，兼任大司马、大都督、督中外诸军，总管尚书职事，给予他以持黄钺、加九锡等特殊权力和礼遇，并增加十郡作为他的食邑。
可石遵根本没有因为这点小利，就因此停止，反而行军速度越来越快。
五月，石遵抵达开封西郊的易安亭，已经六神无主的张豺为了寻求活命，亲自出来迎接。
志得意满的石遵下令拘捕了他。
五月十五日，石遵身穿铠甲，炫耀武力，从凤阳门进入开封，登上太武前殿，捶胸顿足，宣泄悲哀，然后退至东阁。
接下来的日子，石遵没有去管不断传来的乐陵急报，而是下令诛杀了张豺全族。
又逼迫刘氏下令：
“太子年幼，之所以立他为太子，那是先帝个人的情义所致。然而国家大业至关重要，不是他所能承担的，应当以彭城王石遵为储君。”
石遵再三假托辞让，群臣诚心相劝，然后接受重任，在太武前殿即皇帝位，下令大赦。
五月十六日，封石世为谯王，食邑一万户，不以对待臣子的礼仪对待他，并废黜刘氏为太妃，过了不久，便把他们全都杀死。
登上皇位的石遵，尊母亲郑氏为皇太后，立妃张氏为皇后，立燕王石斌的儿子石衍为皇太子。
又以义阳王石鉴为侍中、太傅；沛王石冲为太保；乐平王石苞为大司马；汝阴王石琨为大将军，意图绥靖宗亲兄弟。
又以西平郡公姚弋仲为都督中外诸军事、辅国大将军、录尚书事、安定公，辅佐朝政，以安稳功臣。
同时，因为石遵需要蒲洪留在关西，清缴梁犊残军，以及镇压关中，所以并没有一同入朝。
七月，因为朝廷援军来了又去，导致乐陵失守，镇守历城的沛王石冲，听说石遵杀了石世自立为帝后，心中也渐渐地活络了起来。
认为石遵可以凭借兵力入继大统，自己如今掌握数万大军，如何不能？
便对辅佐他的同僚们说：
“石世是秉承先帝的旨意继位的，石遵专横地把他废黜并杀掉，再也没有比这更大的罪过了！
传本将之令，命令内外严加戒备，本王要亲自出征去讨伐他！”
七月二十三日，石冲留下宁北将军沭坚守卫青州，自己率领五万士兵自历城西向。