汉昭帝即位之后，上官桀、桑弘羊与霍光之间产生了矛盾。他们多次上书污蔑霍光，试图推翻他的地位。不仅如此，他们还密谋策划，企图拥立燕王刘旦为帝。然而，这个阴谋最终还是被霍光识破。霍光果断采取行动，挫败了上官桀等人的阴谋，并处死了他们。从此以后，霍光成为了朝廷实际的掌权者，开始独揽朝政大权。
在霍光执政期间，他实行了一系列政策，使得国家得以休养生息，百姓生活富足。到了元平元年（公元前74年），汉昭帝不幸病逝，因无子嗣，霍光决定拥立汉武帝的孙子昌邑王刘贺为帝。但刘贺继位后却胡作非为，远离老臣，提拔自己的亲信为官，甚至有传言说他放纵享乐，不理政事。仅仅在位27天，霍光就不得不废黜刘贺，并将他的二百多名旧臣全部逮捕。随后，霍光又拥立汉武帝的曾孙、长期生活在民间的刘询为帝，史称汉宣帝。
宣帝即位后，依旧由霍光辅佐朝政。在此期间，霍光曾提出归还政权，但汉宣帝并未接受。此时，霍光的亲戚子侄在朝中占据重要职位，汉宣帝表面上对他们表现出极大的信任，内心却充满警惕。每当与霍光一同乘车时，他都会感到芒刺在背。最初，群臣们纷纷提议让汉宣帝立霍光之女为皇后，但汉宣帝委婉地坚持立自己的发妻许平君为后。这一举动引起了霍光之妻霍显的强烈不满，她心生怨恨，竟然下毒害死了许皇后。事后，霍光得知此事，却选择为妻子隐瞒真相。汉宣帝对此事心知肚明，却不敢公然追究责任，只得立霍光之女霍成君为后。直至第二年，霍光病重离世，汉宣帝以皇帝级别的礼仪将他安葬，并开始逐步清算霍家集团。最终，汉宣帝成功消灭了霍氏一族。尽管如此，他依然将霍光列为麒麟阁十一功臣之首。