太仆丞(太仆府设太仆丞两名)、河东人张敞上书进谏说:“孝昭皇帝早崩无嗣,大臣忧惧,选贤圣承继宗庙,东向迎接陛下之时,唯恐迟缓。如今陛下以盛年初即帝位,天下无不拭目以待,倾耳以听,观看您的教化,听闻您的风采!但是如今呢,您没有一句话褒奖那些辅国大臣,而昌邑国推挽辇车的小奴却先得到升迁,这是非常大的错误。”刘贺不听。
大将军霍光忧虑烦闷,单独问他所亲近的老部下大司农田延年。田延年说:“将军为国家柱石,既然考察下来,此人不可。何不禀告太后,更选贤德者而立之?”霍光说:“我就是想这么做,不知道古代有先例没有?”田延年说:“伊尹为殷商宰相,废太甲以安宗庙,后世都称道他是忠臣。将军如能办成这件大事,也是汉之伊尹了。”霍光于是让田延年兼任给事中(可以出入宫禁,常侍皇帝左右),秘密与车骑将军张安世图谋定计。