太医监充国无故入殿,按照律条,当处以死刑。充国是上官安的外祖父最为宠爱的人,上官桀便去找霍光求情,霍光仍不允许。上官桀无法,只好去求盖长公主,盖长公主交出了二十匹马替充国赎罪,充国才减罪免死。自此以后,上官桀父子就更加痛恨霍光,感激盖长公主。
上官桀认为,从前自己和霍光一样,都是顾命大臣,现在反而每件事都要受霍光管辖制约,实在太不公平。于是,上官桀父子就广结宫廷内外的宦官大臣,想乘机除掉霍光。尤其是燕王刘旦,因未得帝位,总觉心怀不满,御史大夫桑弘羊的子弟多有失职,也对霍光怀有怨望,再加盖长公主作为内援,在上官桀看来,确是万无一失。
正在这个时候,霍光到广明去校阅羽林军,上官桀就想发难,但想来想去还是无法准备力量,不能保证事变成功。于是上官桀就和桑弘羊秘密商量,诈以刘旦的名义,上书弹劾霍光。奏疏写道:
我听说大臣霍光在外出校阅羽林军时竟令先行官预先准备食物,模拟天子的出游仪式。把没有功的大将军杨敞任命为搜栗都尉,又擅自调益幕府校尉,专权自恣。我怀疑他有不正常的举措,所以愿意把我的符玺归还朝廷,回到宫里保卫皇上,以免奸臣忽起事端,皇上遭遇不测。事关紧急,特此派快马传给皇上。