太医监充国无故入殿，按照律条，当处以死刑。充国是上官安的外祖父最为宠爱的人，上官桀便去找霍光求情，霍光仍不允许。上官桀无法，只好去求盖长公主，盖长公主交出了二十匹马替充国赎罪，充国才减罪免死。自此以后，上官桀父子就更加痛恨霍光，感激盖长公主。
上官桀认为，从前自己和霍光一样，都是顾命大臣，现在反而每件事都要受霍光管辖制约，实在太不公平。于是，上官桀父子就广结宫廷内外的宦官大臣，想乘机除掉霍光。尤其是燕王刘旦，因未得帝位，总觉心怀不满，御史大夫桑弘羊的子弟多有失职，也对霍光怀有怨望，再加盖长公主作为内援，在上官桀看来，确是万无一失。
正在这个时候，霍光到广明去校阅羽林军，上官桀就想发难，但想来想去还是无法准备力量，不能保证事变成功。于是上官桀就和桑弘羊秘密商量，诈以刘旦的名义，上书弹劾霍光。奏疏写道：
我听说大臣霍光在外出校阅羽林军时竟令先行官预先准备食物，模拟天子的出游仪式。把没有功的大将军杨敞任命为搜栗都尉，又擅自调益幕府校尉，专权自恣。我怀疑他有不正常的举措，所以愿意把我的符玺归还朝廷，回到宫里保卫皇上，以免奸臣忽起事端，皇上遭遇不测。事关紧急，特此派快马传给皇上。