武帝时期，霍光的官职虽然不显赫，却是武帝内朝的首要官员，深受武帝的信任和恩宠，可以说武帝给予霍光的一切，使得霍光对于武帝也忠心耿耿。
上官大人不一样，看到皇帝年幼，心中更多想法是控制，甚至取而代之。孙女被送入宫之后，想要让昭帝立其为皇后，遭到霍光的激烈反对。上官桀转而找到武帝的长女，盖长公主，帮助自己实现了孙女当皇后的愿望，上官桀投桃报李，想要举荐长公主的情夫丁外人为光禄大夫并封列侯，也遭到霍光的驳回，于是与霍光反目。
桑弘羊在武帝时期就负责全国财政，以主父偃的对策施行国营盐铁、酒水官卖，为武帝聚集了大量的钱财。昭帝以来，国家的大政方针是施行休养生息，对于盐铁酒水这些东西，民间极大抵触国家统一经营。公元前81年，霍光召集民间的知识分子，在宫中主持了著名的“盐铁之议”，对桑弘羊为首的官营派提出了全面的反对，气愤之下的桑财政也就加入了上官桀的阵营，准备搞垮霍光。
公元前80年，上官桀父子联合盖长公主、燕王刘旦、辅政大臣桑弘羊，趁霍光休假归乡之时，向其发难。首先假托燕王的名义向昭帝告发，霍光私自检阅军队，并召还在匈奴十九年的苏武归朝，一定有不臣之心。然后由上官桀向武帝宣读奏折，接着让桑弘羊组织朝中官员弹劾霍光，逼迫其下位，以实现其目的。此时的刘弗14岁，当皇帝已经7年，也早已知道，霍光在自己还能当皇帝，信了其他人，皇帝都没得做，于是对上官桀等人的上书不予理睬。
