石显失势遭贬亡，匡衡受劾惶恐辞

石显被调任长信中太仆一职，官阶为中二千石。此时石显既失去靠山，又远离权力中心，于是丞相与御史联名上奏成帝，列举其过往罪状。最终石显及其党羽牢梁、陈顺均遭革职，石显携家眷被遣返故里，途中因郁结于心、绝食而亡。凡因攀附石显得官者，皆被削去官职。其中少府五鹿充宗贬为玄菟郡太守，御史中丞伊嘉被贬谪为雁门都尉。司隶校尉、涿郡人王尊上书弹劾：“丞相匡衡与御史大夫张谭，明知石显等人擅权专政、作威作福，实为国家祸患，却未及时向皇帝检举惩处，反而阿谀逢迎，曲意附和，包庇奸佞，欺瞒圣听。其心术不正，蛊惑君上，全然违背辅政大臣应有之操守，实属大逆不道！此等罪行虽发生于大赦之前，尚可不予追究。然大赦之后，匡衡、张谭弹劾石显时，非但未反省自身不忠之过，反刻意凸显先帝误用奸佩之失，妄言什么‘文武百官都对石显十分畏惧，甚至超过了皇上’；此等贬抑君威、尊崇臣属之言，实属不当，有失人臣本分！”于是匡衡惭愧恐惧，当即脱冠请罪，主动上交丞相印绶与侯爵信物。正值新帝登基之际，成帝不欲严惩重臣，遂将王尊降职为高陵县令。然朝中诸多官员皆认为王尊所言在理。匡衡虽缄默不语却心怀忧惧，每逢水旱灾害必屡次上疏乞骸骨。成帝则屡颁诏书慰留，始终未准其辞官之请。