也正是從這個時候開始，匡衡的官位越做越大，一直到建昭三年，丞相韋玄成因病逝世，于是漢元帝便令匡衡代為丞相，并封其為樂安侯。當上丞相后一開始，匡衡還經常參與研究討論國家大事，多次向漢元帝陳述自己對朝廷政策的意見以及治國之道，并常按照經典予以答對，因此也深受漢元帝的信任。可以說匡衡到目前為止，都還是在為漢朝著想的，然而一直到漢成帝即位后沒多久，匡衡就因人彈劾而被貶為庶民，并在返回故里后沒幾年就病死，而導致這的原因都是因為他的一個“貪”。