汉成帝为班婕妤的美貌及文才所吸引，很喜爱班婕妤。为了能够时刻与班婕妤形影不离，他特别命人制作了一辆较大的辇车，以便同车出游，但却遭到班婕妤的拒绝，她说：“看古代留下的图画，圣贤之君，都有名臣在侧。夏、商、周三代的末主夏桀、商纣、周幽王，才有嬖幸的妃子在坐，最后竟然落到国亡毁身的境地，我如果和你同车出进，那就跟他们很相似了，能不令人凛然而惊吗？”汉成帝认为她言之成理，同辇出游的意念只好暂时作罢。
当时王太后听到班婕妤以理制情，不与皇帝同车出游，非常欣赏，对左右亲近的人说：“古有樊姬，今有班婕妤。”在这里，王太后把班婕妤与春秋时代楚庄公的夫人樊姬相提并论，给了她很大的嘉勉与鼓励。樊姬很贤惠，曾辅佐楚庄王成为“春秋五霸”之一。王太后把班婕妤比作樊姬，使班婕妤的地位在后宫更加突出。班婕妤当时加强在妇德、妇容、妇才、妇工等各方面的修养，希望对汉成帝产生更大的影响，使他成为一个有道的明君。但是汉成帝不是楚庄王，自赵飞燕姐妹入宫后，声色犬马，班婕妤受到冷落。
赵氏姐妹入宫后，飞扬跋扈，许皇后十分痛恨，无可奈何之余，想出一条下策，在寝宫中设置神坛，晨昏诵经礼拜，祈求皇帝多福多寿，也诅咒赵氏姐妹灾祸临门。事情败露以后，赵氏姐妹故意讲，许皇后不仅咒骂自己，也咒骂皇帝，汉成帝一怒之下，把许皇后废居昭台宫。赵氏姐妹还想利用这一机会对她们的主要情敌班婕妤加以打击，诬陷班婕妤参与“ 巫盎” 案。汉成帝听信谗言。然而班婕妤却从容不迫地对称：“我知道人的寿命长短是命中注定的，人的贫富也是上天注定的，非人力所能改变。修正尚且未能得福，为邪还有什么希望？若是鬼神有知，岂肯听信没信念的祈祷？万一神明无知，诅咒有何益处！我非但不敢做，并且不屑做！”汉成帝觉得她说的有理，又念在不久之前的恩爱之情，特加怜惜，不予追究，并且厚加赏赐，以弥补心中的愧疚。
班婕妤是一个有德操的贤淑妇女，经不起互相谗构、嫉妒、排挤、陷害的折腾，为免今后的是是非非，她认为不如急流勇退，明哲保身，因而缮就一篇奏章，自请前往长信宫侍奉王太后，把自己置于王太后的羽翼之下，就也不怕赵飞燕姐妹的陷害了，汉成帝允其所请。
班婕妤移居长信宫后，悄然隐退在深宫之中。每天长信宫门打开，她便开始一个台阶一个台阶扫地，生活刻板而单调。她感到自己仿佛秋天被弃的扇子，孤独寂寞。便作诗赋以自伤悼，借以度过光阴，常常触景伤情。她在《团扇歌》（亦名《怨歌行》）中自比秋扇，感叹道：“常恐秋节至，凉风夺炎热。弃捐箧笥中，恩情中道绝。”用洁白的细绢剪裁的团扇，天热时与主人形影相随。凉秋时节，则被弃置箱中。后世便以“秋凉团扇”作为女子失宠的典故，又称“班女扇”。
汉成帝在绥和二年三月，崩于未央宫。（“帝日服一粒，颇能幸昭仪。一夕，在大庆殿，昭仪醉，连进十粒，是夜绛帐中拥昭仪，帝笑声吃吃不止。及中夜，帝昏昏，却不可将。抵明，帝起御衣，阴精流输不禁。有顷绝倒，寰衣视帝，余精出源，沾污被内，须臾帝崩。”(《赵飞燕别传》)）汉成帝崩逝后，班婕妤要求到成帝陵守墓以终其生。于是王太后让班婕妤担任守护陵园的职务，从此班婕妤每天陪着石人石马，冷冷清清地度过了她孤单落寞的晚年。大概一年后班婕妤就病逝了，时年约四十余岁。死后，葬于汉成帝陵中。
《团扇诗》
新裂齐纨素，鲜洁如霜雪。
裁为合欢扇，团团似明月。
出入君怀袖，动摇微风发。
长恐秋节至，凉飙夺炎热。
弃捐箧笥中，恩情中道绝。
长门怨
唐 徐惠
旧爱柏梁台，新宠昭阳殿。
守分辞芳辇，含情泣团扇。
一朝歌舞荣，夙昔诗书贱。
颓恩诚已矣，覆水难重荐。
这首来自徐惠（唐太宗李世民的妃子，死后被追封为“徐贤妃”）的《长门怨》是为班婕妤这位贤妃秋风团扇的悲苦命运鸣不平的作品。
木兰花·拟古决绝词柬友
清。纳兰性德
人生若只如初见，
何事秋风悲画扇。
等闲变却故人心，
却道故人心易变。
骊山语罢清宵半，
泪雨霖铃终不怨。
何如薄幸锦衣郎，
比翼连枝当日愿。
