刘贺的荒淫无度最终导致了他的被废。朝臣们担心他会危害国家，使天下不安，于是霍光等人与群臣一起谒见上官太后，详细陈述了刘贺不能继承皇位的情况。太后于是下诏废黜刘贺，将他送回昌邑国。

在被废黜的过程中，刘贺并不知道自己的命运即将改变。当他被召见时，心中开始害怕起来。当霍光等人宣读废黜诏书时，刘贺还试图辩解说自己有争臣七人，即使无道也不会失去天下。然而，霍光却告诉他已经不再是天子了。最终，刘贺被剥夺了玺印绶带，被扶下宫殿送出金马门。昌邑国的群臣由于没有尽到辅佐教导之谊，也被霍光全部杀了。

宣帝时期的刘贺

汉宣帝刘询即位后，对刘贺心存忌惮。元康二年（前64年），汉宣帝派使者赐给山阳太守张敞玺书，让他谨慎防备盗贼和往来过客。张敞于是分条禀奏刘贺平日的行为和废亡之状，说明他已经白痴呆傻不足为虑。汉宣帝因此知道刘贺不值得忌惮。

被封为海昏侯

元康三年（前63年），汉宣帝下诏封刘贺为海昏侯，食邑四千户。然而，侍中卫尉金安上却上书说刘贺是上天抛弃的人，不应该奉行祭祀宗庙及入朝朝见天子之礼。奏折得到汉宣帝批准。同年四月，刘贺前往其封地海昏就国。

在海昏侯国期间，刘贺的生活相对平静。然而，几年后他却因与人交通被削去三千户食邑。神爵三年（前59年），刘贺去世，结束了他跌宕起伏的一生。

立嗣争议与后代

刘贺死后，关于是否应该为他立嗣的问题引发了争议。豫章太守廖上奏说刘贺是暴乱之人不应该当一国的始祖，建议断绝他的后继。讨论的结果都认为不应该为他立嗣，海昏侯国因此被除。

然而，到了汉元帝刘奭即位时，他又封刘贺的另一个儿子刘代宗为海昏侯。刘代宗传位给儿子海昏原侯刘保世，刘保世又传位给儿子刘会邑。然而，到了王莽代汉建立新朝时，海昏侯国被废除，刘保世被削藩贬为庶民。后来刘秀建立东汉王朝恢复刘氏天下时，刘会邑又被恢复为海昏侯。