尚书命黄霸答复，黄霸脱下冠帽请罪。过了好几天，皇上才不再追究。从这件事之后，黄霸再也不敢提出什么建议。不过，自从汉兴以来，善于治理百姓的好官，黄霸排第一。
3三月，汉宣帝巡游河东，祭祀后土神，并下诏减少口钱（人头税，百姓七岁到十四岁出口赋钱，每人二十三钱，其中二十钱用于供养天子，三钱是汉武帝增加来补车马费用。之前已经减免过一次，减到十六钱，这次再减，减多少具体数目不详），赦免天下死刑以下罪犯。
4六月十六日，汉宣帝任命西河太守杜延年为御史大夫。
5设置西河、北地属国以安置匈奴降者。
6广陵厉王刘胥让女巫李女须诅咒皇上，祈愿自己当天子。事情被发觉，刘胥毒杀女巫及宫女二十余人以灭口。公卿们请求处死刘胥。
五凤四年（丁卯，公元前54年）
1春，刘胥自杀。
2匈奴单于向汉朝称臣，派遣弟弟右谷蠡王到长安入侍做人质（匈奴此时有三个单于，不知道这是哪位单于）。汉朝因为边塞地区不再有战事，将边防部队减少了十分之二。
3大司农中丞（大司农的副长官，掌钱谷金帛等事务）耿寿昌上奏说：“连年丰收，谷价低贱，农民收入减少。根据以前的惯例，每年从函谷关以东地区运输粮食四百万斛以供应京师，需要动员士卒六万人。如今可以在三辅地区和弘农、河东、上党、太原等郡就近收购，供应京师，可以节省关东漕运部队一半以上。”汉宣帝采纳了他的建议。耿寿昌又说：“令边郡都修建粮仓，在粮价低贱时加价收购储存，荒年粮价上涨时再低价卖出以平抑粮价，命名为‘常平仓’。”百姓受益匪浅。皇上下诏赐爵耿寿昌为关内侯。
4夏，四月初一，出现日食。
5杨恽失掉封爵、官位后，住在家里治理产业，以财富自娱自乐。他的友人、安定太守、西河人孙会宗写信警告他说：“大臣废退，应当闭门思过，惶恐畏惧，做出可怜的样子。不应当搞得产业发达，宾客如云，还享有盛誉。”
杨恽是丞相杨敞之子，有才能，从小就在朝廷担任要职，声名显赫，因为一些暧昧无法辨明的言语就被废黜，心中不服，回信给孙会宗说：“我检讨自己，罪过已经很大了，行为也有亏欠，就决心做一个农夫，默默无闻于世，所以率领妻子儿女，努力耕种农桑，没想到还会为这个遭受非议!人情所不能克制的，圣人也不能禁止!所以就算是至尊无上的君王，至亲无比的父亲，即使他们去世，守丧也有一定的期限（三年）。我被罢黜，也已经三年了（意思是说即使要我闭门反省、惶恐、畏惧，那三年也到期了），耕作劳苦，到了岁末农闲严寒之时，烹羊烤肉，斗酒慰劳自己，到了酒酣耳热的时候，仰天击缶（盛酒的瓦罐）而歌，其诗曰：‘在那南山耕种啊，杂草荒乱，除之不尽。种下一顷豆子啊，豆子却都掉落了，只剩下低垂的豆茎。人生行乐而已，何必盼望富贵!’我这个样子确实是荒**无度，不知道是不是不能这样。”
杨恽哥哥的儿子、安平侯杨谭对他说：“你的罪很小，又有功（杨恽之前有揭发霍氏谋反之功），以后还有机会被任用!”杨恽说：“有功又怎么样，这样的皇上，不值得为他尽力!”杨谭说：“皇上确实是这样，之前盖宽饶、韩延寿都是尽忠尽职的好官，还是出事被诛杀。”
当时正好有日食发生，有一个叫“成”的马夫头上书说：“杨恽骄奢，不思悔过，日食的警告，就是应在他身上。”事情交给廷尉调查，搜查出杨恽写给孙会宗的书信。皇上读了信件，非常厌恶。廷尉判决杨恽大逆不道，腰斩；妻子儿女流放到酒泉郡；杨谭受牵连，被贬为庶人；几位与杨恽交好的在职官员，包括未央宫卫尉韦玄成和孙会宗等，都被罢免官职。
【司马光曰】
以孝宣皇帝之英明，加上魏相、丙吉为丞相，于定国为廷尉，这样的领导班子够好了。但是，赵广汉、盖宽饶、杨恽之死，都不能让百姓心服，对孝宣之治来说，是很大的污点!《周官·司寇》有议贤、议能的规定，考虑被告的贤德、才能，应当相应减轻处分。比如赵广汉、韩延寿之治理百姓，这就是才能；盖宽饶、杨恽的刚直，这就是贤德。所以就算有死罪，也应该宽待他们，更何况他们根本就罪不至死呢!扬雄认为韩延寿诽谤萧望之，是自取其咎。但是我认为，韩延寿的行为本身也是萧望之激起的。皇上不能洞察隐情，却使韩延寿独自无辜受死，不是太过分了吗!
【柏杨曰】
文言文原版《资治通鉴》，有张晏对杨恽那首歌的解释，看了之后，毛骨悚然。张晏的解释是：“南山是很高的地方，象征皇帝。杂草荒乱是攻击皇帝昏乱。一顷是一百亩，寓意朝廷文武百官。豆子是很结实的东西，代表忠贞，应该收进仓库里，却掉下来，沦落到旷野。豆茎低垂，曲儿不直，暗示朝廷官员都是谄媚之徒。”
张晏是什么时候人以及是干什么的，我们不知道，仅从他对杨恽这首歌的解释，就可以了解文化杀手的可怖。张晏竟能从一首普通的歌词里，找到足以使作者毁灭的罪证，这种本领，如果用到科学研究上，中国该有多大进步？却偏偏用到文字狱上。
【华杉讲透】
杨恽之死，值得好好学习。司马光写《资治通鉴》，是写给皇帝看，所以他是站在皇帝的角度看问题。柏杨写《资治通鉴》注解，是怀着批判的角度，批判“万恶的旧社会”。我们读《资治通鉴》呢，主要是看自己从中学到什么。
一、不能受不得委屈。
特别是家世太好的人，容易受不得委屈，少年得志大不幸，这就是杨恽的写照。他出身在之家，又才华横溢，所以一直活在社会金字塔的塔尖，他认为这就是自己应该在的位置，却忘了“一切都是难得可贵，没有什么是理所应当”。
二、对自己的功劳要随时清零。
你有功劳，国家已经回报你了，之后就应该马上清零，千万不要把自己的功劳当资本，而要当消费品，快速消费掉。未来的一切，要重新开始。
三、一切都要不断获取，没有什么是一劳永逸。
所有的一切，功名利禄、权力地位，甚至人身安全，都需要不断地获取，不是一劳永逸的。包括现在流行的一个词，叫“财务自由”，完全是虚幻的，没有人因为钱多而获得财务自由，只有因为勤奋和善于持家获得财务自由，那勤奋和善于持家的人，无论多少钱，都是财务自由。不善于持家又不勤奋的人，爸爸留下再多钱，也过不好一生。
四、不要有怨气，因为怨气会杀人。
杨恽对皇上有怨气，正是他对皇上的怨气，杀死了自己。孔子说：“唯小人与女子为难养也，近之则不逊，远之则怨。”盖宽饶就是“近之则不逊”，说话触怒皇上。杨恽就是“远之则怨”，皇上不亲近他了，他就心怀怨愤，要用“我过得很好”来示威。
五、记住一句话：身怀利器，杀心自起。
在这里身怀利器的是谁呢？皇上和杨恽都是身怀利器的人，他们都起了杀心。
皇上看谁不顺眼，他就可以杀掉谁。为什么伴君如伴虎，就是因为这个心理特征。以前出过刑事案件，某人得了一把好刀，他特别想试一试这把刀，结果他就夜晚出去杀了一个无辜的路人，自己也被抓捕，上了刑场。这就是一个简单的心理。皇上手里就有这把杀人的利刃，而且他有“合法杀人权”，杀任何人都合法，他就非常容易杀人。
杨恽自己又何尝不是身怀利器，杀心自起呢？他的利器就是他的才华，他唱的歌就是投向皇上的匕首和投枪。张晏对他的诗歌所做的文本分析，完全准确。他要是说这就是一首普普通通的歌，那是自欺欺人，掩耳盗铃。
杨恽报复皇上的，不仅是这首歌，还有他“成功人士”的生活。皇上要惩罚他，他却要显示我过得比当官还要好!而且继续交游京城仕宦旧友，让还在朝中为官的大臣们看到——“人家杨恽，那才叫生活!”这也最终连累了和他交好的朋友们被免官。
六、别怪皇上薄情，自己的心比皇上还狠!
人们容易同情弱者，说他们“罪不至死”，但是，那时代的游戏规则，就是有罪无罪都可以死，所以说“罪不至死”根本没有意义。这些大臣们为官一方的时候，对那些名字上不了史书的草民，杀得流血数里，根本没把那些被杀的人当人，而他们的性命在皇上眼里，也就跟百姓的性命在他们的眼里一样，都不重要。
不仅如此，他们相互倾轧的时候，对别人不也是置之死地而后快吗？他们都想借皇上的手杀掉对方，斗争失败了，轮到自己死的时候，又觉得自己“罪不至死”了。还是严延年的母亲说出本质：“天道神明，人不可独杀。”没有只能你杀别人，别人不能杀你这回事，那杀人的，也被人杀；那想害死别人的，也被别人害死。