十七年（辛丑，公元41年）春季，正月，赵孝公刘良去世。当初，怀县大姓李子春的两个孙子杀人，怀县县令赵深入追究凶犯，两个孙子自杀，李子春被捕入狱。洛阳的皇亲国戚有数十人替李子春说情，赵始终不答应。及至刘良病重，刘秀到他家探望，问他有什么话要说。刘良说：“我一向和李子春交往深厚。现在他犯罪，怀县县令赵要杀他，我愿乞求饶他一命。”刘秀说：“官吏尊奉法律，不能歪曲。请另外说其他的愿望。”刘良不再说话。刘良去世后，刘秀追念刘良，才赦免释放了李子春，提拔赵为平原太守。
郭后宠衰，数怀怨怼，上怒之。冬，十月，辛巳，废皇后郭氏，立贵人阴氏为皇后。诏曰：“异常之事，非国休福，不得上寿称庆。”郅恽言于帝曰：“臣闻夫妇之好，父不能得之于子，况臣能得之于君乎！是臣所不敢言。虽然，愿陛下念其可否之计，无令天下有议社稷而已。”帝曰：“恽善怒己量主，知我必不有所左右而轻天下也！”帝进郭后子右翊公辅为中山王，以常山郡益中山国，郭后为中山太后；其余九国公皆为王。郭皇后失宠，常怀有怨恨，刘秀对她很生气。冬季，十月辛巳（十九日），废黜皇后郭氏，立贵人阴氏皇后。下诏说：“这是一件异常的事，不是国家之福，不准祝福庆贺。”郅恽对刘秀说：“我听说夫妇之间的私情，做父亲的尚且不能干涉儿子，何况我们做臣子的，能够干涉君王吗？所以，我不敢说什么。尽管如此，希望陛下考虑是否可行，不要让天下人议论社稷而已。”刘秀说：“你善于用自己的心揣度君王，知道我一定会适当处理，不会轻视天下人的反应。”刘秀封郭后的儿子右翊公刘辅为中山王，把常山郡并入中山国。封郭后为中山太后。其余九位皇子，全从公爵晋封为王。
十月甲申（二十二日），刘秀前往章陵。修葺先人墓园祭庙，祭祀旧宅，巡视田地农舍，摆设酒宴，演奏乐曲，进行赏赐。当时刘氏宗室的伯母、姑母、婶娘们因喝酒喝得酣畅高兴，在一起说：“刘秀小时候谨慎守信，和人交往不殷勤应酬，仅知柔和而已，今天竟能如此！”刘秀听说以后，大笑说：“我治理天下，也要推行柔和之道。”十二月，刘秀从章陵回到洛阳。这一年，莎车王贤又派使者进贡，请求设置都护。刘秀赐给贤西域都护印信绶带，以及车辆、旗帜、黄金、绵绣。敦煌太守裴遵上书说：“对于夷狄，不可以授给他们大权，而且这样做会使其他各国失望。”刘秀于是下诏书收回都护印信、绶带，把大将军印信、绶带改赐给贤。莎车使者不肯交换，裴遵强行夺回。贤从此开始怨恨，而仍诈称是西域都护，向西域各国发送文书，各国全都服从、归附。
匈奴、鲜卑、赤山乌桓多次联合军队攻入边塞，屠杀官吏百姓，大肆掠夺。刘秀下诏任命襄贲令祭肜当辽东太守。祭肜勇猛有力，每当蛮族侵犯边境，他总是身先士卒，多次打败击退来犯者。祭肜是祭遵的堂弟。征侧等连年为寇作乱，朝廷命长沙、合浦、交趾等郡准备车辆船只，修筑道路、桥梁，打通山间溪谷的道路，储备粮食。任命马援当伏波将军、扶乐侯刘隆当副统帅，南征交趾。
