后来郭圣通被废，刘秀最终还是立了阴丽华为后，她的儿子后来即位，成了汉明帝。
真正要说的是他当了皇上之后，人说「天子娶九女，诸侯纳三妇」。皇上三宫四院七十二嫔妃从来都是正常，可刘秀却是皇帝中的例外。
他对嫔嫱并没有什么兴趣，为了尽可能地减少后宫人数，他更改了西汉以来的宫廷制度，把多达十五级的后宫姬妾制度缩减为五级，除了皇后郭圣通和贵人阴丽华，其他的就是「美人」、「宫人」和「采女」。
由于他对后宫的莺莺燕燕没有兴趣，所以后头这三级连俸禄他都没给安排，不但姬妾的人数少，而且她们的寝宫，他也很少光顾。因此，其中只有许美人凑巧为他生下了儿子刘英，被封为楚王，这是刘秀唯一一个并非由郭圣通和阴丽华生育的孩子。而且，楚王所得的封国，也是十一个皇子中最差劲的。