無論古今中外，帝王之家都是矛盾重重，漢光武帝的後宮也不能例外。光武帝先後立過兩位皇后，即郭皇后和陰皇后。陰皇后原名陰麗華，是劉秀年輕時在家鄉的情人。史書記述，陰麗華是家鄉南陽郡的著名美女，劉秀曾經對朋友說：「娶妻當得陰麗華。」因此劉秀在昆陽之戰後，迎娶陰麗華為妻，可以說是英雄配美人。隨後光武帝遭遇了兄長被更始帝所殺，自己受到猜疑，隨起義大軍北上，脫離更始集團經營河北等經歷，陰麗華留在家鄉南陽守候。

光武在河北受到王郎追殺，卻得到真定豪族郭氏家族的保護。郭氏家長郭昌的父人是前真定王之女，號稱「郭主」。真定王是漢景帝的後裔，世襲王爵，已經歷七代，王爵雖然被王莽所廢，但家族在地方上仍有舉足輕重的影響力。郭昌早死，郭主對光武非常欣賞，願意支持光武與王郎爭奪河北控制權，於是將愛女郭聖通下嫁光武，史書簡單地記述：「昌早卒。郭主雖王家女，而好禮節儉，有母儀之德。更始二年春，光武擊王郎，至真定，因納后，有寵。及即位，以為貴人」。可以推知帶有政治婚姻的成份。然而光武對郭聖通也感情深厚，郭聖通為光武生了五個兒子，長子是劉彊(即強字的古代寫法，後習慣用簡化強字，與疆字有區別)。史書謂：「建武二年，貴人立為皇后，彊為皇太子」(《後漢書．皇后紀．光武郭皇后》)。

光武並未忘記在家鄉守候的陰麗華，於是「光武即位，令侍中傅俊迎后，與胡陽、寧平主（光武妹）諸宮人俱到洛陽，以后為貴人」。陰麗華亦識大體，甘居卑位，史書說：「雅性寬仁」，堅持退讓。其後，陰麗華亦為光武生了五個兒子，長子名劉陽，後來改名劉莊。

十多年來，光武周旋在郭、陰兩宮之間，非常苦惱。終於在建武十七年十月作出決定，廢皇后郭聖通，改立貴人陰麗華為皇后。光武改立皇后的公開理由，據史書引述的詔書說：「皇后懷執怨懟，數違敎令，不能撫循它子，訓長異室。宮闈之內，若見鷹鸇。旣無關雎之德，而有呂、霍之風，豈可託以幼孤，恭承明祀。陰貴人鄉里良家，歸自微賤。宜奉宗廟，為天下母。」可知郭皇后自恃出身高貴，而且家族有輔助建國大功，在宮中盛氣凌人，對陰貴人及陰氏諸子，甚至對光武本人不假詞色，因此光武在詔書中有「宮闈之內，若見鷹鸇」一語。陰麗華事事忍讓，使光武感受溫情。

郭皇后被廢之後，改稱「中山太后」，跟從第二子中山王劉輔居住，後來劉輔改封沛王，郭氏亦改稱「沛太后」。郭后被廢時，母親郭主仍在，光武為了安撫郭主，對郭氏子侄加官晉爵，「賞賜金錢縑帛，豐盛莫比」，郭家號稱「金穴」。建武二十六年，郭主逝世，兩年後，郭后也逝世。