而辞官免职，临行前他上表今上，意指天不眷顾今上，以致其无子为嗣，力劝他选宗室为储，说“陛下昔诞育豫天，若天意与陛下，则今已成立矣。近闻一年中诞四公主，若天意与陛下，则其中有皇子也，上天之意如是矣，陛下合当悟之。”
今上虽然仍坚世不立储，但如今年事既高，他对求子一事看起来也不甚热心了。平日除了找皇后与苗贤妃叙话，便是与秋和相守一处。秋和病痛缠身，早巳骨瘦如柴，不直昔日玉容，据她阁中侍女向苗贤妃透露，今上也未必是要她侍寝，大多时候只是与她默默相对，或在她身边闭目安歇。
今上的愁苦也影响到秋和。有次我去探望她，见她啼眼未晞，分明刚刚哭过。见我入内，她立即含笑以迎，刻意掩饰刚才的泪痕。我们闲谈时，十一公主午睡醒来，开始哭泣，秋和忙去哄她，我趁此时询问阁中提举官赵继宠秋和落泪的原因。赵继宠说，今日官家上早朝回来，光在秋和这里坐了坐，却也不说话，怔怔地出了半天神。秋和很小心地问他为何不乐，他看着她，长长地叹了口气，说：“秋和，为什么咱们生的不是儿子？”