赵与莒七岁时，父亲赵希瓐逝世，生母全氏带他及姐赵与凤、弟赵与芮返回娘家，全氏和儿子、女儿便在当保长的兄弟全富家中寄居，一直住到赵与莒十六周岁。太子赵竑历来与史弥远不和，又常常不听老师真德秀的善劝，与丞相抬杠、生气，竟然指着地图，在侍女何翠花的面前，肆无忌惮地撂下狠话，说是日后当上皇帝，一定将史弥远贬到天崖海角。侍女何翠花是史弥远让亲信余天赐专门从浙江兰溪梅江找来的鼓琴能手，其相貌远远胜过三国的貂禅，真德秀要让赵竑暗防着侍女何翠花，说是丞相和她的关系特殊。可赵竑还没过上两天就和侍女何翠花打得火热，进而拉起风箱，还大骂老师真德秀是个不知好歹的乡巴佬，限他在一天的时间内离开太子府，真德秀万般无奈，只好含泪离开太子赵竑。且说，理宗皇帝听了杜杲的一番话语后，他便立即招集文武大臣商议国事，因太后杨桂枝的强烈反对，最终联金抗蒙的意见没有通过。离开议事殿堂后，理宗又一次单独接见了杜杲，说出了自己的迫不得已和万般苦衷。杜杲微微笑道：“我杜杲已是心满意足，说句良心话，皇上能在一天之内，两次单独面见下官，足见皇上对联金抗蒙的意见赞同，只因濠州事情太多，下官不便京城久留，冀吾皇能够掌握时机，劝说太后抗蒙联金。”宋理宗亲自将杜杲送出宫门，而就在他返回御书房之际，却见一个靓丽的姑娘突然向他快速走来。“皇上万岁，万岁，万万岁！”“你是宫女？”理宗始料未及，连忙让跪在门口的姑娘起身说话。“皇上可否听说过善琴姑娘何翠花？”见皇上问讯，翠花连忙伫立、急忙抬头。“天啊！世上哪有如此貌美的善琴姑娘？”宋理宗身不由己地自言自语，可他不敢太过放肆，暗自忖度：她是已故太子赵竑的侍女，要是没有何翠花迷惑赵竑，就没有赵昀今天的皇位，可和她过于亲切，又怕招来大臣们的闲话，那真德秀和魏了翁等人还在四处奔波、喊冤，想为昔日的太子赵竑平反……“皇上是咋的了？难道就让我何翠花杵在门口干等着？”宋理宗内心十分羞愧地轻声说道：“快进来吧！想必姑娘一定有事。”“皇上，您可知道我何翠花是谁的后人？又为何要助丞相杀死赵竑，说句良心话，赵竑喜欢翠花，也待翠花不薄，翠花本没理由助纣为虐害死太子，可为了翠花的老祖宗，翠花的任何牺牲都值得……”“大胆贼女，竟敢没有通报就擅自闯入皇家重地，还不快点出来，束手就擒？”内侍董宋臣的大喊大叫，打断了善琴姑娘的不停话语。

就在杜杲与理宗拜别，骑着快马离开京城临安之际，不想，在郊区石路的正中央却站立着一位年逾花甲、精神矍铄的长者。