1922年，徐世昌被吴佩孚、曹锟"逼宫"下野，结束了大总统的政治生涯，回到天津当起了寓公。与北洋政府其他下野官僚不同，徐世昌并没有"伺机而动""东山再起"的野心，而是寄情于诗词歌赋、书法绘画，成为一个真正的"隐者".

　　与电视剧里奢侈富贵的贵族生活对比，徐世昌在天津做寓公之后，对家人日常生活要求严格，全家上下都过着俭朴单纯的生活。徐家的日常家宴通常只有两个菜，一荤一素，无论几口人吃饭，一般情况下都不加菜。

　　每年八月十五中秋节，别人家吃月饼过节，徐家却有"扣锅"的传统。这一天，全家上下不做饭，不吃主食，体验"吃不上饭"的感觉。这是徐世昌给家人定的规矩，因为他年轻时曾经一度落魄，所以格外珍惜此后得到的生活。即使在他过世十几年之后，徐家后人依旧坚持着这条家规。

　　"总统夫人"也与人们想象的截然不同。徐世昌过世以后，还有两位夫人与子孙们生活在一起。按照徐家当时的财力，拥有众多房产，可以收租，也可以卖房子，铺张浪费虽不至于，但一般的小康生活总还是可以应付的。但在子孙的记忆里，晚年的"总统夫人"们生活非常俭朴，身上的长袍破了，打个补丁接着穿；穿得旧了，褪色了，花一毛钱买一包蓝颜料，染了再穿。这些细节，如果是发生在某个普通工人的家庭，应该不足为奇；但发生在徐世昌的夫人身上，就十分令人感慨了。

　　晚年的徐世昌患病，经诊察被认为是膀胱癌。当时正值抗战初期，全中国人民都在积极抗日。寓居在英租界的徐世昌时刻关心着时局的变化，日本人尝试邀请他担任华北政府相关职务，被他严词拒绝。1939年，北京有关方面曾邀请徐世昌到北京治病，本来他的病情可以通过治疗得到缓解，但徐世昌担心自己离开天津后会被日本人胁迫，权衡再三，他选择了放弃治疗。

　　1939年6月6日，徐世昌在泰安道的寓所里病逝。