南方人给她贴上了"间谍"的标签。对此，伊丽莎白颇感无奈和不公。"我不知道他们为何这么骂我，在公认的国境内为自己的祖国效力……我是如此忠诚，现在却被自己的乡亲冠以'间谍'的称号。我为何甘愿献出生命？这是一种光荣还是正直？天知道。"

　　在家乡里士满，许多人无法原谅伊丽莎白，视其为"叛徒".对此，她在日记中写道："因为忠诚，我遭到这个城市里一些心胸狭窄的男人女人的鄙视与苛责……在这个生我养我的地方，生活竟会如此痛苦、孤独，自己仿佛说着另外一种语言。"

　　1869年，曾经的北军司令格兰特当选美国总统，伊丽莎白的窘境略微好转。她被任命为里士满市邮政局局长，担任这一职位长达8年。然而，当拉瑟福德·伯查德·海斯接任总统时，伊丽莎白再次失业，几乎处于孤立无援的境地。70岁高龄时，苦闷的她联系了保罗·里维尔的家人--内战期间，里维尔作为联军军官曾获得过伊丽莎白的帮助。此后，里维尔家族和其他一些波士顿地区的富人定期给予伊丽莎白经济资助，直到1900年9月25日，这位"南北战争头号女间谍"在家中静静地走完自己82年的人生。