因为自己不能得到社会声望，林肯夫人就特别嫉妒那些得到社会声望的人，华盛顿社区的统治女王就是著名的美人安迪科斯·道格拉斯，她的丈夫就是玛丽·林肯的前情人史蒂芬·道格拉斯。道格拉斯夫人及蔡斯的女儿的名望都让林肯夫人产生了强烈的嫉妒感，她决心用金钱给自己带来社会名望，那就是用钱买衣服和首饰打扮自己。
“为了赶上时髦，我必须要有钱，我得到的钱要比林肯给我的还要多。林肯太老实了，因此，我还是没办法，只能继续欠债。”林肯夫人说道。
林肯夫人的欠债量达到了几乎7万美元，这是个庞大的数字，而林肯当总统的工资才25美元。为了还债，必须将林肯两年零九个月的工资全部积攒下来。
我从伊丽莎白·凯克莉那里得到了几次证实。凯克莉是一个很不平常且聪明的黑人妇女，她付钱为自己买到了自由，然后来到华盛顿，开了个专门制作女童衣服的小店。在很短时间内，她就得到了华盛顿一些主要社会名流的青睐。
1861年到1865年，凯克莉几乎每天都与林肯夫人待在白宫，并作为一个私人女仆伺候林肯夫人。最终，她不仅成为林肯夫人的知己与顾问，还成了她最亲密的朋友。在林肯遇刺后垂死挣扎的那晚，林肯夫人唯一呼喊的就是伊丽莎白·凯克莉。
历史是幸运的，凯克莉女士写了一本关于自己人生经历的书，已有半年没有出版了，但破旧的一些副本偶尔仍能在稀罕书经销商那里买到，价格是10至20美元。标题很长：“下面的文字是关于伊丽莎白·凯克莉。她以前是个黑奴，但后来成为童装店的经营者，然后成了林肯夫人的朋友，或者可以说成‘三十年的奴隶生涯及四年的白宫生活’”。
伊丽莎白·凯克莉在1864年夏天写了这些回忆录。当时林肯准备为连任总统而努力。
林肯夫人几乎要疯了，她心里满是恐惧与焦虑。为什么？因为林肯夫人在纽约的一个债权人威胁要起诉她。林肯的政治敌人可能利用林肯夫人的债务问题在大选中制造“政治轰鸣”，并让林肯夫人达到发狂的程度。
“如果林肯连任了，我就能在他面前瞒住我欠债的事。但如果林肯失败了，债权人会跑进门，然后林肯就会知道。”林肯夫人歇斯底里地哭泣并说道。
“我会跪下来，为你去求选票。”林肯夫人对林肯哭着说。
“玛丽，我恐怕你将会因这种无法抵抗的焦虑而遭受惩罚。如果我被选上了，一切都会好的。但如果失败了，会给你带来失望。”
“林肯先生怀疑你欠账了吗？”凯克莉问道。
下面就是回忆录的一百五十页写的答案：
“上帝啊，不，”这是林肯夫人最喜欢的一个表达，“我将不会让林肯怀疑，如果他知道自己的妻子做事做到这种程度了，会让他变疯的。”
林肯被刺杀带来的唯一好的因素，就是他在没有知道这些债务的情况下死了。
林肯被刺前一周，林肯夫人在宾夕法尼亚大街的一个店子里，尝试卖掉印有自己名字字母的衬衣。
西沃德听说此事后，他带着沉重的心情将很多衣服买了下来。
当林肯夫人离开白宫时，她带了二十个箱子及五十个包。
这也引发了很多闲言碎语。
此前，林肯夫人已被公开地且反复地指控，通过伪造款待那波利亚王子的娱乐报销单诈骗美国财政部。林肯夫人的政治敌人还指出，尽管当时她只带着几只箱子来到白宫，但她离开时所带的东西足以装满一辆载货车。为什么？难道她来白宫掠夺了吗？她赤裸裸地拿走了她能拿的一切东西了吗？
即使到了1867年10月6日，也就是林肯夫人离开华盛顿两年半后，《克利夫兰先驱报》在谈到林肯夫人时这样说道：
“要让整个国家知道，弥补白宫被掠夺的一切，需要差不多10万美元，让我们来证实到底谁是掠夺行动的受益者。”
的确，在“玫瑰女人”统治时期，白宫的很多东西都被偷走了，但很难说是林肯夫人的错。当然，她犯过错，在白宫她做的第一件事就是开除白宫干事和其他的雇员，并表示她要自己管理这个地方，让白宫的一切活动都要以节约为标准。
除了门把手和厨灶外，仆人们几乎把所有的东西都偷走了。1861年3月9日，《华盛顿明星报》报道，许多参加白宫招待会的客人都发现自己的外套及晚装不见了。不久前，白宫的家具也被人用车拖走了。
五十个包及二十个箱子！那里面到底放的什么？很多都是无用之物：废弃的赠品、雕像、无价值的图画和书籍、蜡花、鹿头及其他大量旧衣和旧帽子。
“她有储存旧东西的爱好。”凯克莉说道。
当她在打包的时候，刚从哈佛大学毕业的儿子罗伯特建议母亲将火柴也带上。当林肯夫人对此施以嘲讽时，罗伯特说：“我希望装满这些盒子的车辆在去芝加哥时都着火，并烧掉你所有的这些旧战利品。”
那天早晨，林肯夫