波士顿1956年，布丽安娜已经上小学了，满脑子都是美国文化，身上都是美国元素。克莱尔同样适应了美国的生活方式，只有弗兰克仍坚持着英国的传统。两年后，克莱尔通过自己的努力，从哈佛医学院毕业。黑人乔也跟她同届毕业，拿到了毕业证。克莱尔在家中举行小型酒会，打算酒会后大家就去餐厅尽兴。弗兰克借口与同事有约无法前往，但因为他记错了时间，同事提前上门。克莱尔开门看见一位漂亮的女士站在门前，对方见到克莱尔显然有些意外，再看看她与弗兰克尴尬的表情，克莱尔已经能明白几分。克莱尔强装笑脸，招呼大家前往餐厅用餐，不想深究弗兰克与他同事之间的事情。
到了晚上，布丽安娜睡着后，弗兰克才醉醺醺的回家。克莱尔非常生气，虽然她和弗兰克的婚姻名存实亡，两人早就约定各自生活。但弗兰克在她的毕业礼上让情人到家里，在场的还有同学和新同事，实在是太过分。克莱尔不想再这么装下去，与其相互伤害，不如尽早离婚。但弗兰克没有同意，他不愿离开布丽安娜。
貌合神离的婚姻一直延续着，布丽安娜高中毕业，克莱尔和弗兰克也不禁两鬓斑白。此时弗兰克才提出离婚，因为他相信已成年布里安娜会选择随他一起去英格兰的剑桥大学，而不是与整日忙于工作很少回家的克莱尔生活。克莱尔这才明白，弗兰克一直就是在等待这个机会，把布丽安娜从她身边夺走，惩罚她对婚姻的背叛。弗兰克从一开始就知道，布丽安娜的存在，让克莱尔永远无法忘记杰米。那头红发、脸庞，无时无刻不在提醒着克莱尔。让布丽安娜离开，就相当于切断了杰米与克莱尔之间的联系。可是造化弄人，再周全的计划也抵挡不住命运的安排。一场车祸让弗兰克永远留在了美国的土地上，一段婚姻埋葬在了墓碑之下。
1755年，被关在阿德思穆尔监狱的杰米已入狱三年，和其他詹姆斯二世党关在一起。国王已经下令，对这些反叛国家的人不再实施绞刑，而是终身监禁。其他人可以在监狱放风区自由走动，只有杰米。因为他的名声太大，所以监狱看守他的身上加了副镣铐。正是因为起义期间的名气，使得杰米仍有巨大的号召力。为了让他配合，前监狱长每周都要请他共进晚餐，希望能维持监狱内的安定。不过新任狱长似乎对杰米并不感兴趣，更不想跟杰米一起用餐。杰米远远看了新狱长一眼，只觉得眼熟，却想不起在哪见过。新狱长则清清楚楚的记得杰米，记得他在十年前曾饶过自己一命。
约翰·格雷少校被任命为监狱的新狱长，在提审杰米时，他报出了自己的姓名，杰米却没有任何反应。其实杰米还记得他，一个曾想行刺的小兵。也是因为他，杰米才能从克罗登之战后苟活至今。
在这里盛行着一个传说，詹姆斯二世党起义期间，法国国王用于资助起义的黄金被起义军埋在了某个地方。每一任狱长都被这个传说吸引，试图找到黄金献给乔治二世国王，可往往都是无果而终。最近，监狱看守在运送物质时发现一个名叫邓肯·克尔的人在沼泽附近游荡。此人身染重病，嘴里还含含糊糊不停的嘟囔着被诅咒的黄金。约翰狱长对此事很重视，只不过邓肯已病入膏肓，所说的话夹杂着英语、法语和苏格兰方言盖尔语，因此约翰想请杰米翻译邓肯所说的内容。
在得到保证详尽翻译并保守秘密后，约翰下令除掉杰米身上的镣铐。杰米也提出自己的条件，为每一位生病的囚犯提供药品和毯子。这个要求超出了约翰的能力范围，有些强人所难。杰米只好退而求其次，给克罗登之战后在狱中苟延残喘的穆塔夫一些必要的治疗。
在邓肯弥留之际，说着一些毫无条理的话。里面提到了麦肯齐家族的艾伦·麦肯齐取了海豹女，还提到了白女巫。杰米记得自己曾为了保护克莱尔，对外宣传克莱尔是“白夫人”。邓肯口中所说的白女巫是不是克莱尔，没人知道。邓肯断断续续的说出白女巫会来寻找杰米后，就咽下了最后一口气。这些鬼话当然不会让狱长约翰满意，杰米却时刻琢磨着其中的含义。他不知道克莱尔与黄金有什么关系，更不愿意克莱尔回来。
约翰仍不死心，总觉得杰米隐瞒了什么。他改变主意，请杰米共进晚餐以缓解之间的关系。杰米利用这个机会，请求监狱看守能允许犯人在挖煤场的附近布置陷阱并准许保留捕获的猎物，另外再采摘一些水菠菜。吃绿叶菜可以预防坏血病，这是克莱尔教给杰米的。约翰并没有马上同意，但能坐在一起共享美味的山鸡，已是个不错的开始。
约翰同意了杰米的要求，犯人可以布置陷阱以改善恶劣的监狱伙食。但这只是杰米的幌子，在其他犯人检查陷阱为抓到一只兔子大呼小叫吸引注意力时，杰米跳进边上事先挖好的土坑，越狱出逃。狱长约翰派出大部分兵力在外围搜索，杰米却偷偷潜回监狱，挟持了约翰。杰米记得十年前，年青的约翰曾发誓在还清荣誉之债后就杀了杰米。如果约翰执意要通缉抓捕杰米，不如现在就让约翰履行曾经的誓言。杰米丢下缴来的长剑，单膝跪地准备引颈受戮。这是一场用生命做赌注的豪赌，杰米幸运的赢到了最后。约翰心地善良，否则当年也不会为了救克莱尔，向叛军指挥官杰米透露机密军事情报。在两人彻底解除心中的芥蒂后，杰米坦承相告，根本就没有什么法国国王的黄金，只有一块宝石而已。宝石就在杰米的手里，本想越狱后能有所帮助。可现在杰米不想因自己的行为连累其他人，把宝石交给约翰，老老实实和穆塔夫一起呆在监狱里。约翰也为穆塔夫专门找来了医生，让穆塔夫慢慢恢复健康。
平时约翰还跟杰米下下棋，杰米在法国时经常让财政大臣推子认输，可却下不过约翰。两人几乎到了无话不谈的地步，谈起克罗登之战，记忆犹新。杰米当时并不感激约翰的哥哥放过他，那么多至亲好友死在了战场上，杰米本就不愿独活。说起这个，约翰深有感触，因为他也有一个至交死于克罗登。两人有时还会说到克莱尔，知道自己以前被愚弄后，约翰也只是淡然一笑。
几年后，监狱被关闭，改为由骑兵驻守的要塞。其他犯人被看守押解着乘船前往殖民地，只有杰米被约翰单独带走。三天里，长途跋涉，走过沼泽穿过树林。被派往殖民地的囚徒将在十四年后获得自由，而杰米是被国王定罪囚禁的叛国者，必须由皇室批准才能得到减刑。国王陛下并没有这个想法，约翰能做到的只有把杰米送到赫尔沃特城堡，服侍邓萨尼大人。邓萨尼极其厌恶查尔斯·斯图尔特及其党羽，所以约翰建议杰米不要使用本名。此后的命运，将由杰米自己把握。
