1968年的苏格兰，在亲眼目睹格列斯穿过石阵中央的大石头消失无踪后，布丽安娜相信了母亲的话。罗杰在养父收集的资料基础上，帮助克莱尔和布丽安娜梳理穿越时空的内在机理。从克莱尔回归的时间点上分析，穿越之后的时间流逝与现代是一致的。所以现在要查清楚一件事，克莱尔回来已经有二十年，那克罗登之战二十年后的1763年，杰米是否还活着。翻遍了牧师留下的古文献纪录，克莱尔终于在阿德思穆尔监狱的登记表里看到了熟悉的名字，詹姆斯·弗雷泽。从1753年到1755年，每年都有杰米的名字。但1756年监狱关闭，杰米再次下落不明，克莱尔刚刚燃起的希望之火又瞬间熄火。也许正如格雷厄姆太太所预言的，将穷尽一生追逐一个漂荡不定的幽灵。
1756年的赫尔沃特城堡，刚从意大利回来的邓萨尼大人一走下马车，就吩咐管家埃文斯把新男仆叫来。遵照约翰的建议，杰米改名为亚历山大·麦肯齐，使用了母亲的姓氏。邓萨尼大人的儿子戈登死于詹姆斯二世党的叛乱，他只知道杰米参与了那次叛乱，却并不知道杰米是起义的头领之一“红杰米”。在邓萨尼大人看来，儿子是为了信仰献身，苏格兰人也被打败，因此没有什么可怨恨的。但邓萨尼夫人未必这么想，所以邓萨尼大人决定尽量向夫人隐瞒此事。杰米则当个马夫，避免在城堡里走动，这也正合了杰米的意。
在马厩里，杰米一直谨小慎微的做事。可大小姐日内瓦的脾气实在让人难以恭维，她的妹妹伊泽贝尔小姐却迥然不同，平易近人毫无架子。从不多的对话中，杰米能感觉出伊泽贝尔不贪慕虚荣，对约翰·格雷少校情有独钟。只不过杰米很清楚约翰并不喜欢女人，却又不便破坏伊泽贝尔的深情。一年后，邓萨尼大人为了家族的利益，打算将女儿日内瓦许配给埃尔斯米尔伯爵。此人年过半百又目中无人，为此日内瓦心情无比郁闷。
日内瓦每天都要骑马散心，陪她出行是份苦差事，马厩里的伙计每天都会抽签决定谁是那个倒霉家伙。今天，日内瓦突然指定由杰米陪护，其他几个伙计都忍不住笑出声来。杰米无奈，只能准备好马匹。行进到树林的小路上，日内瓦出乎意料的和杰米谈论起自己的未婚夫。杰米哪敢随便答话，只是催着大小姐尽快返回城堡。任性的日内瓦反而纵马狂奔，等杰米沿着小路找到她时，只见她倒在地上一动不动。杰米赶紧上前抱起日内瓦准备回城堡救治，却听到怀里传来日内瓦的笑声。被人戏弄的滋味不好受，杰米猛的松手，任凭日内瓦掉进水洼。日内瓦小姐反而更加开心乐不可支，把杰米气得独自上马，回了城堡。
日内瓦并没有将杰米的不敬告诉父亲，所以偶尔来拜访赫尔沃特城堡，顺便找杰米下棋的约翰听到的都是邓萨尼一家对杰米的称赞。可无巧不成书，约翰的哥哥梅尔顿·格雷上校也看到了杰米。从约翰和梅尔顿说话的神情和语气中，冰雪聪明的日内瓦猜出杰米一定另有隐情。距离婚礼只有三天的时候，日内瓦小姐特意前往马厩，向杰米提出了一个让人吃惊的要求，她绝不会把处子之身交给那个老色鬼伯爵。这个要求，杰米无法拒绝，因为日内瓦已从梅尔顿的口中套出了“红杰米”的秘密。
当晚，杰米偷偷进入城堡，来到日内瓦的房间。或许日内瓦小姐此前是为了报复父亲和埃尔斯米尔伯爵，可她的确喜欢和杰米在一起的感觉。在激情的碰撞过后，她才真正意识到自己爱上了杰米。杰米却无法接受她的感情，克莱尔在他心里是独一无二的。几个月后，成为伯爵夫人的日内瓦挺着大肚子回到赫尔沃特城堡。为伯爵夫妇打开马车门的杰米暗暗心惊，日内瓦肚子里可能就是他的孩子。
一天清晨，伊泽贝尔慌慌张张的跑到马厩，让杰米立刻准备马车前往伯爵府。日内瓦生产不顺，邓萨尼全家都匆忙赶去。杰米坐在马车夫身旁，第一次来到金碧辉煌的伯爵府。邓萨尼一家人和女仆匆匆进府看望日内瓦，杰米只能呆在下人的房间打听消息。日内瓦生下一个健康的男婴，但她自己却出血不止。杰米内心焦急，如果克莱尔在场一定知道如何救治日内瓦。
很不幸，杰米从伊泽贝尔口中得知，日内瓦没有挺过来。而且纸包不住火，日内瓦结婚后从未与伯爵同过床。伯爵抓起刚出生的婴儿，手里握着匕首，坚决不承认与邓萨尼达成的协议。邓萨尼大人不相信自己的女儿会做出败坏门风的事，与伯爵的争吵几乎失控。杰米赶紧挡在邓萨尼的手枪前，劝双方放下手中的武器。接过邓萨尼大人手中的枪后，杰米慢慢走向伯爵，希望他把孩子交给邓萨尼大人。哪知伯爵认定自己的名誉受辱，举起手中的匕首刺向婴儿。杰米不由分说举枪便射，从伯爵怀中救下了自己的孩子。
孩子被取名威廉，在伊泽贝尔的照顾下健康成长。他的身世只有杰米和伊泽贝尔知道，伊泽贝尔会时不时的创造机场让杰米与孩子相处一会。伯爵的死因也在邓萨尼家族的斡旋下，判为丧妻悲痛自杀。邓萨尼夫人很感激杰米所做的一切，虽然对杰米的身份有所耳闻，但仍愿意帮杰米恢复自由，返回苏格兰。杰米不想离开自己的儿子，以需要赚钱寄给家人为由，留在了赫尔沃特城堡。
时光飞逝，1764年威廉六岁了，并继承了伯爵的称号。杰米会在城堡的草地上教他如何熟练的驾驭马匹，成为一名出色的骑手。可小威廉越来越像杰米，有时会引起一些不必要的议论。为了避免这样的议论，杰米决定回家，回苏格兰。在离开前，他将威廉托付给挚友约翰。约翰早就看出威廉与杰米的关系，而且他还做了另外一个惊人之举，与伊泽贝尔订婚。约翰和伊泽贝尔都会视威廉如己出，悉心照顾。这让杰米对这位英格兰军官不由得心生敬意。
