吴廉回到烟雨绣楼，望着那幅失而复得的落梅图，思绪不由得飘向了远方，那是一段令他众生难忘的时光。儿时，吴家主君与夫人老师争吵，吴廉便总是喜欢和姨娘陈映雪待在一起，看着她刺绣，听着她唱歌，与她一起消磨着后宅漫长的时光。
可不是每次，他都有机会逃离父母的争执。而每当这个时候，父母总会指桑骂槐，互相不服气。而吴廉，就是这个“桑”。小小的吴廉就这样被夹在中间，左右为难，也没法解脱。于是，在父母吵得火热没空搭理他的时候，他就会悄悄溜出去找陈映雪，在她那里才能勉强吃上一口热乎饭菜。
陈映雪最爱绣梅花，她还送给吴廉两个绣着梅花的香囊。吴廉握着香囊，突然十分郑重地告诉陈映雪，往后自己最喜欢的就是梅花。看着一针一线在小娘手中幻化成一幅美丽的图案，吴廉也想试一试。而陈映雪也很是欣慰，总是耐心细致地教导他。
这日，吴廉陪母亲到郊外染坊查账。趁嬷嬷外出，吴廉便在染坊里闲逛，可他似乎看到了什么不该看到的事情。回家之后，父亲便询问他今日的见闻。可吴廉却谎称自己一路都在睡觉，在染坊也待得不久。离开父亲那里，吴廉便径直走到了陈映雪房中，自顾自拿起绣布绣了起来。待陈映雪回来，他便请求她教自己。这世上，哪有男子刺绣的事情，陈映雪担心吴廉会被责怪，便劝说他好好用功读书。可小孩子若是下了什么决定，就会有一种莫名的坚持，吴廉也不例外。无奈，陈映雪只好叮嘱他，万不可将此事告知他的父亲。
吴廉也很用功，绣艺越发出色。可不知是谁知晓了此事，带着家中的几个兄弟闯进他的房中，将他的绣布全部翻找出来，一股脑地扔到院里。很快，吴廉父亲也知晓了此事。于是，吴廉便跪在院中，任由那狠厉的鞭子打在他的身上。不仅如此，吴廉父亲还迁怒陈映雪，将她狠狠打骂了一番，还要罚她禁足院中。这夜，吴廉从小道悄悄溜进陈映雪的院子，见她脸上依稀可见的巴掌印，心中满是愧疚。陈映雪轻轻抚摸着吴廉的头，说自己在这院中有他探望才是三生有幸。明日，陈映雪就要到郊外庄子去了，临走，她劝慰吴廉，定要用功读书，将来考取功名。
为了给小娘多准备一些盘缠，吴廉一大早就拿着自己的玉佩到当铺去。可等他回到院子时，陈映雪已经将性命交给了三尺白绫。吴廉失魂落魄地回到陈映雪房中，呆呆地从天明坐到天黑。不知不觉，天已白。吴廉下定决心离家学习绣艺，将来成为一名真正的刺绣先生。不知多了多少个春秋，烟雨绣楼终于建了起来。
烟雨绣楼渐渐做出了名堂，竟得到了淮州城富绅章家的赏识。于是，似乎是顺理成章的，吴廉与章榕儿拜堂成了亲。刚开始，吴廉对章榕儿极好，回门的时候也是做足了女婿的礼仪。可对于章榕儿的肢体接触，他却很是排斥，甚至有些嫌弃。吴廉突然提到要收徒，让章榕儿亲自去张罗。章榕儿并未察觉什么不对，加之对吴廉心中有愧，便按照他的吩咐，招来了许多年轻女子。
眼看着这群姑娘们欢欣雀跃地进来，吴廉便让陈嬷嬷准备一张大号的绣布，打算绣一幅落梅图。可绣了许多年，他越觉得这服落梅图变得小气了些。于是，他打算举整个绣楼之力，绣一幅让世人称颂的烟雨绣。
