1872年，吴昌硕已29岁了，因战后家贫，还是孤家寡人一个。最终还是他的师友施旭臣做月下老人牵线，他才在安吉娶得归安菱湖镇的施氏为妻。
施氏夫人，名酒，字季仙。施氏是菱湖望族，虽然此时已衰落。施夫人父亲施绶善诗文但不善八股，所以连秀才也没中过，当时在安吉县衙里当幕僚。
施绶身负才华，却为县衙小吏，不免愤世嫉俗。这也影响了他的女儿，有些看不起凡俗男子。
施绶与施旭臣早已相识，两个人意气相投，因都姓施，索性认了同宗。吴昌硕因而得以认识施绶。施绶非常赏识吴昌硕的才气和性情，以为这位青年必非久居人下者。
尽管吴昌硕此时已年近而立，其貌不扬，且家境清苦，还不是本地人氏，被安吉本地人称为“山里猫”，又是个只知读书刻印的“书呆子。”施绶还是毅然决定允诺这门婚事，将爱女许配给他。
施夫人比吴昌硕小4岁，自幼随父读书，知书达理，能写诗文，还曾跟随、帮助父亲写作公文、参与政务，是个聪明能干的女子。也因此眼界很高，以至婚事蹉跎。
施家深知吴家家境困难，所以不要聘礼。婚礼也办得很简单。其间却发生了一个小插曲，令周围围观的邻人印象非常深，以至几十年后还有人说起这个故事。
当时新娘子蒙着盖头向吴家走，却不慎误踏入路边的阴沟，一只鞋子尽湿。这在风俗里很不吉利，幸好旁边有一个看热闹的人急中生智，说“潮靴”就是“朝靴”，新娘命好，过门就可当诰命了。
吴昌硕却只是淡然一笑，非常不以为然，可见他一贯的豁达性情。而这一对晚婚的伉俪却也真托了这句吉言的福，不但白头偕老，吴昌硕还多得妻子之助，终于成为一代大师。
就在吴昌硕人生最枯寂暗淡的一段生涯里，不意得到这样一桩好姻缘，补偿了他以前经历的苦涩。施夫人婚后，全力支持夫君外出游学。因她长期寄住娘家抚养孩子，菱湖也成了吴昌硕的第二故乡。
菱湖镇位于西苕溪之畔、太湖之滨，距湖州约20公里，北临太湖，西依天目山。镇内河港纵横，池荡罗布，是个平静、适宜生活的江南水乡小镇。中唐湖州诗人皎然曾有“秋色起菱湖”、“路入菱湖深”的诗句，极言此地风物之美。
菱湖历史悠久。晚唐宝历元年时就因多水产，商贾云集，人称水市。当时的湖州刺史又在此修建凌波圹、秀溪桥，初步形成了集市。因此地适宜种菱，又旁古太湖的五湖之一菱湖，所以得名，凌波、秀溪、龙湖也都成为它的别称。
北宋时属归安县。南宋时已具备市镇规模。明初洪武年间设菱湖镇，至明中后期的嘉隆万年间逐渐成为“东南巨都”、“归安雄镇。”清乾隆年间后，归安县主簿署移驻菱湖，并设厘税局，菱湖进入了经济繁荣的鼎盛期，镇中宅第连绵，冠盖如云。1876年，菱湖人口达6656人，成为湖州府的第一大镇。
吴昌硕婚后常在菱湖小住。施绶告老回乡后，他去得更勤。吴昌硕中年后长期在苏州等地充当幕僚、佐贰小吏等职，往往要随主官进退，赋闲是常事。
因菱湖离湖州、苏州、杭州等大城市都不远，水路交通又极便利，所以期间就常在菱湖小歇，等待机会。还因菱湖富足、人文也盛，能在这里为人书写或刻印来养家餬口。
施宅名鸿绪堂，坐落水边，与一家叫做青云阁的茶楼隔河相望。此时吴昌硕去菱湖，多在茶楼里会友，论文谈诗作赋。当然，菱湖岳家最吸引他的，还是暖暖的亲情。吴昌硕这个孤儿，与施家人相处很融洽。岳父很器重他，施氏有五姐妹，施的排行第三，下面还有一个弟弟，就是吴昌硕好友施为。
施为，字振甫，号石墨。归安诸生。善书古籀文，性兀傲自喜。工诗，幽愁以屈原自况，与吴昌硕诗风甚近。兼工篆刻，吸髓秦汉，可惜不轻示人。他和父亲一样能诗善书法，可惜也是没能得到一星功名，只能终生为塾师和下层幕僚。
吴昌硕和这个六弟情意甚笃，虽名为姐夫、内弟，却有师友之谊。吴昌硕现存最早的画，就是1879年36岁时在菱湖施家画的一幅《墨梅画册》，上题“振甫六弟属画”，就是画给施为的。
他们后来在苏州和上海都来往密切，吴昌硕《怀人诗》中也有一首是写给施为的，写出了对这个狂生才子的爱惜。
吴昌硕在菱湖结识的朋友还有名士吴山等人。吴山在吴昌硕中年所作的回忆录《石交录》上排名第一，也名列《削觚庐印存》中十八契友之一，还为《十二友诗》之首，可见他在吴昌硕心中位置的不一般。这除了他是吴昌硕较早的艺术师长外，也因为他是个篆刻名家，吴昌硕对他十分敬重。
吴山字瘦绿，一字叟乐，号铁隐。归安人，常年寓居菱湖。别号十二峰人。他少年曾漫游游历大江南北，见识广博。为人豪侠，倜傥不羁，吴昌硕曾为他刻过一方“天下伤心男子”的印章，可见也是个性情中人。年过六十后，才敛气自守。
吴山尤工篆刻，曾向陈鸿寿等人学习。出入秦汉，非常得古雅之趣。并擅长金石考证，多藏古铜器、玉器和书画。有《秋绿物馆印汇》。吴昌硕以为他是继嘉庆、道光间人严坤而起的湖州篆刻又一大家。
吴昌硕做客菱湖岳家时，与吴山住所非常近，闻名即久，于是登门造访。一开始两个人谈得并不顺利，直到吴昌硕拿出自己的篆刻与书法请教，两个人才开始觉得遇到了知音。
吴山指出吴昌硕作品的瑕疵，并说：“篆隶如印泥画沙，无取形似”，希望他能多模拟秦汉金石文字，并以《顾氏集印》《汉铜印存》等著作相赠。吴昌硕早年篆刻无疑深深留下了吴山教诲的影子，在浙派之外也有汉印的痕迹。在篆印等才艺外，吴山对吴昌硕也有性情上的影响。
吴山后来病逝菱湖，因为只有四个女儿，没有儿子继承衣钵，女婿们又多粗鄙，他所藏珍贵的古铜玉书画，不久就零落殆尽。幸运的是他的高妙技艺和神韵永久地留在吴昌硕的作品里。
吴昌硕常出门游学、谋生，施夫人又相继生下五个孩子，家中还有老母杨氏要侍奉，家庭负担很重。
虽然婚后家里贫苦，施氏操持家计却能井然有序。吴昌硕收入少，多亏了施氏撑持整个家，用嫁妆补贴家用，才能勉强安稳度日。
日后四个孩子的教养也多是施氏承担。吴昌硕对此很是感激，也非常为愧疚，他在很多诗歌里都表达了这种情感。
1887年，吴昌硕已全家迁居苏州，施氏正好40岁。但家境困难依旧，没钱买礼物，吴昌硕只能在妻子生日前一天写了一首诗给她，诗中充满夫妻虽然贫贱却并非百事可哀的偕隐共乐的意思。
吴昌硕家族对妻子的选择，多取书香之家的女子，施的也不例外。她常是吴昌硕写诗作印的第一位读者。
在他们长期困苦的生涯中，一起切磋艺事就是苦中作乐。施氏在夫婿与儿子的指点下，还学会了篆刻，能作小印。
吴昌硕对妻子一直是敬爱有加。1897年，施夫人五十寿辰，吴昌硕专门作《季仙五十寿》诗为她祝寿。这首诗说欲与夫人：“共觅陶潜漉酒中”，重申了与妻子偕隐共老的愿意。
无奈世事难如人愿，吴昌硕晚年事业鼎盛的时候，施夫人却于1917年病逝，又过了整整10年，吴昌硕才故世。
这十年，念旧情的吴昌硕一直很思念妻子。妻子去世后，吴昌硕曾大病一场。病愈后多次赋诗悼亡。
施的逝后一年，吴昌硕在鄣吴村附近的凤麟山麓、狮子坛后山山脚择地建墓，命二子葬妻子于此。此处与玉华山遥对，邻近家族墓地。
这是一座两个墓穴的双人寿坑墓，吴昌硕在妻子坟墓旁为自己谋生圹，是准备百年后和夫人合葬。后来吴昌硕葬在余杭超山，施夫人也迁葬超山。
