1865年，乱世平息，吴昌硕回乡后不久，他的父亲吴辛甲续娶了安吉晓墅人杨氏为继室。
杨氏对吴昌硕非常好，还在吴辛甲去世后督促吴昌硕继续刻印。
吴辛甲成亲后，决定带儿子迁居到安吉县城安吉。当年秋，22岁的吴昌硕带着忧郁，离开满目萧索的鄣吴，涉过梅溪，迁居到25里外的“湖州安吉县”定居。
两地虽然相隔不远，但当时是因为鄣吴村十室九空，一片荒凉，难以安身立命，吴家才被迫迁居安吉城内，对于重土安迁的中国人来说，被迫离开自小生活的地方总是可悲的。所以吴昌硕当时有“故乡虽未远，易地亦忧伤”的诗句。
虽然从此离别了家乡，但吴昌硕对故乡的绿水青山、父老渔樵一直怀着深深的感情。每年，他总要返回故乡一次，拜谒祖坟，祭祀宗庙，粗茶淡饭家宴族老亲友。他热爱家乡，热爱家乡人民，竭力维护家乡的风土风貌。
村上的参天古木有人要砍去卖，他出资全部买下，立章保护；村上人家谁添了小孩，他都每人送15块大洋作为保育费。
回乡时小伢子上前叫一声“吴公公”，他每人给三个铜板叫他们拿去买糖吃。乡亲们请他画画写字总有求必应，从不推却的。
吴昌硕留在家乡人们中的书画艺术珍品至少有百件之多。他给乡贤刘桂林画《朱砂佛》，为农民沈谷生写“吉庆堂”斗大匾额，给玉华庙画过梅兰菊竹四条大条幅等，这些都在家乡父老中还成为美谈，成为神话般的传说，传为美丽的民间故事。
不过这一切还是后话。初到异乡的吴昌硕，这时正为了生计，与父亲勉力开荒种地。就在迁居安吉这一年，1865年的秋天，适逢安吉县补考咸丰庚申科的秀才。
吴昌硕经父亲，还有安吉学官、此时的老师潘芝畦一再催促，迫于人言、庭训，勉强仓促应试，竟侥幸考中，成为秀才。
其实，5年前的庚申年，17岁的吴昌硕曾到孝丰县报过府试，却因为战乱而未能赴试。
随父亲逃难他乡的时候，未过门的章氏夫人含泪送到村前，还把自己亲手做的一双布鞋和他父亲的一本古书塞到他手里，叮咛说：“兵荒马乱，请夫君自己珍重，学业也不要荒废。”鼓舞他世道太平了再去应试。
对章氏夫人的高尚品格，殷殷相嘱，吴昌硕矢志不忘，拳拳服膺。为报答章氏相许之诚，情谊之笃，战乱平息返乡后，他便参加考试，而且考了个秀才。
这次考中，总算是了却了自己的一桩旧愿，也实现了亡妻章氏的嘱托。想到此，吴昌硕心中既有苦痛，也有淡淡的喜悦。
吴氏父子迁往安吉后，在偏于城东北角的桃花渡畔置地建宅。安吉毕竟是县城所在，虽经战争洗劫，山城显得很萧条，却还不像鄣吴一样不见人烟，但也已非旧日繁华面目。
为了生存，父子俩在城市边缘的数亩荒芜的旷地上耕种。对于耕种，吴昌硕并不生疏。不久他们开垦了半亩多地，造起了几间茅屋，总算又有家了。
由于经济拮据，当时所筑楼房很小，也较简陋。小楼虽小，却仍是读书楼，主人将其题名为“篆云楼”，即有书卷气，又不乏超逸不凡的豪气，自见其情趣。
他们还在旁边开辟出一个园子，吴昌硕将之取名芜园，还建了一个书房，名叫“朴巢”。
吴昌硕父子在此继续过着耕读生涯，但日子和鄣吴比起来还是起了很大变化。
安吉毕竟不是偏僻山村，吴昌硕已非当年的吴下阿蒙。劫后余生，痛定思痛，吴昌硕觉得耕作芜园，日日与稼穑为伍，过平淡安详的日子，是很惬意的事。
经过吴昌硕父子的惨淡经营，芜园有了许多生机。可是，既然芜园并不荒芜，吴昌硕为何名其“芜”？
芜园之所以是芜园，首先是因为里面大量生长着一种绿色植物芜菁。芜菁俗称大头菜，是一种生命力极强的植物，可供荒年果腹充饥。
这种普通植物的特性恰好切合了仍在穷困中生存的吴昌硕的心境，因此他就把园名取了个“芜”字，还自号“芜青亭长”、“饭芜青室主人等。”
当然，“芜”字的用意不止局限于芜菁这一实物，还有别的丰富含义。正如他此时还将自己的书斋名定为“朴巢”一样。“朴”，意为朴素本色，还有荒率野逸的意思，与“芜”相通。何为“芜”，当时吴昌硕的朋友就有很多认识。由于他们是同时代的同一类人，所以感受很贴切。吴昌硕此时的朋友、与他号称“芜园”岁寒三友的朱正初慧眼识得吴昌硕是土木形骸其外而金玉其内，所谓“残芜其末而不芜其本，芜其外而不芜其中”。
吴昌硕的另一位老师兼挚友、安吉籍诗人施旭臣因吴昌硕嘱咐作《芜园记》，更详细地记录了芜园始末，揭示了“芜”的意义。他认为，自然界有荒芜才有再次的生机，人也是必先芜而后丰其德，经历苦难才能得到丰盛的成果。
施旭臣在《芜园记》结尾，指出吴昌硕与芜园一样不事修饰而富于醇厚饱满的精神力量，所以才将园子取名“芜园”。他更以老师的身份预言，芜园只是吴昌硕的暂时栖居与蛰伏的地方。
