在寂静的芜园里，吴昌硕在耕作之余，主要是认真读书。他不喜欢八股文，只喜欢读金石文字、诗文、书法、篆刻的书。
吴昌硕常常沉迷于书中，静夜荒园，几不知世外岁月。战争中典籍散失殆尽，家里藏书不多，有时为借一部书，他要步行到数十里外，虽然早出晚归，却也不以为苦。
借来后就废寝忘食、燃膏继晷地阅读，有时还把整部整卷书都抄录下来，为了日后能继续研读。因为此时得书不易，吴昌硕一辈子都爱惜书。
吴昌硕除了继续在父亲指点下学习篆刻治印，还在芜园从师会友，结识了当地许多饱学之士，如本邑名儒施旭臣、朱正初、张行孚等人，及游宦、寄籍安吉的潘芝畦等人。
吴昌硕常虚心向各家学习诗文、书法、金石篆刻。这些人多是仕途不顺、流落乡间不得志的才子学人，将他们的才华与志向都传给了这个好学的年轻人。
施旭臣、朱正初和潘芝畦三个人是吴昌硕芜园时期最重要的知音、密友和引路人。他们常和吴昌硕在芜园诗酒唱和、切磋艺事，慢慢就成了莫逆之交。
施旭臣，名浴生，又字紫明，安吉顺安乡人，诗文造诣非常深，著有《金钟山房诗文集》。施旭臣不但诗文出色，且书法似两王，古媚可爱。虽未曾学过篆刻，不擅刻印，但眼光独到，常能与吴昌硕见解契合。吴昌硕每有所作，他也能道出深意。
吴昌硕早期在诗文上多受施旭臣影响。施旭臣作诗不拘一格，于汉、魏、六朝、唐、宋都撷取其菁华，以风格神韵为宗。吴昌硕日后的诗兼取唐宋，风骨气韵兼备，不以当时为正宗的宋诗为唯一取向，也有这个早期师友的影响。
吴昌硕与施旭臣相交最深。施是吴昌硕从之学诗法的第一个老师，每有习作，就请施削改，于诗略窥门径。他俩还曾共赴杭州，在西湖诂经精舍从经学大师俞樾学文字、训诂之学，同门一年多，彼此交情在师友之间。
施旭臣还是吴的媒人。吴夫人施氏的父亲施绶，湖州菱湖人，贡生出身，善诗文，当时在安吉县衙里当幕僚，与施旭臣相熟。施旭臣把吴昌硕介绍给他。施绶非常赏识吴昌硕的人品才学，于是将爱女嫁给了他。
也许是施旭臣的诗人性情和八股套路的时文策论多有相悖，他入痒后屡番乡试不第，郁郁不得志而浪迹南北，且中年多病，生计窘迫，人多潦倒。1890年，施旭臣在北京去世，吴昌硕非常悲痛。
朱正初，字旭楼，安吉县南北庄尺五村人。因家附近有六泉山，号“六泉山人”。1866年举人。朱是位诗人，有诗集《山居杂咏》。身世坎坷的朱正初，曾投石达开幕中，后逃离太平军，来到安吉县城避难。由施旭臣把朱正初介绍给吴昌硕。
朱正初虽然比吴昌硕大13岁，但因为都厌恶战争，所以两个人非常有共同语言。朱正初曾受邀长住芜园，而且成了吴昌硕早年学诗的另一个老师。吴常应朱正初命题作诗，两个人在交往中唱和甚多。
1880年正月，吴昌硕从苏州回芜园，与朱正初重逢，有《东郊散步偶书》和六泉一首。在吴昌硕全家迁居苏州后，两个人仍维持通信，可见其友情经久而弥深。
吴昌硕芜园时期的重要乡友还有张行孚。张行孚字子中，号乳伯，清末安吉凤亭乡人。
张行孚长于《说文》，并工秦篆，毕生研究文字音韵训诂之学，为人落落寡合，以著述为乐。著有《说文审音》16卷、《说文发疑》7卷等，还曾与丁宝书合纂同治版《安吉县志》。吴昌硕在经学、金石、文字训诂上多受到其影响。
张行孚同治年间领乡荐后，在扬州作候补，非常不得志。吴昌硕过扬州时曾去拜访。两个人抵掌谈古论今，张行孚慷慨激昂，一点也没憔悴可怜的样子。
除上述本地乡友，潘芝畦、钱铁梅等当时寄籍安吉的外地人，对吴昌硕也多有提携或彼此常相切磋。
到1873年，吴昌硕30岁左右，在芜园，在篆印和书法外，他在艺事上又有了新的追求。他开始从安吉的潘芝畦学习画梅。
潘芝畦，初名喜陶，字子余，又署芝畦、紫畦，号燕池，海宁硖石人，当时是孝丰邑校官。他是吴昌硕父亲吴辛甲的诗友，《半日村诗稿》中就收有他俩的唱和之作。
潘芝畦为人性情淳厚和雅，潇洒自如。他工于诗，也倾心书画。尤其擅长画梅。潘芝畦爱饮酒，吴昌硕这个爱徒也常陪着同饮，两个人非常为相得。
吴昌硕后来曾赞美他所画梅花没有倔强桠槎的习气，清风远均，有雪后水边之致。可见他的画仍属文人雅韵。
其实潘芝畦画梅是学善墨梅的晚清画家汤贻汾的笔路，善以飞白笔法扫画梅花枝干。吴昌硕随之学画梅，日后虽又取径多家，并以金石意味自成一大家，但笔法也还是不脱“扫”的痕迹。
吴昌硕为什么这么喜欢画梅呢？据说这和他的一段情缘有关系。吴昌硕曾与其万姓表姐有一段青梅竹马的情缘。他们曾登山采兰花，还赠梅花以为信物。
后来不知怎么两家并无结亲的意向，万氏出嫁了，吴昌硕也由父母做主另外定亲。
表姐出嫁那天，吴昌硕从他和表姐亲手栽的那株梅树上摘了几支红梅，并作为礼物放在表姐旧日的梳妆台上。
后来，吴昌硕虽然长期在外学艺，客姑苏、寓沪上，不经常回故乡，但和表姐万氏青梅竹马情景，却一直留在他心里。因此在他的诗与画中，处处让人感到他对梅花特别的喜爱。
关于吴昌硕跟潘芝畦学画梅，还有一些传说。说当时潘芝畦经常为人漆家具。吴昌硕就经常跟着他为乡亲们油漆木器家具，在那些出嫁新娘的牙床上、箱柜上、桌椅上画梅兰竹菊，喜鹊登枝。
但吴昌硕并不满足于这些，他觉得终年挑着一副油漆担子走乡，生活刻板枯燥，味同嚼蜡，一天到晚画这些梅兰竹菊，干匠人活，也觉得没有多大意思。
于是，吴昌硕休息时就找些旧纸、毛边纸来写字画画，提高自己的书画水平。慢慢地，他觉得挑着一副油漆担子走千家也很有趣，可以利用这个机会把自己的书画到处展示，从中听取各种意见来提高自己书画艺术。
这样，吴昌硕跟着潘芝畦，到哪一家去做油漆生活就把自己的书画贴在做生活的墙壁上，让来往乡亲和走家串门的人们去观看评说。
不管人们指手画脚，说三道四，讲好也罢，讲不好也罢，他只是一面做生活一面听听笑笑。
做油漆生活有打底、上色、绘画、油漆等好几道工序，而且每道工序之间往往要相隔好几天，有时十天半个月，他便利用这个时间，第一次上门做生活贴上自己的书画，第二次上门把旧的换下来，把带去的新作贴上去。
这样，一年四季、家家户户便成了他书画作品巡展和轮展的场所，听取群众意见的好地方。
就这样，吴昌硕奠定了自己最初的绘画根基。虽然这时的画还不能算真正意义的上画，可以说还没有入门，但这毕竟是一个开始。
在这一段时间，苏州人钱铁梅也曾住过芜园。他年纪比朱正初还大，他没有做官，是个孤老。年轻时曾游幕湖州、杭州、苏州。吴昌硕后来还步其后尘外出游学。
1870年前后，吴昌硕在安城外东面的茅庵寺守馆，在私塾里教十多个蒙童，同时潜心金石书画和诗文。
这期间，吴昌硕常与朱正初、钱铁梅在芜园诗酒唱和，切磋艺事。三人以芜园中的松、竹、梅自喻，自称“岁寒三友。”
1872春，吴昌硕因生计所迫准备离开故乡。朋友邀朱正初去山东以恩贡候补县教谕，但朱宁可在家看山打柴也不愿出山。已届不惑之年的钱铁梅更是厌弃功名，打算回老家苏州。
在吴昌硕的建议下，“岁寒三友”诗酒会芜园。那天，已稍涉画事的吴昌硕画趣大发，摊开宣纸大笔一挥，很快就画了一幅松竹梅《岁寒三友图》。
在这幅《岁寒三友图》上，吴昌硕画的是他启蒙教馆“溪南静室”门前的那株古松树，玉华山上的修竹，芜园里的老梅树。画面重墨工笔，写实味很浓，挂在墙壁上看了看，很不满意，便动手要把它撕掉。看吴昌硕动手要撕画，眼疾手快的钱铁梅一步上前拉住，指着画上的那杆竹打趣地说：“不是很好嘛，你看，竹竿一支，摇摇晃晃，不正像你的光头光脑，大褂一身吗？”
这时，朱正初也在一旁诙谐地说：“钱君，我看这梅树倒像你，连树皮别别剥剥都像你哩。”
听朱正初这一说，钱铁梅带有几分挖苦地说：“正初君，我看，那株松树就是你自己了。不过，有一点不像，这松树针叶很挺括，整整齐齐，不像你蓬头散发的连把木梳都买不起。”
三人你一言我一语，说得大家都哈哈大笑起来。确实，这张《岁寒三友图》虽然画技并不高明，写实味也太重，几无中国画的意境可言，但却写出了三人的性格、抱负和情操。
于是，吴昌硕提出了“以工补拙”的办法，朱、钱两人都是诗人，叫他们即席赋诗，以诗补画，画以诗传。
朱、钱两人立即表示赞同，于是三人便摇头晃脑联句吟诗补画起来。论年岁，钱铁梅是三友中的老大，便第一个吟道：“苍松修竹老梅桩”。朱正初按年龄排序第二，他接着吟道：“不合时宜人笑狂。”吴昌硕自号“芜园亭长”，这天又是东道主，他说：“把酒芜园皆自得。”钱铁梅最后拍板说：“岁寒三友乐无疆。”
三人联句，佳韵天成，吟罢又是一阵捧腹大笑。这以后，“岁寒三友”各奔东西，就此分手。
芜园时期吴昌硕的师友，大多满腹才艺、清逸高古而仕途不顺，但在人生和艺术多方面，他们给了虚心好学的吴昌硕以深刻影响。
吴昌硕此时还喜游赏山水，尤其对古迹遗存很感兴趣。他去过安吉古城遗址、灵芝塔、独松关、灵峰寺，一些县城周围不太著名的寺观、古迹也都去了。这对他涵养诗人气质和高古雅健的艺术气质是很有裨益的。
一向喜欢中晚唐寒士苦吟诗风的吴昌硕，此时就偏好清冷野逸的景致如寺院、古塔、古碑等。
吴昌硕还曾与诗友出安吉东门三里，过西苕溪马家渎，南面小山麓上有五代吴越时所建古佛塔灵芝塔及碑石。
吴昌硕与诗友们盘桓其间，酌水谈诗，趺坐为乐，并画此境，然后尽兴而归。还有安吉的石虎山，吴昌硕有《书石虎山壁》一诗写到四月春游石虎山。
有了这些师友，吴昌硕很快习惯了在芜园的日子。芜园虽狭小简陋，却也容下了一颗渴望安宁的心，使他欣然得其所在。
