1883年春天，黄宾虹从金华返回家乡安徽歙县潭渡村。这一年他20岁。此前因回籍应试，曾在13岁、14岁和17岁三次返歙。
这一次，黄宾虹是正式回籍居住，并在23岁考中贡生。从此，他开始了24年耕读潭上的既平淡又富传奇色彩的生活。歙县潭渡村，位于有黄山之奇、新安江之秀的徽州盆地。徽州深处皖、浙、赣三省交界之地，险阻天成，兵革少到。东晋北方土族南迁，给这里带来儒风。
到了南宋，文风日益繁盛，徽州人甚至以“东南邹鲁”标榜天下。长期的和平环境，导致人口众庶而狭小的盆地“力耕所出不足以供，往往仰给四方”，这就逼使人们四处谋生。
当时离开土地的谋生手段，只有手工业和商业，好在东晋北方土族南迁时，同时也带来了手工业和商业的传统。
到了明清，徽商资本财雄势大，逐渐控制了长江中下游的金融，以至于有了“无徽不成商”，“无徽不成镇”的民谚。
人们对徽商有这样的评价：“贾而好儒，贾儒结合”，“虽为贾者，咸近士风”。
徽商都是亦商亦儒的儒商。他们宗族观念浓厚，桑梓之情很重，往往把聚敛的大量财富转回故里，修祠堂，建园第，粉墙矗矗，鸳瓦鳞鳞，建造起一个个美丽的山村水庄。
在这片世外桃源中，徽商们耕读传家，搜尽海内珍籍名画，因而子弟中怡情于琴棋书画者大有人在。
黄宾虹的祖屋叫“课耕楼”，先祖惟贞公撰联云：“教子迟眠，数卷读残窗外月；呼童早起，一犁耕破陇头云。”晨耕夜读之趣溢于言表。
潭渡村周围有许多短松岗，四季青发。潭渡村中屋舍俨然，黄氏宗祠和一些大户人家的房子鳞次栉比，粉墙黛瓦，颇有气派。
黄宾虹家的祖屋课耕楼就在其间，黄宾虹先祖曾为此屋撰联：“教子迟眠，数卷读残窗外月；呼童早起，一犁耕破陇头云。”
黄宾虹86岁时曾画过一幅《潭渡村图》，并在上面题诗云：“丰溪萦带黄潭上，德泽常阴载口碑。瞻望东山云再出，万方草木雨华滋。”
潭渡村头有一个亭子，上面有黄宾虹先祖黄凤六用隶书写的“滨虹亭”三个大字。黄宾虹晚年画过一幅《潭渡村图》，画的左下角桥头有一亭，即为“滨虹亭”，亭的位置在潭渡桥南岸的西侧。
滨虹亭是潭渡名胜。滨虹亭地仅方丈，当夕阳坠山的时候，从亭中回望村里，暮烟霭杏，树色苍茫，绛气丹霞，水天一色。
黄宾虹极爱此处景致，后以此亭名“滨虹”为号，别署滨虹生、滨虹散人、虹庐等，均与“滨虹亭”有关。48岁以后改为宾虹。黄宾虹原名懋质，用别号甚多，以宾虹为最。
黄宾虹对乡邦文物之盛，向来引以为自豪。他在与郑拙庐书中说：“歙县自宋、元、明讫咸同之乱，以居万山之中，藏书籍字画古今名迹，胜于江浙诸省，风俗以经商各省通邑，士人寄籍，恒多与通人博士交游，文艺亦有根柢。”
在《黄山画苑论略》中，黄宾虹指出：“新安古人名作，独于吴门、云间、娄东各派以外，自树标帜。良由藏庋丰富，得瞻精美；时多高人逸士，胜游名山，博览群籍，生当危乱，初无所用其力，退而一一寄之于画。”
黄宾虹后来还有机会帮助清代大画家黄真民的后人整理所收藏的名画，让黄宾虹有机会见到许多宋元真迹。
黄宾虹最爱新安画派的渐江，他的画清逸萧散，兼有北宋风骨，元人气韵。那次整理中发现有两幅渐江的真迹，一幅是仿“元四家”吴镇和倪瓒的长卷，一幅是《枯木竹石》。
后来黄宾虹在画斋里待了许多天，凡自己喜爱的真迹都细细加以临摹，使那间屋子里堆满了画稿。
后来这批画因为黄家后人不珍惜，很快就散失掉了，让黄宾虹非常感伤，像掉了魂一般。
所幸的是他得到了渐江那幅《枯木竹石》立轴，后来黄宾虹游走四方，这幅立轴就一直与他朝夕相依。
身处新安旧郡，爱好书画的黄宾虹自然对新安画派了如指掌。新安画派善用笔墨，貌写家山，借景抒情，表达自己心灵的逸气，画论上提倡画家的人品和气节因素，绘画风格趋于枯淡幽冷，具有鲜明的士人逸品格调，在十七世纪的中国画坛独放异彩。
对于新安画家，黄宾虹如数家珍：“昔王阮亭称：‘新安画家，宗尚倪黄，以僧渐江开其先路。’余谓不然。有前乎渐师者，若元之程政、朱，明之郑千里（重）、丁南羽（云鹏）、詹东图（景凤）、李周生（永昌）、程孟阳（嘉燧）、李长蘅（流芳），画法宋元，不名一家，隆庆、万历之间，流传真迹，要宗倪、黄为多。后乎渐师者，有程松门（鸣）、方小师（士庶），罗两峰（聘）、家凤六公（吕）皆远法唐宋，近师文沈，取境高古，不斤斤于元人。当其同时，有汪乘槎（之瑞），追踪大痴；查二瞻（士标），晚学沙弥；孙疏林（逸），多仿宋元；与渐师称新安四家。”
明末清初的弘仁，与查士标、孙逸、汪之瑞一起被称为“新安派四家”，这一画派在当时画坛颇具影响。他们四人都是歙县、休宁两地人，两县于晋唐时属新安郡治，故名“新安画派”。
画派成员大多宗法元代倪瓒、黄公望两大家，笔墨简淡清逸，线条遒劲，爱写生黄山，画云海松石之经。其中弘仁与查士标影响最大。
新安画派的大师们既以黄山的峭丽奇傲来表现自我，宣泄苦闷，又以黄山禅宗般的灵境表现超尘脱俗与忘我无我，同时又以黄山时动时静、变幻流畅的气韵表现音乐般的节奏与纯粹意义的美。
这些看似矛盾甚至牴牾的东西，竟然在他们的作品中表现的极其和谐统一，因此，他们的人品与作品所能达到的覆盖面极广、渗透力极强、感染力极大，对于后来的中国山水画家，尤其是新安画家，产生了极其重大的影响。
黄宾虹非常喜爱和欣赏新安画派。这是因为，除了笔墨技巧、思想情操、美学观点比较符合其个性之外，更看重的是新安画派书画的民族特性。新安画派绘画讲究的是笔线功夫，如黄宾虹所珍藏的元朱璟、明郑重、程正揆等山水画，都以清劲坚挺的笔墨线条而称绝。
黄宾虹十分看重这些画面的用笔与用墨，特别是元画中的水墨淋漓深沉的面貌，不断地临摹学习，并融入到自己的画作之中，故形成中晚年黑密浑厚、力透纸背的风格。
这就从一个侧面反映出新安画派作品是黄宾虹精神和笔墨的源泉。甚至在一定意义上，他可以算作新安画派的杰出传人。
在家乡，对黄宾虹影响最大的是徽州各地的书画金石收藏。当时徽商有一个非常好的传统，在外面赚了钱后，就不惜巨资购买字画带回故里，甚至一批晋唐宋元的国宝级作品都曾经过徽商之手。他后来回忆，“求睹世家旧藏书画，虽跋涉远道，不惮劳瘁”。
歙县绵潭汪氏的“飞鸿堂”，素以收藏古籍图书及金石印章著称，编修《四库全书》时全国献书最多的四大藏书家中，歙县就有两家，“飞鸿堂”即为其一。
著名的《飞鸿堂印谱》收录印数约为三千五百方，与《学山堂印谱》、《赖古堂印谱》合称为“至美之三堂印谱”。印谱的收录极为谨慎，每印皆经汪氏与诸同好虚心商榷，方始奏刀，故编辑印谱时间前后约有30余年。
《飞鸿堂印谱》由著名藏书家、金石学家、篆刻家汪启淑精心辑录家藏古铜印以及当时一百数十家印人篆刻而成。四十卷，共五集，每集四册，五集合二十册，各册有二卷，每卷二十五页，每页录二印至四印，附注释文。
汪启淑，字秀峰，号讱庵，一字慎仪。自称“印癖先生”。安徽歙县人，居于杭州。家以经商致富，于是捐官为工部都水司郎中，迁至兵部郎中。嗜古代印章，曾搜罗周代、秦代迄宋、元、明各朝印章数万钮。又精纂刻，在巨珠上刻篆文，以补诸品中所未备。
汪启淑汇编了《水槽清暇录》、《集古印存》、《汉铜印原》、《汉铜印丛》、《静乐居印娱》、《焠掌录》、《小粉场杂识》、《讱庵诗存》、《初庵集古印存》、《飞鸿堂印谱》、《飞鸿堂印人传》、《撷芳集》、《退斋印类》等20多种图书。
他凭借雄厚的财力，广泛接交印坛名人，如林皋、吴麐、丁敬、黄易、黄吕、张燕昌、吴兆杰、董洵、王毂、汪肇龙、桂馥、程瑶田、汪士慎、潘西凤等100余人，邀约篆刻印作，先后收集当时知名的篆刻家作品3000余方，因而编辑厘订，钤印成《飞鸿堂印谱》5集40卷行世，风行一时，成为乾隆时期印坛名手作品的集中汇展。收录入《飞鸿堂印谱》印作的作者，汪启淑又另编著有《飞鸿堂印人传》8卷，与《飞鸿堂印谱》一同行世。
汪启淑以一人之力，钤拓众多的古印谱，又汇辑钤录当代人的篆刻作品，为印人借鉴古代优秀作品和了解当代印人风格提供了条件，繁荣了乾嘉时期篆刻艺术创作。汪启淑虽为徽州人，但他常居杭州，其飞鸿堂作为浙人的聚会场所，客观上为浙派篆刻的兴起起到了促进作用。
歙南绵潭汪氏故宅离黄宾虹家族的聚居地潭上不远。黄宾虹每次经过，总“怀想其遗风”，抱有仰慕之情。
后来，黄宾虹得知“飞鸿堂”所藏金石印章已大部分转移到汪氏故宅。经过寻访，黄宾虹终于在西溪汪氏宅中见到了汪韧庵留下的印谱和原印。观摩飞鸿堂的旧藏，这不但让年方弱冠的黄宾虹眼界大开，更对他日后在篆刻乃至整个艺术领域的发展产生了深远影响。数年以后，汪氏将这批金石印章悉数转让给了黄宾虹，黄宾虹大喜过望，将斋名取为“冰上鸿飞馆”。
