小霞客的山水之志，更主要和直接的来源是父亲的榜样、书籍的熏陶和母亲的支持。按照家族传统，徐霞客理当继续走先辈走过的路，努力攻读四书五经，求取功名，入朝为官，光宗耀祖。
但是，小霞客受父亲的影响，同时也由于高蹈的个性，从小不喜欢八股时文和世俗功名，对科举考试要求的经书不感兴趣，却特别喜欢看奇书异志，一心只想徜徉于山水之间探幽揽胜。
徐霞客年少时曾经发出这样的感慨：
丈夫当朝碧霞而暮苍梧，乃以一隅自限耶？
意思是男子汉大丈夫应该朝看碧霞而暮栖于苍桐之下，怎么能够局限于一个小角落中呢？他常说“余髫蓄五岳之志”，就是我幼年就怀有游历五岳的志向。
小霞客家正厅前面天井东侧有一棵高大的罗汉松，亭亭如盖，枝繁叶茂。这棵罗汉松年龄比小霞客还大。据说小霞客祖父曾于京城带回一盆景罗汉松，直到小霞客出生后，才把它移栽到庭院里了。
随着小霞客长大，他每每看到树荫夹道，或参天摇翠，或郁然如山，就不禁慨叹祖国山河地气之盛。无独有偶，这棵被移栽到庭院的罗汉松，也得地气之盛，生机勃发，不断壮硕成长。
于是，小霞客就从这棵罗汉松身上获得了某种神奇的感悟与力量，就立定志向：
不做盆中景，要做凌霄松
说来也神奇，这棵并不算高的罗汉松，后来干粗需要两人合抱，且上下几乎同粗细，通直而立，无枝无蔓，顶如绿云华盖，苍翠欲滴。人们说，它曾在某个电闪雷鸣的夜晚被拦腰劈断，遭受重创。然而，它却依然挺立着，并从折断的创口处发出幼芽新枝，昂扬地宣示它生命的伟力。
徐霞客从小就很聪明，最喜欢涉猎历史、地理和探险游记一类书籍。为了逃避塾师的干扰，他常常在令人厌烦的经书遮掩下偷偷阅读这类书，读到入神之处，不免眉飞色舞。
转眼间，小霞客到了考秀才的年龄，他的地理、历史知识越来越丰富，而且兴趣越来越浓，但对经文八股却越来越淡漠。为了给父母一个交代，他在15岁那年勉强参加了科举考试。
在考试前，小霞客游览了君山，并登上了望江楼。望着滚滚东流的长江，他情不自禁的喊道：“多么雄奇壮观的景象啊！”
身后一位老人问道：“小伙子，你喜欢长江水吗？”
小霞客连忙点点头。这位慈祥的老人给他讲了许多江岸景点的由来，他说：“蟠龙山是武则天登基时黄龙在山顶蟠了三天而得名的，凤凰山是一位石匠从崖岩中凿出了玉凤凰而得名的……”
老人的故事娓娓动听。小霞客见老人知道这么多事情，忙问：“老人家，听说长江水是从西蜀流出来的，是这样吗？”
“书上说它是从岷山西北发源的，可那个地方实在太远了，还没听说过有谁到过那里啊！”老人平静地回答。
岷山西北真是长江的发源地吗？源头的景象一定更加令人神往吧！要是自己能到那里亲眼看看该有多好啊！小霞客的心似乎已经飞向巍峨的山岭、奔流不息的江河。于是，他暗暗下定决心：
总有一天，我要去长江的源头，我要游遍祖国的江河山川！
考试结束了，小霞客榜上无名。回到家里，虽然父亲仍然督促他继续读书，来年再考，可他对功名已没有兴趣了，他便索性摒弃了四书五经以及当时参加科考必备的一切诰律典制类的书籍，一心开始钻研古代史籍、舆地、图经和方志等。他整天到父亲的藏书楼，邀游在书海中，如饥似渴，孜孜不倦。
父亲见儿子确是无意功名，也不再勉强，就鼓励他博览群书，做一个有学问的人。徐氏自一世祖徐锢开始就广有典籍，日积月累，到太祖元献时，万卷楼已经修成，加之小霞客祖父徐衍芳分得的祖产就是“湖庄书屋”，小霞客可以取用的书籍是非常多的。
这些藏书不仅在年少时开阔了他的眼界，帮助他确立了人生志向，更为他以后的考察工作提供了大量文献。他所要精研的舆图方志、所要考察的文物典章均可随时取用，无须辗转得来。
要知道，古代的印刷业还停留在木刻、活字的阶段，书籍造价昂贵，因而远没有后来这么普及。一般民间流传的也以参加科举必备的四书五经为主，山川地理类的著作得来很不容易，而徐霞客却可以时时参阅，优越条件远非一般平民子弟可以望其项背的。
小霞客读书非常认真细致，且记忆力十分惊人，对别人所提的问题总能说得明明白白，因此被人称为“博雅君子”。他遍读先祖藏书之余，还不断添置，只要看到奇书，哪怕是不吃饭不穿衣也要买。
有一天，一位客人正和父亲谈论游览太湖包山的经过，还说到了山上的林屋洞，客人便向父亲求教道：“徐先生，听说书上记载，林屋洞很长，可以通向四方，不知是哪四方呢？”
父亲紧锁双眉一时记不得了，这时小霞客连忙对客人说道：“大叔，你说的是《郡国志》吧？上面记载说，林屋洞东通王屋，西达峨嵋，南接罗浮，北连岱岳。”
父亲十分惊讶，想不到儿子对地理知识如此熟悉，简直是倒背如流。看来让儿子走仕途之路是白费心机了。
经过这件事后，父亲思量再三，把儿子叫到跟前，语重心长地说：“弘祖，你已经长大了，看得出你的心思不在功名上，父亲也不再勉强你，不过你选择的是一条充满艰辛而又需要付出巨大代价的辛苦之路啊！”
小霞客听完父亲的话，像见到了雨过天晴的太阳，高兴地跳了起来，他信心十足地对父亲承诺道：“爸爸，只要能游历天下，再苦再累，儿也心甘情愿。”
从此，小霞客告别了四书五经，在父亲的指导下，刻苦钻研地理知识，这些知识为他日后游历山川河流打下了坚实的基础。
因为志趣异于常人，当时有人认为小霞客言行怪诞，他也不管不顾，一心一意搜求逸事与奇书。有时遇到意趣相投的词人酒客、亲朋好友，就在一起觞咏流连，通宵达旦。
在地理学书籍的阅读比对中，小霞客发现了前人的很多不足之处，有的书言辞模糊不知所云，有些书对同一个地区的描述大有出入，无法互相参照，盖因作者们多没有实地考察经验，互相抄袭，以讹传讹，最终错误百出。于是，他暗下决心，日后一定要穷一己之力探究个明白。
南旸岐村前有条叫沈塘河的小河，河上有座石板桥，被称为胜水桥。石桥的两端，有用条石砌成的石级。石级承载着宽大平直的石板，连通两岸。
小霞客时常与村里的小伙伴在河中戏水，于岸边茫茫芦荡里刨芦根、芦笋，或者捉迷藏。更多的时候，他喜欢独自一人站在桥上，望着远去的船只，驰骋他的美丽梦想。他知道，顺着沈塘河出去，可以到马镇、到古老的运河、太湖无锡，到很远的地方……他不禁说道：“什么时候，我才能一览山河之胜呢？”他扯一根芦苇，轻轻地吹起了芦哨。
小霞客的父母艰难创业，使得家道中兴。发家后，夫妇二人修筑田园，过着安静的隐居的生活。
徐有勉常常带着几个奴仆，有时乘船，有时坐轿，在苏杭之间观赏湖光山色，品评甘泉新茗，十分悠然自得。可以说，徐霞客对旅游产生兴趣，和父亲的影响有莫大的关系。
徐有勉一介布衣，又为人耿直，傲视权贵，因此屡遭豪强欺负。有一次，遇盗而逃到无锡躲避，骑马回家时坠入河流，从此瘸了一只脚，要依靠拐杖走路。
徐有勉自我解嘲说：“我有田有房，没理由为五斗米而折腰，我有山川秀丽可以观望，何必奢望繁华，我有诗与远方，何必与庙堂苟且。如果还有什么不满足的，我想结交一下仙人葛洪，我听说他跟我一样也是个跛脚，我想送个小童去扶一扶他。”
也许是有感于父祖辈的科场遭遇，徐有勉拒绝入仕。有一次，他与几位朋友在一起喝茶闲聊，其中一位朋友问他：“你家有田有钱，为何不花些银两，谋个官职？”
徐有勉看了看这位仁兄，说道：“莫非尊驾不晓得我生性厌恶为官？何况捐个官职这种龌龊之事，仁兄竟说得如此轻巧！仁兄若还当我是朋友，还请今后再勿提及此等事情。”
徐有勉不仅不愿做官，而且讨厌与达官贵人打交道。有一天，他在庭院中修剪花木，仆人来报，说有两位官员要前来拜访，轿子就快进村了。他一听，忙丢下工具躲进了屋后的竹林里。再后来，一旦听说有官员造访，他就干脆到太湖游玩去了。
父亲的这种秉性、气质和人生态度，给小霞客带来了深深的影响。徐有勉曾对朋友说：“我的第二个儿子弘祖眉宇之间有烟霞之气，读书好客，看来可以继承我的志趣，我倒不愿意强迫他去追逐功名富贵。”可见，他不仅自己绝意宦途，也不希望儿子走上这条道路。
如果说，父亲影响了徐霞客的性格和爱好，那么母亲则给了他物质上的支持与精神上的鼓励。他的父亲不事稼穑，徐家得以复兴，主要得力于徐母，可以说徐母支撑了徐家的大半家业。
母亲初嫁徐家时，为太翁泡茶，放了两颗桂圆，太翁不吃，并且不高兴地说：“农家怎么能享用如此贵重的东西？”
徐母感到很惭愧，一直谨慎地收藏着这两颗果核，用来教育子孙时刻注意勤俭。受母亲数十年辛勤节俭的影响，小霞客并未染上一般纨绔子弟的劣习。
在饥荒之年，徐母要儿子仿照先祖的事迹赈济灾民。徐霞客要为父亲修建新居，她却让儿子捐资整修祖宗墓碑和明初常州府同知张宗琏的庙宇。张宗琏是当时清官的楷模，在民间享有很高威望。
徐母一生酷爱种豆和织布，她每年都要在篱笆周围广植秋藤，抽条引蔓，使绿荫满堂。每天一大早，她就带着婢女在藤蔓下面纺织，并让小孙子在旁边吟诵诗文。机声与书声相互应和，徐母是怡然自得。
在后来，徐母80大寿时，徐霞客怀揣着对母亲的孝敬与感恩，请了一位画家为母亲绘制了《秋圃晨机图》，还请了许多文坛墨客为母亲纷纷著文题诗。其中有一首题诗中这样写道：“豆花棚下鸣机杼，萱草堂中授简编”，正是描绘了徐母在豆棚绿荫下纺线织布的机杼声和子孙们的琅琅书声相应和的生动场景。
徐母种的豆荚果实累累，成筐地送给亲友；织的布轻柔如蝉翼，被称为徐家布，在市场上能卖到丝绢一样的价格。她还用织布的道理来教育子孙：“百姓的生计以勤劳为本，为人勤劳则日用不乏。如今织布的有无数人，而我们家织的布却能以精良闻名。做学问也是一样的道理啊！”
徐母对儿孙的言传身教，远近闻名，传为佳话。而理解、支持小霞客“屐遍五岳，无负七尺男子”的壮举，更体现了母亲的博爱与胸怀。
徐母为人不仅勤勉达观，而且处乱不惊，具备男子一般的英武之气。在小霞客17岁那年，家中发生了一件大事。
有一天，父亲外出久久未归，家人四处打听，杳无音讯。第二天傍晚，一个陌生人送来一封信便匆匆离去。打开信一看，全家人惊呆了，原来徐有勉被强盗绑架了，绑匪在信中勒索银两，并威胁不许报官，否则便杀了徐有勉。
一家人顿时陷入恐慌。这时徐母镇定地对全家人说：“哭没有用，救人最重要，就是倾家荡产，也要把你爹解救出来”。于是，她嘱咐小霞客弟兄三人，不得将父亲被绑架的消息透露出去，免得节外生枝。
与此同时，徐母拿出平日里省吃俭用的全部积蓄，还将一些土地和房契作为抵押，勉强凑足银两，经多方营救，才将徐有勉平安接回家中。
徐有勉本来身体就很虚弱，经过绑架一事的惊吓，身心受到刺激，终因旧病复发，不久便故去了，时年60岁。父亲的遭遇，使小霞客加倍看清了动荡的晚明社会的黑暗。
父亲病逝前后，徐家不断地遭到地方豪强的欺辱，导致小霞客更加厌弃现实社会，希望逃离世俗，寄情山水。他发誓绝不走仕途，而要走一条自己的道路。
徐父对待儿子们心存嫡庶之见，临终嘱咐妻子，庶出的小儿子不能与其他两个儿子享有同等的遗产，徐母却不以为意，将田地房屋均分为三份，无论嫡庶，一视同仁。
徐父去世时，徐霞客只有18岁，徐母将家产处置停当之后，一直与徐霞客住在一起。徐霞客长子徐屺，是他第一任妻子许氏所生，许氏很早就去世了，长子一直由徐母抚养。
徐霞客常年外出，徐母在家支撑门户，将一切都处理得井井有条，为长期在外远游的徐霞客解除了后顾之忧，使他在外旅游时根本无须为生计而担忧。
如果说，徐母的贤达明理、乐善好施、勤俭持家等属于传统劳动妇女的优良品德，那么，在对待霞客远游这件事上，徐母的见识远远超出了当时一般妇女的认识水平。
父亲病逝三年之后，服丧期满，徐霞客就想出外游历，以实现自己从小的愿望。但是又惦念家有老母，心中很是踌躇。霞客的母亲是个很不寻常的妇人，她了解到自己儿子的心意后，就勉励他说：“身为男子，应该志在四方，至于说‘游必有方’的古训，也不过是说要计算好路途的远近、时间的短长，能够如期往返，也就是了。怎么能够为了母亲的缘故羁留家园，好像是圈在篱笆里的小鸡、套在车辕上的小马呢？”
徐霞客听了母亲这番话，非常激动，更加坚定了游历四海的志向。徐母还亲手为儿子整理行装，并说：“儿去游览名山大川，施展才干，实现自我抱负才是。记得回来时，把出行的路线图拿给妈看，给妈讲讲旅途的山水风光、奇闻趣事、风土人情，让妈也长长见识，我就心满意足了！”
说着，母亲拿出一顶专门为了霞客出游而做的帽子，对霞客说道：“儿啊！妈也没什么物件能送给你，就为你缝制了这顶‘远游冠’，你在路上用它遮阳挡雨吧……”
徐霞客双手接过“远游冠”，感动地跪在母亲面前，喊了声“慈母大人”，便泪流满面，不知道该说些什么了。他在心里暗暗地说：“娘啊，儿子决不辜负您老人家的期望！”
从此，徐霞客与母亲约定，在春草初萌时出游，在秋叶染霜时归来，20年间，足迹几遍天下而无不如期而返。霞客每次出游归来，他总是采些奇花异果，或名贵药材，献给母亲。母亲一面听他兴致勃勃地讲述天地之大、风俗之异、山川之胜、文物之丰，一面烹制可口的饭菜，为霞客接风洗尘，使霞客倍感家庭真是温馨的港湾。
