福州学使公署，本是明代掌管税收的宦官的官署。宦官横征暴敛，滥杀无辜，害了许多性命，所以人们都说这是一块“凶地”，纪晓岚家的仆人们让种种传闻吓得晚上不敢睡觉。
纪容舒到了这里后，纪晓岚给父亲收拾了一间朝阳的净室，让他居住。可老父亲听说楼上有一间屋子闹鬼闹得最凶，非要住到那间屋子里去，谁也劝不住。
那天晚上纪晓岚一夜不敢合眼，掇了条长凳在门口，守候到天亮。老人家开门见儿子躺在板凳上，朗笑说：“世上本无事，庸人自扰之。我住在这个房子里，就是为了能让你们在这里安下心来，不要庸人自扰。你这是何苦来？”
纪晓岚说：“父亲所言极是。鬼神之事，本来渺渺茫茫，姑妄言之，姑妄听之，或可信其有，或可信其无。可是您老人家这么大年纪，何必以千金之躯同邪秽较量？不值得。”
纪容舒说：“儒家认为没有鬼神，这是个迂腐的观点，也是强词夺理。我就信一点：凡是鬼，必定怕人。因为阴不能胜阳！有的鬼侵犯人，必是因为阳气不足以胜阴气。但是所谓阳气昌盛，并不只是血气壮伟和性情强悍。人的心地，慈祥的为阳，惨毒的为阴；坦白者为阳，险恶者为阴；公正者为阳，阴曲者为阴。所以易象上以阳为君子，阴为小人。如果光明正大，那么他的气也就纯然阳刚，即使有邪魅，也会像在幽室之内，鼓洪炉而炽烈焰，烈焰腾腾，冰冻自然消除。你读书也不算少，见过史传中记载有品行端正的人被鬼侵害的吗？”
纪晓岚频频点头，拜受教诲。父亲这段话，他记了一辈子。
本来，正月十二日是老父亲八十寿辰，纪晓岚安排在学署为老父亲祝寿，老父亲却总是摇头，坚辞不允。他明白了老父亲的用意，学使为父亲庆寿，当地官员少不了布帛酬应，日后难免因此略分守而慢行名，不能公允执掌文柄。
谁想这一次竟成永诀。乾隆二十九年（1764）八月，父亲北归途中遘疾，回到老家却一病不起。讣告至闽中，纪晓岚哀恸欲绝，迅速归里丁忧。
守孝中，他时时忆起父亲音容笑貌。想起父亲讲过，他年轻时读书在崔尔庄“厂里”，偶尔一次折杏花插在瓶中，没想到这枝杏花落花后竟结出两颗青豆大小的杏子，这两颗杏豆儿越长越大，渐渐长到红熟，就像在树上时一样。那一年逢万寿恩科，父亲竟顺利在乡试中举。当时乡贤王德安先生同住，为题额曰“瑞杏轩”。后来这个庄园分家时分给了别门。他曾向族人打听这块匾的下落，可惜没人知道，百索而不得，不禁心中怅然若失。
守制三年，纪晓岚在崔尔庄修筑了对云楼，题诗曰：
还乡翻似到天涯，筑得书楼便作家。
偶睇郊原成野趣，拟从田老种桑麻。
长夏云峰入望深，轩开四面好凭襟。
儿曹莫笑村居隘，两载经营一片心。
（《自闽回里筑对楼成偶题》）
家居中，纪晓岚续修了父亲在世时手自刊定的《景城纪氏家谱》，与堂兄纪昭以学术相质正，他完成了《陈后山集》的删定，辑刊《镜烟堂十种》，学问大为精进。《镜烟堂十种》囊括了纪晓岚早年治学成果，著述凡十种，其书目为：
第一种，《沈氏四声考》，三卷，音韵学专著。卷下末附《纽字图》（沙门神珙四声五音九弄反纽图）《宋书谢灵运传》《答陆厥书》。
第二种，《唐人试律说》，试律学专著。卷末附纪晓岚题识，谓：“此书以己卯六月脱稿，从游诸子偶以付梓，七月中，余往山西典乡试，诸子亦匆匆入闱，未及校正，今岁偶复阅之，字多讹误，因重为点勘，又随笔更定十余处”云云。
第三种，《删正二冯评阅才调集》，原书十卷，每卷选诗百首，纪晓岚删并为二卷，于原集之首卷中仅录三十六首，第二卷十九首，第三卷十一首，第四卷十三首，第五卷十三首，第六卷三十八首，第七卷十三首，第八卷二十六首，第九卷十九首，第十卷六首。
第四种，《删正方虚谷瀛奎律髓》，卷一有方回之《原序》释其名：“瀛者何？十八学士登瀛州也；奎者何？五星奎聚也；律者何？五七言之近体也；髓者何？非得皮得骨之谓也。”方虚谷原书，所选诗为四十九类，每类编为一卷，而纪晓岚则并其为四卷，每类或节录原选若干，或予以全删。
第五种，《李义山诗集》，三卷，纪晓岚编辑的唐代诗人李商隐诗集。纪晓岚对李商隐诗“详加点定”，该集所收作品，与坊间现行李义山诗集同，而纪晓岚另有《玉溪生诗说》，只择取李氏之诗若干首，其中评语亦详略不同。
第六种，《后山集钞》三卷，陈师道诗文集。其卷一为诗选，卷二、卷三为文选。
第七种，《张为主客图》，前文已论及，此略。
第八种，《审定风雅遗音》，史荣撰。纪晓岚序谓：“此书于集传以外，无所发明，而因人人习读之书，救正其伪谬，以之针砭俗学，敦易于信从，独惜其不知古音，故叶韵之说多有舛误，又门目太琐，辨难太疾，于著书之体亦微乖。退食之暇，重为编录，汰繁就简，弃瑕取瑜，较之原书，以为完善。其文有所损，无所益，有所润饰而不更其意者，亦曰此乃史氏之书，予无与焉耳。”史氏此书，原分四卷，有附录，共二十四门。其中或变换原书之次第，或作部分内容之删削，亦有予以全删者，几可为纪氏一人之作。又是书去取之间，纪晓岚与戴震相参酌，采纳其说处颇多。
第九种，《庚辰集》，五卷，纪晓岚序谓：“余于庚辰七月闭户养疴，惟以读书课儿辈，时科举方增律诗，即点定《唐试律说》，粗明程式，复印近人选本，日取数首讲授之，阅半岁余，又得诗二三百首，儿辈以作者登科先后排纂成书，适比康熙庚辰（三十九年）至今乾隆庚辰（二十五年）止，因之名《庚辰集》。”集中，卷一至卷四为馆阁诗，卷五为试卷行卷，其书选诗二百余首，而注至十七万余言，不免繁冗，纪晓岚壬午之序，则道白其苦心：“此书虽训释太繁，可已不已，然使初学之士，一以知诗家一字一句必有所据，虽试帖小技，亦不可拷腹以成文。一以知兔园册子，事多舛误，当反而求其本源，不可搙撦以自给，则无用之文，安不知有收其用者也。”
第十种，《馆课存稿》，四卷，是书所录，皆为纪晓岚为教授子侄辈所作的馆课诗。
服丧里居期间，纪晓岚完成了《景城纪氏家谱》的续修，纪氏宗谱，原系纪容舒乾隆二十年（1755）手自刊订，“守《史通》断限之法，体例多与此相出入。丙戌（乾隆三十一年，1766）余又遵旧格续焉，弗敢以私意改也[16]。”
同时，纪晓岚在此间还为亲朋之家谱、族谱制序多篇，如《马氏重修家乘序》《渠阳王氏世系考序》《河间孔氏族谱序》《汾阳曹氏族谱序》等。纪晓岚对于谱牒之学，形成了一套完整的见解，对谱牒之体例、意义、作用以及谱牒之学的源流，都有所创见。他的谱牒学说，也由此建立。
闽中督学的经历，为纪晓岚一生所珍视。他的《寄示闽中弟子六首》，寄寓了这样的情愫：
第一首
平生无寸长，爱才乃成癖。
每逢一士佳，如获百朋锡。
甲乙手自评，朱墨纷狼藉。
虽不接笑言，宛然共晨夕。
别来八九年，姓名心历历。
每遇闽峤人，慨焉怀曩昔。
第二首