いささか韜晦癖のある霞亭は、３１歳になった文化７年（１８１０年）まで、官途につかず、ある時は江戸や北国に遊び、また伊勢の「林崎書院」院長などをして過ごしていたが、この年の１０月、自著『霞亭渉筆』の出版交渉のため京都を訪れた折、この地の風韻に魅せられ、翌文化８年２月から、弟と弟子某をつれて天竜寺付近の下嵯峨に寓居し、自宅を「幽篁（ゆうこう）書屋」とよんで、自然を愛し同好の友とまじわる風雅な生活に入った。ただし、一ヵ所に長く止まることはなく、文化１０年初めに京都を離れるまで、数ヵ月ごとに四度住居をかえている（最終の家が、市内木屋町の「歳寒堂」である）。

彼は文化９年（１８１２年）春、この地での作詞１５１首を、まとめて『嵯峨樵歌』と題し、人を介して、当時詩名天下に高かった菅茶山に送って、その閲を請うた。これに答えた茶山の序は、６月、道光上人に托されて送られてきた。また７月には、詩友月江承宣の跋も出来て、秋の初め刻成した。内容は身辺即事で、留別、年忌、人事、花鳥風月、近辺出遊など万般にわたっており、詩風は茶山に似て温雅平淡である。

霞亭は文化１０年３月１３日にはじめて茶山を訪れて、序文の礼を述べた。茶山は霞亭の人物学力を見て、廉塾への来講を強く慫慂（しょうよう）（＊１）した。そのすすめに応じ、都講（塾頭）として神辺に移り住んだのは、同文化１０年８月２０日すぎのことで、時に霞亭３４歳であった。