畏斎が留守の著作を読み、直接留守の指導を請うために大阪を訪れたのは、宝暦八年頃のことであった。まず、畏斎は宿に落ち着いた。そこでのやりとりを『継志堂物語』は次のように描写している。
〈宿主は先生の風体をジロリと見廻し、
「九州から何用あつて、大阪へ来られたか」と聴きました。すると先生は、
「留守友信先生のもとへ入門して、勉学せんが為である」
と話されました。それで主人は更に、
「では上下をお持ちか」ときゝました。
上下とは羽織、袴のことで、名高い先生の塾に入門する時には、羽織、袴が必要でありました。路金もやつとの事で大阪へ来た先生が、そんなものを持つている訳がありません。そこで先生が「持たない」と言はれると、主人は先生の顔を下からのぞき込むかの様にして、「では何処ぞなりと、借りて進じよう」と、付足しましたがしかし、衣装を借りれば、又金が要る、其の様な余力もない先生は平然として、
「あたしは、この儘の絣でよかろう」
と言はれました。洗ざらしの久留米カスリを着た先生が胸を大きく張つて、大阪の街を闊歩されて、留守希斎（友信）先生の門をたゝかれたときには、みな気狂ひが来たと言つて、大騒ぎしました。しかし先生はその様な事には無頓着で、門弟達に来意を告げますと、
「田舎ツペが何を言うか」と、ますます小馬鹿扱いにして、
「九州の鐘馗が来た、まるで絵に書いた鐘馗のようじや」と言つて冷笑しました。
門前の騒がしい声に、表まで出て来られた留守希斎先生は、絣姿の田舎の青年、畏斎先生をヂツと見てゐられたが、どう思はれたかそのまま、スーツと自分の書斎へ通された。驚いたのは門弟達、希斎先生は括嚢と云つて、袋の口をくくつてゐるようで、世間的に名をもとめない変つた方だが、これ又物好きな先生だとばかり、門弟達は面白半分、後からついて行きました。どの様な事になるかと、息をころして見ておりますと、希斎先生は静かに経書を取り出し、畏斎先生の前へ置かれました。
ニツコリうなづかれた先生は、此れを受取り、大学の一節（明明徳新民止至善）を堂々と読みあげられた、解釈の時は又自分で会得されている意見を以て、前人未発の講義を明快に説きだされたのであります。身を顫（ふる）はすほどの烈しい語気は正に、体内の血管があふれるかと思われるばかりでありました。
これを聞いた列座の門弟一同、水を打つた様に静まり、先刻まで
「九州の寒生、其の状鐘馗に似たり、彼何を学ばんと欲するか」
と嘲つてゐたのが、すつかり感歎してしまひました。
それ以来、門士達は畏斎先生に敬服して仲よく交際し勉強にいそしんだといゝます。
又希斎先生もとくに、力を入れられ、門弟の一人とされました〉