山県大弐の墓は、東京都新宿区舟町11番地の全勝寺にもある。大弐の遺骸は、妻の斉藤左膳姉が葬られている全徳寺に埋葬されたが、後に全徳寺が廃寺になり、現在の全勝寺に移された。そのため、墓所には「斉藤氏」と彫られている。
全勝寺には大弐の記念碑もある。これは、市井三郎、鶴見俊介等が発起人となって造立されたもので、大弐の肖像レリーフは愛知教育大の近藤鎰郎の作品。「明治維新の思想的・実践的先駆者であった山県大弐の没後200年を祈念して明治100年の年大弐の命日にこれを建つ
1967年9月3日 日本人民有志」とある。