晉武帝講武於宣武場，帝欲偃武修文，親自臨幸，悉召群臣。山公謂不宜爾，因與諸尚書言孫、吳用兵本意。遂究論，舉坐無不咨嗟。皆曰：“山少傅乃天下名言。”後諸王驕汰，輕遘禍難，於是寇盜處處蟻合，郡國多以無備，不能制服，遂漸熾盛，皆如公言。時人以謂山濤不學孫、吳，而闇與之理會。王夷甫亦嘆雲：“公闇與道合。”

　　求而无所得之也，入门而弗见也，上堂又弗见也，入室又弗见也。亡矣丧矣！不可复见矣！故哭泣辟踊，尽哀而止矣。心怅焉怆焉、惚焉忾焉，心绝志悲而已矣。祭之宗庙，以鬼飨之，徼幸复反也。

　　羊孚年三十壹卒，桓玄與羊欣書曰：“賢從情所信寄，暴疾而殞，祝予之嘆，如何可言！”