幼少時に父を亡くしたため、貧窮した生活を送った。老荘思想に耽って嵆康・阮籍らと交遊し、竹林の七賢の一人となった。40歳を過ぎて官途について司馬氏に属したため、嵆康を朝廷に推薦した時に「與山巨源絶交書」(山巨源に与える絶交書)を突き付けられた。しかし、嵆康の刑死の際には息子の行く末を託された事からみても、彼らの友情は変わらなかったものと思われる。
曹爽の台頭により隠棲するが、曹爽が司馬懿のクーデターで粛清されると再び出仕した。
咸熙元年(264年)、又従兄弟の司馬昭が鍾会の謀反鎮圧のため洛陽を離れると、山濤を行軍司馬に任じ、鄴の警護をさせた。簒奪を目前に控えた司馬昭は、曹氏一族を鄴に軟禁していた。山濤は司馬氏の親戚としてその監視を任された。
西晋代になって、吏部尚書・太子少傅を歴任するなど栄達し、79歳のとき司徒になった。嵆紹を推挙したり、諸葛京を東宮舎人に推挙したりしている。同年に逝去すると康と諡された。