司馬孚の次男。伯父・司馬朗の子である司馬遺が死去したため司馬朗の養子となる。
議論好きな曹髦に気に入られ話し相手となっている。
当時、中護軍の官にあり宮殿の外で勤めていたため、曹髦はすぐに参内できるよう快速馬車を特別に手配したという。
従弟の司馬師、司馬昭が魏で権力を握り、簒奪の準備を整えるようになると個人的に曹髦と親しかったことから不安を感じ、
地方への赴任を願い出て征西将軍などの役職に任命されて蜀漢の北伐を迎え撃つことになる。
姜維につけ入る隙を与えないほどの実力を発揮し、鍾会、鄧艾の侵攻で蜀が滅ぶと中央に呼び戻されて司徒に昇進。
さらに司馬炎により晋王朝が成立すると義陽王に封じられている。その後も対呉戦線で活躍して晋の中華統一に貢献した。
父と同様倹約家だったが、その結果ものすごい財産を貯め込むことになり、死後それが発覚すると非難されたという。