1910年（明治43年）に東京帝国大学を卒業。1912年（大正元年）12月に判事に任官。司法省参事官も務め、1924年（大正13年）1月に大審院判事、1934年（昭和9年）5月に札幌控訴院院長になった時は51歳で全国控訴院長のうち最年少であった。この後、広島控訴院長を経て、1939年（昭和14年）に東京控訴院長と昇進。1942年（昭和17年）に控訴院判事人事は部長会議（分科会）の合議で決めることになっていたが、霜山院長の独断で代理部長の人事を決めた際に、法律違反だとして若手判事らが徒党を組んで抗議して撤回を迫られるという控訴院分科会事件が発生した。
1944年（昭和19年）に大審院長となった。大審院長時代の1945年（昭和20年）に鹿児島2区選挙無効事件では鹿児島第1区や鹿児島第3区では棄却とする方針だったのに対して鹿児島2区で無効を認めると、県も地元警察が同じように関与しているのに全く違う判決となる不自然な判決となることから、民事部部長から霜山院長に報告された際に、大審院として統一するのではなくて判事それぞれの判断に任せるという形で「みな思うようにやられたらよかろう」と述べて裁判官の独立を守り、鹿児島2区の選挙無効判決の後押しとなった。戦争末期の1945年（昭和20年）に裁判資料が戦災に遭ってはいけないと考え、裁判記録を長野県の区裁判所に移して保管するよう命じた。
1946年（昭和21年）に退官した後は貴族院勅選議員となり、新憲法制定にも携わっている。
裁判官任命諮問委員会による諮問の結果、1947年8月に初代の最高裁判事に就任した。初代最高裁長官の有力候補ともなった（実際に初代最高裁長官になったのは三淵忠彦）。1949年（昭和24年）7月に最高裁判所誤判事件を起こし、1950年（昭和25年）6月に1万円の過料処分となる。
1954年（昭和29年）10月に定年退官。1975年（昭和50年）3月12日、東京・渋谷区広尾の自宅で老衰で90歳で死去した。
桂太郎━━三郎
┃
┣━━━━光貞
┃ ┃
井上馨━━千代子 ┃
┃
伊達宗徳━━二荒芳徳 ┃
┃ ┏明子
┣━━┫
┃ ┗治子
北白川宮能久親王━━━拡子 ┃
┃
┏一義
┃
┣泰介
┃
石坂泰三 ┣泰夫
┃ ┃
┣━━╋泰彦
┃ ┃
織田一━━雪子 ┣信雄
┃
┣智子
┃
┗操子
┃
┏霜山精一━━━徳爾
┃
┗秀野 ┏正俊
┃ ┃
┣━━━╋吾妻光俊
┃ ┃
┏━秀雄 ┗雄俊
┃
横田数馬━╋和田英
┃
┗小松謙次郎
- ^ 『大衆人事録』より
- ^ 『官報』第5757号、昭和21年3月26日。
- ^ 『官報』第5733号「叙任及辞令」1946年2月25日。
- 野村二郎『最高裁全裁判官：人と判決』三省堂、1986年。ISBN 9784385320403。
- 野村二郎『日本の裁判史を読む事典』自由国民社、2004年。ISBN 9784426221126。
- 清永聡『気骨の判決―東條英機と闘った裁判官』新潮社（新潮新書）、2006年。ISBN 9784106102752。
- 管賀江留郎『冤罪と人類: 道徳感情はなぜ人を誤らせるのか』ハヤカワ文庫NF、2021年。ISBN 9784150505745。
- 猪野三郎監修『第十版 大衆人事録』（昭和9年）シ七一頁
- 早川隆『日本の上流社会と閨閥』（角川書店、1983年）89-93頁
.svg){kind=small}