세조 때의 정승 서거정의 후손으로 그의 형 서거광의 9대손이다. 아버지는 사평(司評)을 지낸 서문도(徐文道)이며, 영조의 국구(國舅)이다. 1687년(숙종 13년) 생원시와 진사시 사마 양시에 모두 합격하였다. 1704년 그의 딸이 뒷날 영조가 되는 연잉군(延仍君)과 결혼하여 특별히 음직으로 사릉참봉(思陵參奉)에 임명되었다. 이후 여러 벼슬을 거쳐 신천군수(信川郡守)로 부임했으나 숙종 45년인 1719년 사망했다.
그러나 영조의 형 경종이 즉위할 때 일어난 신임옥사에 그의 손자 서덕수가 연루되면서, 아들인 서명백 등도 흑산도로 유배되었다. 서종제의 사위인 영조가 즉위하면서 서종제의 동생 부사과 서종일(徐宗一)의 건의로 손자 서덕수가 복권되자, 조정대신들이 영조에게 건의해 또다른 손자 서인수(徐仁修)로 하여금 동몽교관(童蒙敎官)에 제수되도록 했다. 1743년 효희(孝禧)의 시호가 내려졌다. 딸인 정성왕후는 영조의 정비로서 66세까지 장수했으나 친자식은 없었다.
