전옥서의 이름이 등장하는 것은 《고려사》권17 세가제17 의종(毅宗) 2년 8월 4일 기축에 감옥에 죄수가 없는 것을 기념하여 닷새 동안 반야도량을 열었다는 기록이다.[2] 《고려사》 직관지에 따르면 전옥서는 이미 국초에 설치되어 있었다고 하며, 성종(成宗) 14년(995년)에 이름을 중국식의 대리시(大理寺)로 고쳤다가 문종(文宗) 때에 다시 이름을 전옥서로 고쳤다.[3] 충렬왕 34년(1308년)에 충선왕(忠宣王)이 형조(刑曹)를 언부(讞部)로 고치면서 기존의 감전색(監傳色)·도관(都官)·전옥서(典獄署)를 혁파함으로서 사라졌다가[4]공민왕(恭愍王) 11년(1362)에 다시 설치되었다.
고려 때에는 국왕이 원구(圓丘) 및 우사(雩祀)·환구(圜丘)·체협향(禘祫享) 및 시향(時享)·태묘향(太廟享)·선농(先農)·경적(耕籍) 등의 제를 올린 뒤에 천하대사 즉 고려 천하의 죄인들에 대한 사면을 행하였는데, 형부 및 전옥서의 죄수들을 미리 의장대 바깥에 집결시켜 놓았다가 국왕의 사서(赦書)를 읽고 군민들이 환호하는 데에 이어 옥리가 죄수들에게 채운 형틀을 풀어주는 절차를 거쳤다.[5]