「중서」(中書)라는 이름 자체는 이미 전한(前漢) 무제(武帝)의 시대에 「중서알자」(中書謁者)라는 관직이 존재했던 데서 유래를 찾을 수 있다. 중서알자는 환관에게 상서(尚書)가 맡아보던 일을 맡게 한 것이다. 그러나 성제(成帝) 때에 중서알자는 폐지되었다. 한조에서 상서가 상주를 황제에게 보여 줄지의 여부를 결정할 권한을 지녔고, 황제 권력이 강화되는 경우는 이를 대체할 비서적인 존재가 필요했다.
위의 문제(文帝)는 중서성을 처음 열고 조명(詔命)의 기초를 관장하게 했으며, 또한 정치의 중요한 일을 결정하는 데에도 참가하게 하였다. 즉 황제가 내리는 명령의 내용을 결정할 수 있게 한 권한에 따라 상서를 비롯한 다른 정치기관을 통제할 수 있게 된 것이다. 이후 상서는 행정상의 사무를 시행하는 관청으로 사실상 격하되고, 한편으로 중서는 상서에 대한 권력을 얻게 되어 상직(相職) 즉 재상(宰相)직으로도 불리게 되었다. 그러나 진(晋)에서 남북조 시대에 이르는 사이에 문하성(門下省)이 새로 세워지게 되는데, 당시 세력을 키운 문벌귀족의 아성(牙城)과도 같은 곳으로써 중서가 기초한 조명을 심의하거나 각하할 권한을 가지게 되면서, 중서의 지위가 잠시 후퇴하기도 했다.
당(唐) 왕조가 성립되고 중서는 문하나 상서와 함께 삼성(三省)를 형성하게 된다. 중서의 주요 업무는 조칙의 기초였으며, 또한 신하의 상주에 대한 답의 초안 작성도 이루어졌다. 또한 중서성 안에는 중서령(中書令), 중서시랑(中書侍郎) 아래로 관직이 설치되었다. 당에서는 황제의 귀족에 대한 권한이 강화되어 귀족의 의향을 대변하는 문하성(門下省)에 비해 황제의 비서적 존재였던 중서성의 권한이 다시 증대하였다. 중서령은 정식 재상이 되고, 문하성의 영향력 저하와 수반해 강대한 권한을 떨치게 되었다. 그러나 당 왕조 후반기에 중서령은 큰 공을 세운 자에게 수여되는 명예직 같은 존재가 되어버렸고, 재상의 권한은 다시 중서성이나 문하성 시랑(차관) 이하가 취임하던 동중서문하평장사(同中書門下平章事)로 옮겨진다.
북송(北宋)에서 중서성의 장관은 문하성이나 상서성(尚書省)과 같은 실무 관직이라기보다는 공신(功臣)의 사망 뒤에 추증하는 것으로 껍데기밖에 남지 않은 것이었다.
원 왕조에서 중서성은 중앙정부의 통치기관이자 각 지방에도 똑같은 형태로 행중서성이 설치되었다. 행성(行省)이라고 불린 이것은 오늘날로 중국의 지방행정 구역의 하나인 성(省)의 기원이 되었다. 다만 미타무라 다이스케(三田村泰助)의 지적대로, 원 왕조의 「중서성」은 몽골의 전통적인 집정부였던 에케 쟈르구치(대법관)나 에케 비치그치(대서기관)의 한인(漢人) 관료에 대한 단어 해석에 지나지 않았다. 가사사 마사아키(笠沙雅章)는 그 직무도 조칙의 기초에 그치지 않고 군정을 맡는 추밀원(枢密院)과 감찰 및 사법 기관인 어사대(御史台)를 제외한 모든 정치 권력이 집중된 강력한 것이었다고 지적한다. 즉 당대의 중서성과는 전혀 다른 기구로 변질된 것이다.
명 왕조를 세운 홍무제도 초기에는 중서성을 그대로 두고 그 장관인 승상(丞相)을 재상으로 삼았다. 그러나 홍무(洪武) 13년(1380년)에 일어난 이른바 호유용의 옥(獄)을 계기로 중서성을 없애버렸다. 홍무제의 중서성 폐지는 승상을 비롯한 일체의 재상직을 없애버렸다는 데에 의의가 있다. 재상이 사라진 뒤 6부의 장관인 6상서는 황제의 직접명령을 받게 되고, 황제 독재체제가 성립된다.
