行台是魏晉至金代尚書省在外設置的臨時分支機構。「台」指在中央的尚書省，出征時駐行在当地設立的臨時性機構稱為「行台」，又稱「行尚書台」或「行台省」。
曹魏甘露二年（257年），司馬昭討伐諸葛誕，尚書僕射陳泰、中書侍郎鍾會等以「行台」隨從出征。西晉永嘉之乱，尚書令東海王司馬越以「行台」率軍四万討伐汉赵大将石勒。以後尚書省長官出征，隨軍的機構稱為「行台」。
到了北魏，「行台」成為皇帝派出的特使，指揮軍事或巡視邊境，但不常設不管地方民政。天興元年(398年)，道武帝拓跋珪攻佔后燕首都中山（今河北定县）一带，因为都城遠在平城（今山西大同市城北），就近於鄴城（今河北省臨漳縣）、中山置「行台」，让尚書令拓跋儀管理。熙平元年 (516年)，南朝梁武帝遣左游击将军赵祖悦率众数万袭据西硖石，进逼寿春。北魏以李平為尚書右僕射置「行台」節度諸軍，破硖石城，斩赵祖悦。魏孝文帝元宏遷都洛陽，以尚書左僕射源懷為「行台」，巡視北邊六鎮和恆、燕、朔三州。正光五年 (524年)，相繼爆發六镇之乱、關隴起義，北魏不得不在各地设「行台」指揮鎮壓。先后以尚書僕射元脩義、大都督蕭寶寅為「西道行台」，镇压關中莫折念生起義。孝昌元年 (525年)，以尚書幽州刺史常景為「行台」，镇压河北杜洛周起義。
北魏孝明帝、孝莊帝時，「行台」設置較多。出任「行台」长官的多兼任當州刺史或都督諸州軍事，成為地方性軍事指揮機關。正光年間，有曹世表為「東南道行台」、東豫州刺史。魏子建為「山南行台」，梁、巴、二益、兩秦之事，皆歸其節度。正光末，以薛脩義都督華、豳、東秦諸州軍事，為「西道行台」。孝昌年間，楊津為定州刺史兼「北道行台」。武泰元年 (528年)孝明帝任命爾朱榮為「北道大行台」，「大行台」稱號始見於此。其後爾朱氏兄弟子侄各據一方，多任「大行台」。
北魏末年，高歡专权，為「大行台」，其餘「行台」都被廢除。孝武帝欲分高歡之权，以賀拔岳為「關西道大行台」，都督雍、涼、梁、益等二十州諸軍事；以賀拔勝為荊州刺史、尚書左僕射、「南道大行台」。賀拔岳死，宇文泰繼任。東魏、西魏分立，高歡在東魏為丞相、「大行台」，駐并州，於州治晉陽置丞相府。宇文泰在西魏亦任「大行台」，都督内外軍事，鎮雍州。高歡任命侯景為「河南道大行台」， 鎮虎牢，擁兵十萬，專制河南，指揮對西魏、南梁的戰爭。南梁中大同二年 (547年)，侯景叛東魏降南梁，上表稱黃河以南，皆他所掌管，請舉函谷(今河南新安北)以東，瑕丘(今山東兗州北)以西，豫、廣、郢、荊、襄、兗、南兗、濟 、東豫、洛、陽、北荊、北揚等十三州內附，所列當即「河南道大行台」的管轄範圍。
北魏「行台」的組織雖略同於「中台」(在中央的尚書台)，有令、僕射、尚書、丞、郎等員，但都是臨時權置，並不完備。「行台」的官長，不一定都有令、僕射、尚書等官位。
北齊「行台」承北魏制，「并州大行台」改稱并州尚書省，地位僅在鄴城北齊中央尚書省之下。其餘下台多以州劃分，史籍所見有：
- 「幽州道行台」，亦稱「北道行台」，駐薊(今北京西北)；
- 「朔州道行台」，駐廣安(今山西朔縣)；
- 「晉州道行台」，駐平陽(今山西臨汾)；
- 「建州道行台」，駐高都(今山西晉城東北)；
- 「東雍州行台」，駐正平(今山西新絳);
- 「洛州行台」，亦稱「河南道行台」，駐洛陽；
- 「河陽道行台」，駐河陽(今河南孟縣西)；
- 「豫州道行台」，駐汝南(今屬河南)；
- 「東徐州行台」，亦稱「東南道行台」，駐下邳(今屬江蘇)；
- 「揚州道行台」，駐壽春(今安徽壽縣)。
以上「行台」之外，東魏、北齊又有臨時性「行台」，指揮與西魏、南梁作戰，巡視地方，事畢即撤除。北齊文宣帝時，辛術為東徐州刺史、「東南道行台」，駐下邳，所統十餘州地犯法者，悉由術判處。此时「行台」才开始管理地方民政。
西魏「行台」不常設。除宇文泰自任「大行台」外，獨孤信為荊州刺史、「東南道行台」。王思政為「東道行台」，駐玉壁，都督汾、晉、並諸州軍事。侯景叛東魏，王思政率西魏軍入據潁州，「行台」亦移至潁州。北周置總管府(實即「行台」的後身)，遂廢「行台」之制。
南朝無「行台」之制。梁末侯景來降，梁武帝蕭衍保留其「大行台」稱號，封侯景為河南王，都督河南諸軍事。南朝宋、齊時，由中央派出催徵賦稅之台使，往往亦自稱「行台」，但只是名称相同。
隋文帝開皇二年(582年)於並、洛、益三州各置河北道、河南道、西南道行台尚書省，隋文帝以其子楊廣、楊俊、楊秀各為行台尚書令。後廢洛州行台，又於襄州、壽春兩地設置山南道、淮南道行台。這兩處「行台」都因为讨伐南陳而設置，统一以后就被廢除了。文帝開皇九年 (589年)後，「行台」全部被廢除，而置並、揚、益、荊四大總管府，各統十餘州至數十州。隋煬帝大業元年 (605年)各總管府也被廢除。
唐初復置「大行台」。「陝東道大行台」置於洛陽，以秦王李世民為尚書令，地位在其餘「行台」之上。其餘「行台」如益州道、襄州道、東南道、河東道、河北道，均以宗室親王或親信大將任尚書左僕射，為「行台主」。武德九年 (626年)，諸道「行台」也都廢除。
隋唐的「行台尚書省」則以「行台尚書令」為最高長官，若不置令，即以左僕射為首。置官大略同中台而人數較少。「行台」主要為處理軍務而設，故以兵部居首，又兼綜民事，故吏、戶、刑、工並置，卻往往一人兼兩職或三職。唯禮部僭越中央權力，以及天下只有京城可建天子旌旗而而往往不被設置。「行台」的統轄地區既廣，位重權大，不利於中央集權，所以唐太宗李世民即位後就予以廢除。
金天會十五年(1137年)，廢伪齊國，於汴京（今河南开封）成立「行台尚書省」，管理伪齊國舊地。「行台尚書省」由朝廷尚書省統領，設行台左丞相和行台右丞相。天眷元年(1138年)，因为根据金宋绍兴和议，河南、陝西要归還南宋，「行台尚書省」改設到中京。但天眷三年(1140年)五月，完颜宗弼（兀术）晋升都元帅，撕毁和约重新攻宋占领河南、陝西，復設「行台尚書省」於汴京。天德二年(1150年)，「行台尚書省」被廢。
元代设置的「御史台」，也簡稱為「行台」。地方行政機構與及行尚書台的權力則被行中書省代替。
