中世以降の日本では、預所代、国司の目代、守護代、小守護代、地頭代、或いは出征した軍勢の統括を代行する陣代などの代官職があり、さらにそれらの代官である叉代というのもあった。
そもそも、代官という概念は、公領および所領の政務・支配を代行する職をいった。主な例は武家政権成立以前の国司とその職務を代行した目代が挙げられる。平安時代以降、国司自ら着任することなく国府の政務を代行を遙任された遙任という制度が確立し、遙任をした国司より国府に目代という地位が置かれることが一般的となった。
鎌倉時代以降、守護地頭制に基づく武家政権の土地支配の権力構造が成立すると、複数の諸国に守護職を得た御家人が守護代を置くようになり、守護の職権を代行した。室町時代においては幕府直轄領の管理者が代官と称され、守護の代官たる守護代やその代官たる小守護代などとは区別された（守護代の項目参照）。
このように、広義における代官職は国司の目代や守護代のように、任国の職務を代行する地位を広く指したが、室町時代以降となると、当初は室町幕府の直轄領地の支配を代行する地位を指すようになり、これに習い、戦国大名たちも自身の直轄領に代官を置くようになったことから代官を職名とする地位全般を指すようになった。
特に安土桃山時代以降は織田信長が自身の家中において家臣を城下に居住させることを徹底し、領主不在の領地が急激に増えたこともあり、家臣の新知の知行地もまとめて代官に管理させるようにした[要出典]。
江戸時代、幕府の代官は郡代と共に勘定奉行の支配下におかれ小禄の旗本の知行地と天領を治めていた。初期の代官職は世襲であることが多く、在地の小豪族・地侍も選ばれ、幕臣に取り込まれていった。代官の中で有名な人物として、韮山代官所の江川太郎左衛門や富士川治水の代官古郡孫大夫三代、松崎代官所の宮川智之助佐衛門、天草代官鈴木重成などがいる。寛永（1624年-1644年）期以降は、吏僚的代官が増え、任期は不定ではあるが数年で交替することが多くなった。概ね代官所の支配地は、他の大名の支配地よりも暮らしやすかったという（なお、駿府町奉行・佐渡奉行などとは役割が違うので注意が必要である）。
代官の身分は150俵と旗本としては最下層に属するが、身分の割には支配地域、権限が大きかった。後述の通り代官所に勤務する人員の数は限られていたため、代官の仕事は非常に多忙だった。
通常、代官支配地は数万石位を単位に編成される。代官は支配所に陣屋（代官所）を設置し、統治にあたる。代官の配下には10名程度の手付（幕府の御家人）と数名の手代（現地採用の抱え席）が置かれ、代官を補佐した。特に関東近辺の代官は江戸定府で、支配は手付と連絡を取り行い、代官は検地、検見、巡察、重大事件発生時にのみ支配地に赴いた。遠隔地では代官の在地が原則であった。
また私利私欲に走るなどで、少しでも評判の悪い代官はすぐに罷免される政治体制になっていた。過酷な年貢の取り立ては農民の逃散につながり、かえって年貢の収量が減少するためである。実際、飢饉の時に餓死者を出した責任で罷免・処罰された代官もいる[要出典]。しかしながら、その一方では、領民たちを重い税から救うために自らの命を犠牲にして年貢の減免を幕府に訴え続けた鈴木重成や、同じく支配地への甘藷の導入によって領民たちを飢饉から救った井戸正明などを始め、名代官と呼ぶにふさわしい代官も存在した。
播磨国で8割8分の年貢（正徳の治の時代の天領の年貢の平均が2割7分6厘であったことと比較すると、明らかに法外な取り立てである）を取り立てていた代官がいた事が確認されている[要出典]。
時代劇で悪代官が登場することが多い。こうしたことから、代官と言えば、圧政で百姓を虐げ、商人から賄賂を受け取り、土地の女を好きにするなどのいわゆる悪代官のステレオタイプなイメージが広く浸透した。今日、無理難題を強いる上司や目上を指してお代官様と揶揄するのも、こうしたドラマを通じた悪代官のイメージが強いことに由来する。ジョークで物事を懇願する際に相手をお代官様と呼ぶ場合があるのも、こうした時代劇の影響によるところである。[独自研究?]
諸藩でも代官が設置されており、家臣の地方知行の蔵米化が進むと、給人自身に代わって代官がまとめて知行地を徴税、管理するようになった。
諸藩においての代官は、小藩においては10石未満の徒士クラスが任ぜられている藩もあるが、御目見得以上の上士を代官に任じている藩も多い。また、土地の有力者等が世襲しているものもある。その場合は藩内での家格は徒士であることが多い。
例として、柳河藩や長州藩などでは馬廻が代官になっていた。広島藩では代官は100石から250石程度の上士が任じられており、福山藩でも代官は上士相当の役職であった。また、一律ではないが、多くの藩で代官は少なくとも郡奉行よりは下である点は共通する。また、柳河藩では長崎外聞役（長崎聞役）よりは上である。
また飛び地などでは在地の富農を代官に任命することが多く、役人を派遣しない藩もあった。このような場合の報酬は名字帯刀などの身分特権や免租や効用便の利用許可などの租税特権などであった。
10万9千石の柳河藩の代官役料は明和・安永ごろの分限帳では「白米2石3斗1升、夫銀1枚」とある（柳河藩立花家分限帳）。人員は会津松平家時代の会津藩で15人、戸田家時代の大垣藩で11人、米沢藩で5人である。
幕府の初期財政は貿易収入・金銀採掘によって潤沢だったが、次第に輸入超過となり、採掘量も減少する中、1657年の明暦の大火の復興のため家康以来の貯蓄もほとんど使い果たした[1]。そこで年貢収入に目が向けられ、代官方を督励するようになった[1]。初期代官には家康との個人的結びつきによって任じられた土豪代官と、これを統率する代官頭があり、時には年貢収入を請け負う地元農民（臨時代官）もあった[1]。幕府は代官の土地経営や商売を禁じ、代官の半私領地的であった支配地に代えて知行地を与えるなどして公私混同的地方経営からの転換を図ったが、年貢の私的利用などが続き、改革は困難を極めた[1]。そのため、1681年（天和元年）に勘定吟味役を設置、1687年（貞享4年）に総代官の会計監査を実施して、不良代官の大量粛清と人事異動を行なった[1]。さらに1716年からの享保の改革でも代官粛清が行なわれ、1725年（享保10年）の口米直接収得の廃止とともに、代官の役人化が強化された[1]。
旧大森代官所。門長屋が現存
代官所とは、江戸時代に江戸幕府直轄の領地（支配所、天領）に設置され、代官が派遣されて統治を行う役所のことである。江戸時代においては、幕藩体制が確立していたこともあり、代官所の規模はその支配地域と比べて比較的小さかった。幕末の五条代官所（南大和7万石）では、代官1人、幕臣の手付3人、お抱えの手代10人（士分）しかいなかったという（他に下働きの足軽、中間はいる）。また、在地の有力者を代官に任命する場合は、専用の代官所は設置せず代官の居宅を代官所として使用し、代官の補佐役も家族や使用人など在地の者が兼任した。
