偏かたよりと分散ぶんさん

偏かたよりと分散ぶんさんやバイアス-バリアンスのトレードオフ（かたよりとぶんさんのトレードオフ、英えい: bias–variance tradeoff）とは、統計とうけい学がくと機械きかい学習がくしゅうにおいて、パラメータの推定すいていにおいてバイアス（偏かたより）を減へらすと標本ひょうほん間あいだのバリアンス（分散ぶんさん）が増ふえ、同時どうじにその逆ぎゃくも成立せいりつする、という予測よそくモデルの特徴とくちょうのことである。

バイアス-バリアンスのジレンマ（bias–variance dilemma）やバイアス-バリアンスの問題もんだい（bias–variance problem）とは、誤差ごさの原因げんいんであるバイアスとバリアンスの両方りょうほうを同時どうじに減へらそうとする際さいの対立たいりつの事ことであり、教師きょうしあり学習がくしゅうのアルゴリズムが訓練くんれんデータの内容ないようを超こえて汎ひろし化かする際さいの課題かだいとなる。

バイアス（偏かたより）

学習がくしゅうアルゴリズムにおいて、誤差ごさのうち、モデルの仮定かていの誤あやまりに由来ゆらいする分ぶん。バイアスが大おおきすぎることは、入力にゅうりょくと出力しゅつりょくの関係かんけいを適切てきせつに捉とらえられていないことを意味いみし、過少かしょう適合てきごうしている。

バリアンス（分散ぶんさん）

誤差ごさのうち、訓練くんれんデータの揺ゆらぎから生しょうじる分ぶん。バリアンスが大おおきすぎることは、本来ほんらいの出力しゅつりょくではなく、訓練くんれんデータのランダムなノイズを学習がくしゅうしていることを意味いみし、過剰かじょう適合てきごうしている。

バイアス-バリアンス分解ぶんかい（bias–variance decomposition）とは、汎ひろし化か誤差ごさの期待きたい値ちをバイアス＋バリアンス＋ノイズの3つの和わに分解ぶんかいすることである。

バイアス-バリアンスのトレードオフは、全すべての教師きょうしあり学習がくしゅうで生しょうじる。人間にんげんの学習がくしゅうにおいて、人間にんげんがヒューリスティクスを使用しようすることの有効ゆうこう性せいの説明せつめいにも使用しようされている。

日本語にほんごでの訳語やくご

統計とうけい学がくでは通常つうじょう bias は偏かたより、variance は分散ぶんさんと翻訳ほんやくするが、この文脈ぶんみゃくではバイアスとバリアンスとカタカナで表記ひょうきされることが多おおい。書籍しょせき『パターン認識にんしきと機械きかい学習がくしゅう』の翻訳ほんやく者しゃはバイアス-バリアンスと訳やくし、書籍しょせき『統計とうけい的てき学習がくしゅうの基礎きそ』の翻訳ほんやく者しゃはバイアス-分散ぶんさんと訳やくした。

二乗にじょう誤差ごさのバイアス-バリアンス分解ぶんかい　

データとして入力にゅうりょく $x_{1},\dots ,x_{n}$ があり、出力しゅつりょくは $y_{i}$ とする。真しんの関数かんすう $y=f(x)+\varepsilon$ が存在そんざいし、$\varepsilon$ は平均へいきん0分散ぶんさん $\sigma ^{2}$ のノイズである。

真しんの関数かんすう $f(x)$ を可能かのうな限かぎり近似きんじした ${\hat {f}}(x)$ を推定すいていしたいとする。可能かのうな限かぎりの意味いみとして、ここでは二に乗じょう誤差ごさ $(y-{\hat {f}}(x))^{2}$ を訓練くんれんデータだけでなく、全すべてのデータにおいて最小さいしょう化かしたいとする。ここで $y_{i}$ はノイズ $\varepsilon$ を含ふくんでいるので、原理げんり上じょう、完璧かんぺきに推定すいていすることは不可能ふかのうである。

訓練くんれんデータから ${\hat {f}}$ を推定すいていする教師きょうしあり学習がくしゅうのアルゴリズムは無数むすうにあるが、どのアルゴリズムであっても、二乗にじょう誤差ごさの期待きたい値ちは以下いかのように分解ぶんかいできる。

$\operatorname {E} {\Big [}{\big (}y-{\hat {f}}(x){\big )}^{2}{\Big ]}={\Big (}\operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}{\Big )}^{2}+\operatorname {Var} {\big [}{\hat {f}}(x){\big ]}+\sigma ^{2}$

$\operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} {\big [}{\hat {f}}(x){\big ]}-f(x)$

$\operatorname {Var} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} [{\hat {f}}(x)^{2}]-\operatorname {E} [{\hat {f}}(x)]^{2}.$

導出どうしゅつ

二乗にじょう誤差ごさのバイアス-バリアンス分解ぶんかいは以下いかのように導出どうしゅつできる。$f=f(x)$ および ${\hat {f}}={\hat {f}}(x)$ と簡略かんりゃくに表記ひょうきする。分散ぶんさんの定義ていぎより、

$\operatorname {Var} [X]=\operatorname {E} [X^{2}]-{\Big (}\operatorname {E} [X]{\Big )}^{2}.$

これを式しき変形へんけいすると下記かきになる。

$\operatorname {E} [X^{2}]=\operatorname {Var} [X]+{\Big (}\operatorname {E} [X]{\Big )}^{2}.$

f は決定けってい論ろん的てきなので、

$\operatorname {E} [f]=f.$

$y=f+\varepsilon$ と $\operatorname {E} [\varepsilon ]=0$ より

$\operatorname {E} [y]=\operatorname {E} [f+\varepsilon ]=\operatorname {E} [f]=f.$

$\operatorname {Var} [\varepsilon ]=\sigma ^{2}$ より

$\operatorname {Var} [y]=\operatorname {E} [(y-\operatorname {E} [y])^{2}]=\operatorname {E} [(y-f)^{2}]=\operatorname {E} [(f+\varepsilon -f)^{2}]=\operatorname {E} [\varepsilon ^{2}]=\operatorname {Var} [\varepsilon ]+{\Big (}\operatorname {E} [\varepsilon ]{\Big )}^{2}=\sigma ^{2}$

$\varepsilon$ と ${\hat {f}}$ は独立どくりつなので、以下いかのように式しき変形へんけいできる。

${\begin{aligned}\operatorname {E} {\big [}(y-{\hat {f}})^{2}{\big ]}&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}})^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}}+\operatorname {E} [{\hat {f}}]-\operatorname {E} [{\hat {f}}])^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])^{2}{\big ]}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])\varepsilon {\big ]}+2\operatorname {E} {\big [}\varepsilon (\operatorname {E} [{\hat {f}}]-{\hat {f}}){\big ]}+2\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})(f-\operatorname {E} [{\hat {f}}]){\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2(f-\operatorname {E} [{\hat {f}}])\operatorname {E} [\varepsilon ]+2\operatorname {E} [\varepsilon ]\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}+2\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}(f-\operatorname {E} [{\hat {f}}])\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {Var} [y]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\operatorname {Var} [y]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\sigma ^{2}+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\end{aligned}}$

手法しゅほう

次元じげん削減さくげんや特徴とくちょう選択せんたくはモデルを簡単かんたんにすることによりバリアンスを減へらせる。訓練くんれんデータを増ふやすこともバリアンスを減へらせる。特徴とくちょう量りょうを追加ついかすることはバイアスを減へらす傾向けいこうにあるが、バリアンスの追加ついかが犠牲ぎせいとなる。

学習がくしゅうアルゴリズムはバイアスとバリアンスのバランスを調整ちょうせいするパラメータがあることが多おおい。以下いかはその例れい。

• 線形せんけいモデルや一般いっぱん化か線形せんけいモデルでは、正則せいそく化かにより、バリアンスを減へらしバイアスを増ふやせる。
• ニューラルネットワークでは、隠かくれ層そうを大おおきくすることで、バリアンスを増ふやしバイアスを減へらせる。一般いっぱん化か線形せんけいモデル同様どうよう、正則せいそく化かも使つかえる。
• k近傍きんぼう法ほうでは、kを増ふやすことで、バリアンスを減へらしバイアスを増ふやせる。
• 決定けってい木きでは、木きの深ふかさでバリアンスを調整ちょうせいできる。

バイアス-バリアンスのトレードオフを解決かいけつする1つの方法ほうほうは、混合こんごうモデルとアンサンブル学習がくしゅうである。例たとえば、ブースティングでは複数ふくすうの弱じゃく学習がくしゅう器き（バイアスが大おおきい）を組くみ合あわせることでバイアスを下さげることができ、バギングでは強つよ学習がくしゅう器きを組くみ合あわせることでバリアンスを減へらせる。

人間にんげんの学習がくしゅうへの適用てきよう

バイアス-バリアンスのジレンマは機械きかい学習がくしゅうの文脈ぶんみゃくで広ひろく議論ぎろんされているが、人間にんげんの認知にんちの文脈ぶんみゃくでも検討けんとうされていて、Gerd Gigerenzer 等とうによる学習がくしゅうヒューリスティクスの研究けんきゅうがある。経験けいけんがまばらであまり特徴付とくちょうづけられていない状況じょうきょうで、高こうバイアス低ていバリアンスのヒューリスティクスにて、このジレンマを解決かいけつして、人間にんげんの脳のうは学習がくしゅうしていると主張しゅちょうしている。バイアスが小ちいさすぎる学習がくしゅう手法しゅほうは、新あたらしい状況じょうきょうへの汎ひろし化か能力のうりょくが乏とぼしく、世界せかいの真しんの状態じょうたいを不適切ふてきせつに推定すいていする、という事実じじつを反映はんえいしている。これらのヒューリスティクスは相対そうたい的てきに簡単かんたんであるが、多おおくの状況じょうきょうに対たいしてより良よい推定すいていをもたらす。

Stuart Geman 等とうは、一般いっぱん物体ぶったい認識にんしきをゼロから学習がくしゅうすることは不可能ふかのうであり、ある種しゅの"固かたい配線はいせん"があり、それを経験けいけんにより調整ちょうせいする形かたちが必要ひつようであるということを、バイアス-バリアンスのジレンマは意味いみしていると主張しゅちょうしている。なぜなら、高こうバリアンスを避さけるために、自由じゆうすぎるモデルは非ひ現実げんじつ的てきなほどの大量たいりょうの訓練くんれんデータを必要ひつようとするからである。

関連かんれん項目こうもく

• 正せい確度かくどと精度せいど