(Translated by https://www.hiragana.jp/)
確率的で近似的に正しい学習 - Wikipedia コンテンツにスキップ

かくりつてき近似きんじてきただしい学習がくしゅう

出典しゅってん: フリー百科ひゃっか事典じてん『ウィキペディア(Wikipedia)』

かくりつてき近似きんじてきただしい学習がくしゅうえい: probably approximately correct learning)やPAC学習がくしゅうえい: PAC learning)とは、機械きかい学習がくしゅう計算けいさんろんてき学習がくしゅう理論りろんにおいて、機械きかい学習がくしゅう数学すうがくてき解析かいせきフレームワークの1つである。Leslie Valiant が1984ねん提唱ていしょうした[1]

このフレームワークにおいて、学習がくしゅうアルゴリズムは標本ひょうほんり、仮説かせつばれるひろしした関数かんすうをある関数かんすうクラスのなかから選択せんたくする必要ひつようがある。目標もくひょうは、たかかくりつで、選択せんたくした関数かんすうちいさなひろし誤差ごさになることである。学習がくしゅうアルゴリズムは、あたえられた近似きんじ比率ひりつ成功せいこうりつ標本ひょうほん分布ぶんぷから概念がいねん学習がくしゅうする必要ひつようがある。

このモデルはのちにノイズ(あやま分類ぶんるいされた標本ひょうほん)をあつかえるように拡張かくちょうされた。

PACフレームワークの重要じゅうようなイノベーションは、計算けいさんろんてき学習がくしゅう理論りろんという概念がいねん機械きかい学習がくしゅうにもたらしたことである。とくに、学習がくしゅうアルゴリズムは(時間じかん計算けいさんりょう空間くうかん計算けいさんりょう訓練くんれんデータサイズの多項式たこうしきサイズの制限せいげんもとで)適切てきせつ関数かんすうつけすことが期待きたいされ、学習がくしゅうアルゴリズムは(訓練くんれんデータサイズが仮説かせつ空間くうかんサイズの多項式たこうしきサイズにおさまっているなど)効率こうりつてき手順てじゅん実装じっそうする必要ひつようがある。

定義ていぎ

[編集へんしゅう]

分類ぶんるい問題もんだい対象たいしょうとする。評価ひょうか関数かんすうあやま分類ぶんるいりつ以下いかのように記号きごう定義ていぎする。

  • X - データの母集団ぼしゅうだん
  • D - データを抽出ちゅうしゅつするさいかくりつ分布ぶんぷ訓練くんれんデータも評価ひょうかデータも X からおなかくりつ分布ぶんぷしたがって抽出ちゅうしゅつする。
  • m - 訓練くんれんデータすう
  • H - 仮説かせつ集合しゅうごう学習がくしゅうアルゴリズムは訓練くんれんデータを使つかい、H のなかから仮説かせつ h を選択せんたくする。
  • - 0よりおおきく1よりちいさい実数じっすうで、許容きょようされるあやま分類ぶんるいりつ。PAC という言葉ことばの「近似きんじてきただしい」の部分ぶぶん対応たいおうする。
  • - 0よりおおきく1よりちいさい実数じっすう確率かくりつ詳細しょうさい後述こうじゅつ。PAC という言葉ことばの「かくりつてきで」の部分ぶぶん対応たいおうする。
  • - 学習がくしゅう必要ひつよう訓練くんれんデータすう学習がくしゅうアルゴリズムの一部いちぶ

仮説かせつ集合しゅうごう H が PAC 学習がくしゅう可能かのうとは、任意にんいたいして、とき、つまり、学習がくしゅうアルゴリズムが必要ひつようとする訓練くんれんデータすう以上いじょう訓練くんれんデータがあるときに、かくりつ 以上いじょうで、評価ひょうかデータでのあやま分類ぶんるいりつ 以下いかとなる学習がくしゅうアルゴリズムが存在そんざいするとき、PAC 学習がくしゅう可能かのうという。[2][3]

参照さんしょう

[編集へんしゅう]
  1. ^ L. Valiant. A theory of the learnable. Communications of the ACM, 27, 1984.
  2. ^ スチュワート ラッセル『エージェントアプローチ 人工じんこう知能ちのう共立きょうりつ出版しゅっぱん、1997ねんISBN 4320028783 
  3. ^ Shalev-Shwartz, Shai (2014). Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press. ISBN 1107057132