特徴とくちょう選択せんたく

特徴とくちょう選択せんたく（とくちょうせんたく、英えい: feature selection）とは、機械きかい学習がくしゅうと統計とうけい学がくの用語ようごであり、頑健がんけんな学習がくしゅうモデルの構築こうちくのため、特徴とくちょう集合しゅうごうのうち意味いみのある部分ぶぶん集合しゅうごうだけを選択せんたくする手法しゅほうのことを指さす。特徴とくちょう量りょう選択せんたく、変数へんすう選択せんたく、特徴とくちょう削減さくげん、属性ぞくせい選択せんたく、素性すじょう選択せんたく、変数へんすう部分ぶぶん集合しゅうごう選択せんたくなどとも呼よばれる。生物せいぶつ学がくの文脈ぶんみゃくでは、DNAマイクロアレイの実験じっけんに基もとづいて影響えいきょう力りょくのある遺伝子いでんしを検出けんしゅつする手法しゅほうを指さす場合ばあいもある。不要ふようで冗長じょうちょうな特徴とくちょう量りょうをデータから除去じょきょすることによって、特徴とくちょう選択せんたくは学習がくしゅうモデルを次つぎの点てんで改善かいぜんする：

次元じげんの呪のろいの効果こうかを緩和かんわする。
汎ひろし化か性能せいのうを向上こうじょうさせる。
学習がくしゅうを高速こうそく化かする。
モデルの可読かどく性せいを改善かいぜんする。

特徴とくちょう選択せんたくを行おこなうと、データのうちどの特徴とくちょう量りょうが重要じゅうようでありどのようにそれらが関係かんけいしているかなどといった点てんについて、人間にんげんが理解りかいしやすくなるという効果こうかもある。

導入どうにゅう[編集へんしゅう]

単純たんじゅんな特徴とくちょう選択せんたくアルゴリズムは場当ばあたり的てきなものだが、より系統けいとうだったアプローチも存在そんざいする。理論りろん的てき観点かんてんからは、教師きょうしあり学習がくしゅう問題もんだいにおいて最適さいてきな特徴とくちょう選択せんたくを行おこなうには、選えらばれた大おおきさのすべての部分ぶぶん集合しゅうごうを特徴とくちょう集合しゅうごうから取とり出だし、総そう当あたりで試ためす必要ひつようがあるということが証明しょうめいできる。特徴とくちょうの数かずが多おおくなれば、このやり方かたは実用じつよう的てきでなくなる。実用じつよう的てきな教師きょうしあり学習がくしゅうアルゴリズムの特徴とくちょう選択せんたくでは、最適さいてきな集合しゅうごうではなく満足まんぞくできる集合しゅうごうを求もとめることになる。

特徴とくちょう選択せんたくアルゴリズムは典型てんけい的てきには、特徴とくちょうランキングと部分ぶぶん集合しゅうごう選択せんたくという二ふたつのカテゴリに分類ぶんるいされる。特徴とくちょうランキングでは、ある指標しひょうによって特徴とくちょうをランクづけし、一定いっていのスコアに達たっしなかった特徴とくちょうを除去じょきょする。部分ぶぶん集合しゅうごう選択せんたくでは、最適さいてきな部分ぶぶん集合しゅうごうを目指めざして特徴とくちょうの組くみ合あわせを探索たんさくする。

統計とうけい学がくでは、ステップワイズ回帰かいき（英語えいご版ばん）がもっともよく用もちいられる特徴とくちょう選択せんたくの形態けいたいである。この手法しゅほうは、各かくステップにおいてもっとも良よい特徴とくちょうを追加ついかする（もしくはもっとも悪わるい特徴とくちょうを除去じょきょする）貪欲どんよくアルゴリズムである。機械きかい学習がくしゅうでは交差こうさ検証けんしょうによって特徴とくちょうの良よさを評価ひょうかすることが多おおく、統計とうけい学がくではなんらかの規準きじゅんを最適さいてき化かすることが多おおい。このやり方かたには入いれ子こ型がたの特徴とくちょう量りょうに関かんする問題もんだいが内在ないざいしているため、分ぶん枝えだ限定げんてい法ほうや区分くぶん線形せんけいネットワークなど、より頑健がんけんな手法しゅほうが研究けんきゅうされている。

部分ぶぶん集合しゅうごう選択せんたく[編集へんしゅう]

部分ぶぶん集合しゅうごう選択せんたくでは、特徴とくちょう集合しゅうごうの部分ぶぶん集合しゅうごうがまとまりとして適切てきせつかどうかを評価ひょうかする。部分ぶぶん集合しゅうごう選択せんたくのアルゴリズムは、ラッパー、フィルター、埋うめ込こみの三種さんしゅに分類ぶんるいできる。ラッパーは探索たんさくアルゴリズムを用もちいて可能かのうな特徴とくちょうの空間くうかんを探索たんさくし、それぞれの部分ぶぶん集合しゅうごうでモデルを走はしらせて評価ひょうかを行おこなう。ラッパーは計算けいさん量的りょうてきにコストが高たかく、モデルの過剰かじょう適合てきごうを起おこす危険きけん性せいがある。フィルターは探索たんさくを行おこなう点てんでラッパーに似にているが、モデルを走はしらせるかわりにより単純たんじゅんなフィルターを用もちいて評価ひょうかを行おこなう。埋うめ込こみ型がたの方法ほうほうはモデルごとに特とく化かしたものであり、モデルに埋うめ込こまれている。

よく用もちいられる探索たんさくのアプローチは貪欲どんよくな山登やまのぼり法ほうである。山登やまのぼり法ほうでは、候補こうほとなる特徴とくちょう部分ぶぶん集合しゅうごうを評価ひょうかし、部分ぶぶん集合しゅうごうの一部いちぶを書かき換かえてそれが古ふるい部分ぶぶん集合しゅうごうを改善かいぜんしている限かぎり手続てつづきを繰くり返かえす。部分ぶぶん集合しゅうごうの評価ひょうかでは、特徴とくちょう部分ぶぶん集合しゅうごうをスコアづけする指標しひょうが必要ひつようとなる。総そう当あたり探索たんさくは通常つうじょう実用じつよう的てきでないため、実装じっそう者しゃが停止ていし点てんを定さだめ、その停止ていし点てんまでに見みつかったうち最高さいこうのスコアを持もつ特徴とくちょう部分ぶぶん集合しゅうごうを満足まんぞくできる特徴とくちょう部分ぶぶん集合しゅうごうとして採用さいようする。停止ていしの規準きじゅんは、アルゴリズムによって異ことなるが、部分ぶぶん集合しゅうごうのスコアがしきい値ちを超こえる、プログラムの実行じっこう時間じかんが規定きてい値ちを超こえる、などである。

探索たんさく（組合くみあわせ最適さいてき化か）のアプローチには、

総そう当あたり
最良さいりょう優先ゆうせん探索たんさく
焼やきなまし法ほう
遺伝いでん的てきアルゴリズム
貪欲どんよく前向まえむき選択せんたく
貪欲どんよく後うしろ向むき選択せんたく

などがある。

フィルターの規準きじゅんとして、分類ぶんるい問題もんだいでは相関そうかんと相互そうご情報じょうほう量りょうの二ふたつがよく用もちいられる。これらのスコアは候補こうほとなる特徴とくちょう（もしくは特徴とくちょう部分ぶぶん集合しゅうごう）と求もとめる出力しゅつりょくカテゴリの間あいだで計算けいさんされる。

フィルターの規準きじゅんとしてはほかに、次つぎのものがある：

クラスの分離ぶんり性せい
- 誤あやま分類ぶんるい確かく率りつ
- クラス内ない距離きょり
- 確かく率りつ分布ぶんぷの距離きょり
- エントロピー
一貫いっかん性せいに基もとづく特徴とくちょう選択せんたく
相関そうかんに基もとづく特徴とくちょう選択せんたく

最適さいてき性せい規準きじゅん[編集へんしゅう]

特徴とくちょう選択せんたくを制御せいぎょする最適さいてき性せい規準きじゅんには様々さまざまなものがある。もっとも古ふるいものとしてはマローズのCp統計とうけい量りょうや赤池あかいけ情報じょうほう量りょう規準きじゅんがある。これらの手法しゅほうでは t統計とうけい量りょう（英語えいご版ばん）が ${\sqrt {2}}$ を超こえた変数へんすうを採用さいようする。

その他たの規準きじゅんとしては、 ${\sqrt {\log {n}}}$ を用もちいるベイズ情報じょうほう量りょう規準きじゅん (BIC) 、 ${\sqrt {\log {n}}}$ を近似きんじ的てきに用もちいる最小さいしょう記述きじゅつ長ちょう（この近似きんじの計算けいさんは正ただしくないとする議論ぎろんもある^{[要よう出典しゅってん]}）、 ${\sqrt {2\log {p}}}$ を用もちいる Bonnferroni 法ほうや RIC 、偽にせ発見はっけん率りつ（英語えいご版ばん）に基もとづいて ${\sqrt {2\log {\frac {p}{q}}}}$ 付近ふきんのしきい値ちを用もちいる様々さまざまな規準きじゅんがある。

正則せいそく化か[編集へんしゅう]

詳細しょうさいは「正則せいそく化か」を参照さんしょう

L1 正則せいそく化か、L0 正則せいそく化かを用もちいても特徴とくちょう選択せんたくできる。詳細しょうさいは正則せいそく化かの項目こうもくを参照さんしょう。