次元じげん削減さくげん

次元じげん削減さくげん（じげんさくげん、英えい: Dimensionality reduction、dimension reduction）とは、高こう次元じげん空間くうかんから低てい次元じげん空間くうかんへデータを変換へんかんしながら、低てい次元じげん表現ひょうげんが元もとデータの何なんらかの意味いみある特性とくせいを保持ほじすることである。

高次こうじ元もと空間くうかんでデータを扱あつかうことは、多おおくの理由りゆうから望のぞましくない。生せいのデータは次元じげんの呪のろいの結果けっか、疎うとになることが多おおく、データの解析かいせきは通常つうじょう、計算けいさん不可能ふかのうである。

次元じげん削減さくげんは、信号しんごう処理しょり、音声おんせい認識にんしき、ニューロインフォマティクス、バイオインフォマティクスなど、大量たいりょうの観測かんそく値ちや大量たいりょうの変数へんすうを扱あつかう分野ぶんやで一般いっぱん的てきである^[1]。

次元じげん削減さくげんの方法ほうほうは一般いっぱん的てきに線形せんけいアプローチと非線形ひせんけいアプローチに分わけられる。また、アプローチは特徴とくちょう選択せんたくと特徴とくちょう抽出ちゅうしゅつ（英語えいご版ばん）に分わけられる^[2] 。次元じげん削減さくげんは、ノイズ除去じょきょ、データの可視かし化か、クラスター分析ぶんせき、あるいは他たの分析ぶんせきを容易よういにするための中なか間あいだ段階だんかいとして利用りようされることがある。

特徴とくちょう選択せんたく

詳細しょうさいは「特徴とくちょう選択せんたく」を参照さんしょう

特徴とくちょう選択せんたくとは、入力にゅうりょく変数へんすう（特徴とくちょう量りょう、属性ぞくせいと呼よばれることもある）から有用ゆうような部分ぶぶん集合しゅうごうを見みつけようとする手法しゅほうのことである。フィルタ（英えい: filter strategy、例れいとしては決定けってい木きの情報じょうほう利得りとく（英語えいご版ばん）等ひとし。）法ほう、ラッパー法ほう（英えい: wrapper strategy、例れいとしては精度せいどを最大さいだい化かするような探索たんさく等とう。)、埋うめ込こみ法ほう(英えい: embedded strategy、モデル学習がくしゅうの過程かていで予測よそくに対たいする誤差ごさを基もとに特徴とくちょうを追加ついか、あるいは除去じょきょするような方法ほうほう）等とう、大おおきく3つの戦略せんりゃくに分わけられる。

回帰かいきや分類ぶんるいといったデータ解析かいせきにおいては、元もとの空間くうかんよりも次元じげんを削減さくげんした空間くうかんで行おこなう方ほうがより精度せいどが高たかまるとされている^[3]。

特徴とくちょう抽出ちゅうしゅつ

詳細しょうさいは「特徴とくちょう抽出ちゅうしゅつ」を参照さんしょう

特徴とくちょう抽出ちゅうしゅつ（英語えいご版ばん）とは、データを高こう次元じげんの空間くうかんからより低てい次元じげんの空間くうかんに変換へんかんすることである。変換へんかん方法ほうほうは主成分しゅせいぶん分析ぶんせきのように線形せんけいであるものもあるが、多おおくは非線形ひせんけいのアプローチである^[4]^[5]。多次元たじげんのデータに対たいしては、多重たじゅう線形せんけい部分ぶぶん空間くうかん法ほう（英語えいご版ばん）によって次元じげん削減さくげんを行おこなうことにより、テンソル表現ひょうげん（英語えいご版ばん）を利用りようできる^[6]。

主成分しゅせいぶん分析ぶんせき

詳細しょうさいは「主成分しゅせいぶん分析ぶんせき」を参照さんしょう

次元じげん削減さくげんの線形せんけいなアプローチの中なかで主要しゅようなものである主成分しゅせいぶん分析ぶんせきは、データを低てい次元じげん空間くうかんに対たいして線形せんけいにマッピングする。マッピングの方法ほうほうとしては、低てい次元じげん表現ひょうげんにおけるデータの分散ぶんさんを最大さいだい化かするようにするものがある。実際じっさいには、データの共きょう分散ぶんさん（あるいは相関そうかん係数けいすう）の行列ぎょうれつを作つくり、その固有こゆうベクトルを計算けいさんする。最大さいだいの固有値こゆうちに対応たいおうする固有こゆうベクトル（主成分しゅせいぶん）は、元もとデータの分散ぶんさんが最大さいだいになる方向ほうこうを示しめしている。さらに、固有値こゆうちの大おおきい順じゅんに並ならべたときの最初さいしょの数個すうこの固有こゆうベクトルは、特とくに低てい次元じげんの系けいでは系けいのエネルギーの大だい部分ぶぶんを占しめているため、系けいの物理ぶつり的てきなふるまいを解析かいせきするのに役立やくだつ。勿論もちろん、全すべての系けいがこのようなふるまいを示しめすわけではなく、ケースバイケースである。主成分しゅせいぶん分析ぶんせきにより、少数しょうすうの固有こゆうベクトルで張はられる空間くうかんに次元じげんを削減さくげん^{[注釈ちゅうしゃく 1]}できる^{[要よう出典しゅってん]}。

非負ひふ値ち行列ぎょうれつ因子いんし分解ぶんかい（NMF）

詳細しょうさいは「非負ひふ値ち行列ぎょうれつ因子いんし分解ぶんかい」を参照さんしょう

非負ひふ値ち行列ぎょうれつ因子いんし分解ぶんかい（英語えいご版ばん）（英えい: Non-negative matrix factorization、NMFとも）は非負ひふの行列ぎょうれつを2つの非負ひふの行列ぎょうれつの積せきに分解ぶんかいする方法ほうほうで、天文学てんもんがくなど^[7]^[8]非負ひふ値ちしか取とり扱あつかわない分野ぶんやで有力ゆうりょくな方法ほうほうとされている^[9]^[10]。 NMFはLeeとセバスチャン・スン（英語えいご版ばん）によって効率こうりつ的てきな乗法じょうほうアルゴリズムが提案ていあんされ^[11]^[9]て以来いらいよく知しられており、継続けいぞく的てきに拡張かくちょう・応用おうようがなされている^[11]。例れいとしては、不ふ確かくさを含ふくめた取とり扱あつかい^[7]、欠損けっそんデータを考慮こうりょした並列へいれつ計算けいさん^[12]、NMFの安定あんてい性せいと線形せんけい性せいへと繋つながる逐次ちくじ的てきな構成こうせい^[8]^[12]、画像がぞう処理しょりにおける欠損けっそんデータを取とり扱あつかう更新こうしん則そく^[13]等ひとし。

オートエンコーダ

詳細しょうさいは「オートエンコーダ」を参照さんしょう

オートエンコーダは、非線形ひせんけいの次元じげん削減さくげん関数かんすうの学習がくしゅうと、その逆ぎゃく関数かんすうである次元じげん削減さくげんされた表現ひょうげんから元もとの表現ひょうげんへ変換へんかんする関数かんすうの両方りょうほうを学習がくしゅうするために利用りようされる^[14]。

t-SNE

詳細しょうさいは「t分布ぶんぷ型がた確かく率りつ的てき近傍きんぼう埋うめ込こみ法ほう」を参照さんしょう

t分布ぶんぷ型がた確かく率りつ的てき近傍きんぼう埋うめ込こみ法ほう（英えい: t-SNE）は、高こう次元じげんデータセットの可視かし化かに有用ゆうような非線形ひせんけいの次元じげん削減さくげん手法しゅほうである。必かならずしも密度みつどや距離きょりが保存ほぞんされるわけではないため、クラスタリングや外はずれ値ちの検出けんしゅつといった用途ようとには推奨すいしょうされない^[15]。

脚注きゃくちゅう

注釈ちゅうしゃく

^ むろんデータは失うしなわれるものの、最もっとも重要じゅうような分散ぶんさんが保持ほじされることを期待きたいしている。

出典しゅってん

^ Postma, Eric; van den Herik, Jaap; van der Lubbe, Jan (2007-04). “Paintings and writings in the hands of scientists”. Pattern Recognition Letters 28 (6): 671–672. doi:10.1016/j.patrec.2006.08.006. ISSN 0167-8655.
^ Pudil, Pavel; Novovičová, Jana (1998), Novel Methods for Feature Subset Selection with Respect to Problem Knowledge, Springer US, pp. 101–116, ISBN 978-1-4613-7622-4 2022年ねん1月がつ23日にち閲覧えつらん。
^ Rico-Sulayes, Antonio (2017). “Reducing Vector Space Dimensionality in Automatic Classification for Authorship Attribution”. Revista Ingeniería Electrónica, Automática y Comunicaciones 38 (3): 26–35. ISSN 1815-5928.
^ Samet, H. (2006) Foundations of Multidimensional and Metric Data Structures. Morgan Kaufmann. ISBN 0-12-369446-9
^ C. Ding, X. He, H. Zha, H.D. Simon, Adaptive Dimension Reduction for Clustering High Dimensional Data, Proceedings of International Conference on Data Mining, 2002
^ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). “A Survey of Multilinear Subspace Learning for Tensor Data”. Pattern Recognition 44 (7): 1540–1551. doi:10.1016/j.patcog.2011.01.004.
^ ^a ^b Blanton, Michael R.; Roweis, Sam (2007). “K-corrections and filter transformations in the ultraviolet, optical, and near infrared”. The Astronomical Journal 133 (2): 734–754. arXiv:astro-ph/0606170. Bibcode: 2007AJ....133..734B. doi:10.1086/510127.
^ ^a ^b Ren, Bin; Pueyo, Laurent; Zhu, Guangtun B.; Duchêne, Gaspard (2018). “Non-negative Matrix Factorization: Robust Extraction of Extended Structures”. The Astrophysical Journal 852 (2): 104. arXiv:1712.10317. Bibcode: 2018ApJ...852..104R. doi:10.3847/1538-4357/aaa1f2.
^ ^a ^b Daniel D. Lee & H. Sebastian Seung (1999). “Learning the parts of objects by non-negative matrix factorization”. Nature 401 (6755): 788–791. Bibcode: 1999Natur.401..788L. doi:10.1038/44565. PMID 10548103.
^ Daniel D. Lee & H. Sebastian Seung (2001). Algorithms for Non-negative Matrix Factorization (PDF). Advances in Neural Information Processing Systems 13: Proceedings of the 2000 Conference. MIT Press. pp. 556–562.
^ ^a ^b 武彦たけひこ, 安川やすかわ「非負ひふ値ち行列ぎょうれつ因子いんし分解ぶんかいを用もちいたテキストデータ解析かいせき」『計算けいさん機き統計とうけい学がく』第だい28巻かん第だい1号ごう、2015年ねん、42頁ぺーじ、doi:10.20551/jscswabun.28.1_41。
^ ^a ^b Zhu, Guangtun B. (19 December 2016). "Nonnegative Matrix Factorization (NMF) with Heteroscedastic Uncertainties and Missing data". arXiv:1612.06037 [astro-ph.IM]。
^ Ren, Bin; Pueyo, Laurent; Chen, Christine; Choquet, Elodie; Debes, John H.; Duechene, Gaspard; Menard, Francois; Perrin, Marshall D. (2020). “Using Data Imputation for Signal Separation in High Contrast Imaging”. The Astrophysical Journal 892 (2): 74. arXiv:2001.00563. Bibcode: 2020ApJ...892...74R. doi:10.3847/1538-4357/ab7024.
^ 範はん泰たい, 尾お亦また「オートエンコーダによる低てい次元じげん化かと可視かし化か」『可視かし化か情報じょうほう学会がっかい誌し』第だい38巻かん第だい151号ごう、2018年ねん、10頁ぺーじ、doi:10.3154/jvs.38.151_9。
^ Schubert, Erich; Gertz, Michael (2017). Beecks, Christian; Borutta, Felix; Kröger, Peer et al.. eds. “Intrinsic t-Stochastic Neighbor Embedding for Visualization and Outlier Detection” (英語えいご). Similarity Search and Applications. Lecture Notes in Computer Science (Cham: Springer International Publishing) 10609: 188–203. doi:10.1007/978-3-319-68474-1_13. ISBN 978-3-319-68474-1.