降维 - 维基百科，自由的百科全书

机つくえ器き学がく习与あずか数かず据すえ挖掘

范式监督学がく习無む監督かんとく學習がくしゅう線上せんじょう機器きき學習がくしゅう元学もとがく习（英えい语：Meta-learning (computer science)）半はん监督学がく习自じ监督学がく习强化きょうか学がく习基もと于规则的机つくえ器き学がく习（英えい语：Rule-based machine learning）量子りょうし機器きき學習がくしゅう
问题统计分ぶん类生成せいせい模型もけい迴歸分析ぶんせき聚类分析ぶんせき降くだ维密度みつど估计（英えい语：density estimation）异常检测数かず据すえ清きよし洗あらい自じ动机器き学がく习关联规则学がく习語意ごい分析ぶんせき结构预测（英えい语：Structured prediction）特とく征せい工程こうてい表おもて征せい学がく习排はい序じょ学がく习（英えい语：Learning to rank）语法归纳（英えい语：Grammar induction）本体ほんたい学がく习（英えい语：Ontology learning）多た模も态学习（英えい语：Multimodal learning）
监督学がく习 (分ぶん类 · 回かい归) 学徒がくと学がく习（英えい语：Apprenticeship learning）决策树学习集成しゅうせい学がく习 Bagging 提ひさげ升ます方法ほうほう随ずい机つくえ森林しんりん k-NN 線せん性せい回歸かいき朴ぼく素す贝叶斯人工じんこう神しん经网络邏輯斯諦迴歸感知かんち器き相あい关向量りょう机つくえ（RVM）支持しじ向こう量りょう机つくえ（SVM）迁移学がく习微ほろ调
聚类分析ぶんせき BIRCH CURE算法さんぽう（英えい语：CURE algorithm）层次 k-平均へいきん Fuzzy 期き望もち最大さいだい化か（EM） DBSCAN OPTICS 均ひとし值飘移うつり（英えい语：Mean shift）
降くだ维因いん素もと分析ぶんせき CCA ICA LDA NMF（英えい语：Non-negative matrix factorization） PCA PGD（英えい语：Proper generalized decomposition） t-SNE（英えい语：t-distributed stochastic neighbor embedding） SDL
结构预测（英えい语：Structured prediction）圖ず模も式しき貝かい氏し網もう路ろ條件じょうけん隨ずい機き域いき隐马尔可夫おっと模型もけい
异常检测 RANSAC k-NN 局部きょくぶ异常因子いんし（英えい语：Local outlier factor）孤立こりつ森林しんりん（英えい语：Isolation forest）
人工じんこう神しん经网络自じ编码器き認知にんち計算けいさん深度しんど学がく习 DeepDream（英えい语：DeepDream）多た层感知かんち器き RNN LSTM GRU（英えい语：Gated recurrent unit） ESN（英えい语：Echo state network）储备池ち计算（英えい语：reservoir computing）受限玻尔兹曼机つくえ GAN SOM CNN U-Net Transformer Vision transformer（英えい语：Vision transformer）脉冲神しん经网络（英えい语：Spiking neural network） Memtransistor（英えい语：Memtransistor）电化学がくRAM（英えい语：Electrochemical RAM）（ECRAM）
强化きょうか学がく习 Q学がく习 SARSA 时序差分さぶん（TD）多た智能ちのう体たい（英えい语：Multi-agent reinforcement learning） Self-play（英えい语：Self-play (reinforcement learning technique)） RLHF
与あずか人ひと类学习主しゅ动学习（英えい语：Active learning (machine learning)）众包 Human-in-the-loop（英えい语：Human-in-the-loop）
模型もけい诊断学がく习曲线（英えい语：Learning curve (machine learning)）
数学すうがく基もと础内うち核かく机つくえ器き（英えい语：Kernel machines）偏差へんさ–方かた差さ困こま境さかい（英えい语：Bias–variance tradeoff）计算学がく习理论（英えい语：Computational learning theory）经验风险最小さいしょう化か奥おく卡姆学がく习（英えい语：Occam learning） PAC学がく习（英えい语：Probably approximately correct learning）统计学がく习 VC理り论
大会たいかい与あずか出版しゅっぱん物ぶつ NeurIPS ICML（英えい语：International Conference on Machine Learning） ICLR ML（英えい语：Machine Learning (journal)） JMLR（英えい语：Journal of Machine Learning Research）
相あい关条目め人工じんこう智能ちのう术语（英えい语：Glossary of artificial intelligence）机つくえ器き学がく习研究けんきゅう数すう据すえ集しゅう列れつ表ひょう（英えい语：List of datasets for machine-learning research）机つくえ器き学がく习概要がいよう（英えい语：Outline of machine learning）
查论编

在ざい机つくえ器き学がく习和わ统计学がく领域，降くだ维（dimensionality reduction）是ぜ指ゆび在ざい某ぼう些限定げんてい条件下じょうけんか，降くだ低てい随ずい机つくえ变量个数，得とく到いた一いち组“不ふ相あい关”主しゅ变量的てき过程^[1]。降くだ维可进一いち步ほ细分为变量选择和わ特とく征せい提ひっさげ取ど两大方法ほうほう。

变量选择

[编辑]

变量选择假定かてい数すう据すえ中ちゅう包含ほうがん大量たいりょう冗余或ある无关变量（或ある称しょう特とく征せい、属性ぞくせい、指ゆび标等），旨むね在ざい从原有ゆう变量中ちゅう找出主要しゅよう变量。现代统计学がく中ちゅう对变量りょう选择的てき研究けんきゅう文献ぶんけん，大だい多た集中しゅうちゅう于高こう维回归分析ぶんせき（英えい语：High-dimensional_statistics），其中最さい具ぐ代表だいひょう性せい的てき方法ほうほう包括ほうかつ：

Lasso算法さんぽう (Robert Tibshirani提出ていしゅつ)
Elastic net regularization（英えい语：Elastic net regularization） (邹晖（英えい语：Hui Zou）和わTrevor Hastie（英えい语：Trevor Hastie）提出ていしゅつ)
SCAD (范剑青あお和わ李り润泽（英えい语：Runze Li）提出ていしゅつ)
SURE screening (范剑青あお和わ吕金翅提出ていしゅつ)
PLUS (张存惠めぐみ提出ていしゅつ)

特とく征せい提ひっさげ取ど

[编辑]

特徵とくちょう提ひっさげ取ど可か以看作さく变量选择方法ほうほう的てき一般いっぱん化か：变量选择假かり设在原始げんし数すう据すえ中ちゅう，变量数すう目もく浩ひろし繁しげる，但ただし只ただ有ゆう少数しょうすう几个真正しんせい起おこり作用さよう；而特とく征せい提ひっさげ取ど则认为在所有しょゆう变量可能かのう的てき函数かんすう(比ひ如这些变量りょう各かく种可能かのう的てき线性组合)中ちゅう，只ただ有ゆう少数しょうすう几个真正しんせい起おこり作用さよう。有ゆう代表だいひょう性せい的てき方法ほうほう包括ほうかつ：

主成分しゅせいぶん分析ぶんせき(PCA)
因子いんし分析ぶんせき
核かく方法ほうほう(教科きょうか书中称ちゅうしょう为“Kernel method”或ある“Kernel trick”，常つね与あずか其他方法ほうほう如PCA组合使用しよう)
基もと于距离的方法ほうほう，例れい如：
- 多た维尺度しゃくど分析ぶんせき
- 非ひ负矩阵分解ぶんかい（英えい语：Non-negative_matrix_factorization）
- 随ずい机つくえ投影とうえい法ほう（英えい语：Random projection）(理り论依据すえ是これ约翰逊-林はやし登のぼる斯特劳斯定理ていり)

参まいり见

[编辑]

参考さんこう文献ぶんけん

[编辑]

^ Roweis, S. T.; Saul, L. K. Nonlinear Dimensionality Reduction by Locally Linear Embedding. Science. 2000, 290 (5500): 2323–2326. PMID 11125150. doi:10.1126/science.290.5500.2323.