(Translated by https://www.hiragana.jp/)
异常检测 - 维基百科，自由的百科全书 跳とべ转到内容ないよう

异常检测

本页使用了标题或全文手工转换
维基百科ひゃっか，自由じゆう的てき百科ひゃっか全ぜん书
机つくえ器き学がく习与あずか数かず据すえ挖掘
范式
问题
聚类分析ぶんせき
降くだ维
结构预测（英えい语：Structured prediction）
异常检测
人工じんこう神しん经网络
强化きょうか学がく习
与あずか人ひと类学习
模型もけい诊断
数学すうがく基もと础
大会たいかい与あずか出版しゅっぱん物ぶつ
相あい关条目め

在ざい数かず据すえ挖掘中なか，异常检测（英語えいご：Anomaly detection）对不符合ふごう预期模も式しき或ある数かず据すえ集しゅう中ちゅう其他项目的もくてき项目、事件じけん或ある观测值的识别。[1]通常つうじょう异常项目会かい转变成なり银行欺诈（英えい语：bank fraud）、结构缺陷けっかん、医い疗问题、文ぶん本ほん错误等とう类型的てき问题。异常也被称しょう为离群ぐん值、新奇しんき、噪声、偏差へんさ和わ例外れいがい。[2]

特とく别是在ざい检测滥用与あずか网络入にゅう侵おかせ时，有ゆう趣おもむき性せい对象往往おうおう不ふ是ぜ罕见对象，但ただし却是超ちょう出で预料的てき突发活かつ动。这种模も式しき不ふ遵循通常つうじょう统计定てい义中把わ异常点てん看み作さく是ぜ罕见对象，于是许多异常检测方法ほうほう（特とく别是无监督とく的てき方法ほうほう）将はた对此类数据すえ失效しっこう，除じょ非ひ进行了りょう合ごう适的聚集。相反あいはん，聚类分析ぶんせき算法さんぽう可能かのう可か以检测出这些模も式しき形成けいせい的てき微ほろ聚类。[3]

有ゆう三大类异常检测方法。[1] 在ざい假かり设数据すえ集中しゅうちゅう大だい多数たすう实例都と是正ぜせい常つね的てき前提ぜんてい下か，无监督とく异常检测方法ほうほう能のう通どおり过寻找与其他数すう据すえ最さい不ふ匹ひき配はい的てき实例来らい检测出で未み标记测试数すう据すえ的てき异常。监督式しき异常检测方法ほうほう需要じゅよう一个已经被标记“正常せいじょう”与あずか“异常”的てき数すう据すえ集しゅう，并涉及到训练分ぶん类器（与あずか许多其他的てき统计分ぶん类问题的てき关键区く别是异常检测的てき内在ないざい不ふ均衡きんこう性せい）。半はん监督式しき异常检测方法ほうほう根ね据すえ一いち个给定じょう的てき正常せいじょう训练数すう据すえ集しゅう建立こんりゅう一个表示正常行为的模型，然しか后きさき检测由よし学がく习模型がた生成せいせい的てき测试实例的てき可能かのう性せい。

应用

[编辑]

异常检测技わざ术用于各种领域いき，如入にゅう侵おかせ检测、欺诈检测、故障こしょう检测、系けい统健康けんこう监测、感かんじ測はか器うつわ网络事件じけん检测和生かずお态系统干扰检测等。它通常用じょうよう于在预处理り中ちゅう删除从数据すえ集しゅう的てき异常数すう据すえ。在ざい監督かんとく式しき學習がくしゅう中なか，去さ除じょ异常数すう据すえ的てき数すう据すえ集しゅう往往おうおう会かい在ざい统计上じょう显著提ひさげ升ます准じゅん确性。[4][5]

热门方法ほうほう

[编辑]

文献ぶんけん中ちゅう提出ていしゅつ了りょう几种异常检测方法ほうほう。一些热门方法有：

不同ふどう方法ほうほう的てき性能せいのう在ざい很大程度ていど上じょう取と决于数すう据すえ集しゅう和わ参さん数すう，比ひ较许多数たすう据すえ集しゅう和わ参さん数すう时，各かく种方法ほう与あずか其他方法ほうほう相しょう比ひ的てき系けい统优势不大だい。[24][25]

数かず据すえ安全あんぜん方面ほうめん的てき应用

[编辑]

多た萝西·丹に宁（英えい语：Dorothy E. Denning）教授きょうじゅ在ざい1986年ねん提出ていしゅつ了りょう入にゅう侵おかせ检测系けい统（IDS）的てき异常检测方法ほうほう[26]。入にゅう侵おかせ检测系けい统的异常检测通常つうじょう是ぜ通どおり过阈值和统计完成かんせい的てき，但ただし也可以用软计算さん和かず归纳学がく习。[27] 在ざい1999年ねん提出ていしゅつ的てき统计类型包括ほうかつ检测用よう户、工作こうさく站、网络、远程主ぬし机つくえ与あずか用よう户组的てき配置はいち文ぶん件けん，以及基もと于频率りつ、均ひとし值、方かた差さ、协方差さ和わ标准差さ的てき程ほど序じょ。[28] 在ざい入にゅう侵おかせ检测系けい统中なか，与あずか异常检测模も式しき相しょう对应的てき还有误用检测（英えい语：misuse detection）模も式しき。

软件

[编辑]
  • ELKI（英えい语：ELKI）是ぜ一个包含若干异常检测算法及其索引加速的开源Java数すう据すえ挖掘工具こうぐ箱ばこ。

参まいり见

[编辑]

参考さんこう文献ぶんけん

[编辑]
  1. ^ 1.0 1.1 Chandola, V.; Banerjee, A.; Kumar, V. Anomaly detection: A survey (PDF). ACM Computing Surveys. 2009, 41 (3): 1–58 [2016-09-13]. doi:10.1145/1541880.1541882. （原始げんし内容ないよう (PDF)存そん档于2021-05-06）. 
  2. ^ Hodge, V. J.; Austin, J. A Survey of Outlier Detection Methodologies (PDF). Artificial Intelligence Review. 2004, 22 (2): 85–126 [2016-09-13]. doi:10.1007/s10462-004-4304-y. （原始げんし内容ないよう (PDF)存そん档于2015-06-22）. 
  3. ^ Dokas, Paul; Ertoz, Levent; Kumar, Vipin; Lazarevic, Aleksandar; Srivastava, Jaideep; Tan, Pang-Ning. Data mining for network intrusion detection (PDF). Proceedings NSF Workshop on Next Generation Data Mining. 2002 [2016-09-13]. （原始げんし内容ないよう (PDF)存そん档于2015-09-23）. 
  4. ^ Tomek, Ivan. An Experiment with the Edited Nearest-Neighbor Rule. IEEE Transactions on Systems, Man, and Cybernetics（英えい语：IEEE Transactions on Systems, Man, and Cybernetics）. 1976, 6 (6): 448–452. doi:10.1109/TSMC.1976.4309523. 
  5. ^ Smith, M. R.; Martinez, T. Improving classification accuracy by identifying and removing instances that should be misclassified. The 2011 International Joint Conference on Neural Networks (PDF). 2011: 2690 [2016-09-13]. ISBN 978-1-4244-9635-8. doi:10.1109/IJCNN.2011.6033571. （原始げんし内容ないよう存そん档 (PDF)于2016-11-09）. 
  6. ^ Knorr, E. M.; Ng, R. T.; Tucakov, V. Distance-based outliers: Algorithms and applications. The VLDB Journal the International Journal on Very Large Data Bases. 2000, 8 (3–4): 237–253. doi:10.1007/s007780050006. 
  7. ^ Ramaswamy, S.; Rastogi, R.; Shim, K. Efficient algorithms for mining outliers from large data sets. Proceedings of the 2000 ACM SIGMOD international conference on Management of data – SIGMOD '00: 427. 2000. ISBN 1-58113-217-4. doi:10.1145/342009.335437. 
  8. ^ Angiulli, F.; Pizzuti, C. Fast Outlier Detection in High Dimensional Spaces. Principles of Data Mining and Knowledge Discovery. Lecture Notes in Computer Science 2431: 15. 2002. ISBN 978-3-540-44037-6. doi:10.1007/3-540-45681-3_2. 
  9. ^ Breunig, M. M.; Kriegel, H.-P.; Ng, R. T.; Sander, J. LOF: Identifying Density-based Local Outliers (PDF). Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data. SIGMOD（英えい语：SIGMOD）. 2000: 93–104 [2016-09-13]. ISBN 1-58113-217-4. doi:10.1145/335191.335388. （原始げんし内容ないよう (PDF)存そん档于2015-09-23）. 
  10. ^ Schubert, E.; Zimek, A.; Kriegel, H. -P. Local outlier detection reconsidered: A generalized view on locality with applications to spatial, video, and network outlier detection. Data Mining and Knowledge Discovery. 2012, 28: 190–237. doi:10.1007/s10618-012-0300-z. 
  11. ^ Kriegel, H. P.; Kröger, P.; Schubert, E.; Zimek, A. Outlier Detection in Axis-Parallel Subspaces of High Dimensional Data. Advances in Knowledge Discovery and Data Mining. Lecture Notes in Computer Science 5476: 831. 2009. ISBN 978-3-642-01306-5. doi:10.1007/978-3-642-01307-2_86. 
  12. ^ Kriegel, H. P.; Kroger, P.; Schubert, E.; Zimek, A. Outlier Detection in Arbitrarily Oriented Subspaces. 2012 IEEE 12th International Conference on Data Mining: 379. 2012. ISBN 978-1-4673-4649-8. doi:10.1109/ICDM.2012.21. 
  13. ^ Zimek, A.; Schubert, E.; Kriegel, H.-P. A survey on unsupervised outlier detection in high-dimensional numerical data. Statistical Analysis and Data Mining. 2012, 5 (5): 363–387. doi:10.1002/sam.11161. 
  14. ^ Schölkopf, B.; Platt, J. C.; Shawe-Taylor, J.; Smola, A. J.; Williamson, R. C. Estimating the Support of a High-Dimensional Distribution. Neural Computation. 2001, 13 (7): 1443–71. PMID 11440593. doi:10.1162/089976601750264965. 
  15. ^ Hawkins, Simon; He, Hongxing; Williams, Graham; Baxter, Rohan. Outlier Detection Using Replicator Neural Networks. Data Warehousing and Knowledge Discovery. Lecture Notes in Computer Science 2454. 2002: 170–180. ISBN 978-3-540-44123-6. doi:10.1007/3-540-46145-0_17. 
  16. ^ He, Z.; Xu, X.; Deng, S. Discovering cluster-based local outliers. Pattern Recognition Letters. 2003, 24 (9–10): 1641–1650. doi:10.1016/S0167-8655(03)00003-5. 
  17. ^ Campello, R. J. G. B.; Moulavi, D.; Zimek, A.; Sander, J. Hierarchical Density Estimates for Data Clustering, Visualization, and Outlier Detection. ACM Transactions on Knowledge Discovery from Data. 2015, 10 (1): 5:1–51. doi:10.1145/2733381. 
  18. ^ Lazarevic, A.; Kumar, V. Feature bagging for outlier detection. Proc. 11th ACM SIGKDD international conference on Knowledge Discovery in Data Mining. 2005: 157–166. ISBN 1-59593-135-X. doi:10.1145/1081870.1081891. 
  19. ^ Nguyen, H. V.; Ang, H. H.; Gopalkrishnan, V. Mining Outliers with Ensemble of Heterogeneous Detectors on Random Subspaces. Database Systems for Advanced Applications. Lecture Notes in Computer Science 5981: 368. 2010. ISBN 978-3-642-12025-1. doi:10.1007/978-3-642-12026-8_29. 
  20. ^ Kriegel, H. P.; Kröger, P.; Schubert, E.; Zimek, A. Interpreting and Unifying Outlier Scores. Proceedings of the 2011 SIAM International Conference on Data Mining: 13–24. 2011 [2016-09-13]. ISBN 978-0-89871-992-5. doi:10.1137/1.9781611972818.2. （原始げんし内容ないよう (PDF)存そん档于2019-06-12）. 
  21. ^ Schubert, E.; Wojdanowski, R.; Zimek, A.; Kriegel, H. P. On Evaluation of Outlier Rankings and Outlier Scores. Proceedings of the 2012 SIAM International Conference on Data Mining: 1047–1058. 2012 [2016-09-13]. ISBN 978-1-61197-232-0. doi:10.1137/1.9781611972825.90. （原始げんし内容ないよう (PDF)存そん档于2019-06-16）. 
  22. ^ Zimek, A.; Campello, R. J. G. B.; Sander, J. R. Ensembles for unsupervised outlier detection. ACM SIGKDD Explorations Newsletter. 2014, 15: 11–22. doi:10.1145/2594473.2594476. 
  23. ^ Zimek, A.; Campello, R. J. G. B.; Sander, J. R. Data perturbation for outlier detection ensembles. Proceedings of the 26th International Conference on Scientific and Statistical Database Management – SSDBM '14: 1. 2014. ISBN 978-1-4503-2722-0. doi:10.1145/2618243.2618257. 
  24. ^ Campos, Guilherme O.; Zimek, Arthur; Sander, Jörg; Campello, Ricardo J. G. B.; Micenková, Barbora; Schubert, Erich; Assent, Ira; Houle, Michael E. On the evaluation of unsupervised outlier detection: measures, datasets, and an empirical study. Data Mining and Knowledge Discovery. 2016, 30 (4): 891. ISSN 1384-5810. doi:10.1007/s10618-015-0444-8. 
  25. ^ Anomaly detection benchmark data repository （页面存そん档备份，存そん于互联网档案あん馆） of the Ludwig-Maximilians-Universität München; Mirror （页面存そん档备份，存そん于互联网档案あん馆） at University of São Paulo.
  26. ^ Denning, D. E. An Intrusion-Detection Model (PDF). IEEE Transactions on Software Engineering. 1987, SE–13 (2): 222–232 [2016-09-13]. doi:10.1109/TSE.1987.232894. CiteSeerX: 10.1.1.102.5127可免费查阅. （原始げんし内容ないよう (PDF)存そん档于2015-06-22）. 
  27. ^ Teng, H. S.; Chen, K.; Lu, S. C. Adaptive real-time anomaly detection using inductively generated sequential patterns (PDF). Proceedings of the IEEE Computer Society Symposium on Research in Security and Privacy. 1990: 278–284. ISBN 0-8186-2060-9. doi:10.1109/RISP.1990.63857. [永久えいきゅう失效しっこう連結れんけつ]
  28. ^ Jones, Anita K.; Sielken, Robert S. Computer System Intrusion Detection: A Survey. Technical Report, Department of Computer Science, University of Virginia, Charlottesville, VA. 1999. CiteSeerX: 10.1.1.24.7802可免费查阅. 
检索自じ“https://zh.wikipedia.org/w/index.php?title=异常检测&oldid=80443863”