(Translated by https://www.hiragana.jp/)
大型语言模型 - 维基百科,自由的百科全书 とべ转到内容ないよう

大型おおがた语言模型もけい

维基百科ひゃっか自由じゆうてき百科ひゃっかぜん
大型おおがた语言模型もけい
人工じんこう智能ちのう模型もけい型式けいしき
うえ级分类かたりげん模型もけい 编辑
用途ようと对话がたAI 编辑
话题方面ほうめん人工じんこう智能ちのう 编辑
简称LLM 编辑
详情描述网址https://www.youtube.com/watch?v=WqYBx2gB6vA 编辑
使用しようAI提示ていじ、​变换 编辑
EntitySchema for this classEntity schema not supported yet (E434) 编辑
相對そうたい概念がいねん小型こがた语言模型もけい 编辑

だい语言模型もけい英語えいごlarge language model,LLMいち种语げん模型もけいよし具有ぐゆう许多さんすう通常つうじょうすう十亿个权重或更多)てき人工じんこうしん经网络组成,使用しよう监督がくあるはん监督がく对大りょう标记ぶんほん进行训练[1]だい语言模型もけいざい2018ねん左右さゆう现,并在かく种任务中ひょう现出しょく[2]

つきかん这个术语ぼつゆう正式せいしきてきてい义,ただし通常つうじょうゆびてきさんすう数量すうりょうざいすう十亿或更多数量级的深度しんどがく模型もけい[3]だい语言模型もけい通用つうようてき模型もけいざい广泛てきにん务中ひょう现出しょく,而不针对一项特定任务(れい如情かん分析ぶんせき命名めいめい实体识别ある数学すうがく推理すいり)进行训练[2]

つきかんだい语言模型もけい仅在预测子中こなかてき一个单词等简单任务上接受过训练,ただし发现具有ぐゆうあし够训练和さんすう计数てきかみ经语げん模型もけい以捕获人类语げんてきだい部分ぶぶん句法くほう语义。 此外だい语言模型もけい展示てんじりょう相当そうとうおおてき关于世界せかいてきつね识,并且のう够在训练间“记住”大量たいりょうごと[2]

虽然 ChatGPT 为代表だいひょうてきだい语言模型もけいざい生成せいせい人文じんぶんほん方面ほうめんひょう现出りょう卓越たくえつてき能力のうりょくただし它们很容易ようい继承だい训练すうすえちゅう存在そんざいてき偏差へんさ。这可能かのうひょう现为对不どう人口じんこう统计すうすえてき歪曲わいきょくひょうじゅつある不公平ふこうへい待遇たいぐうれい如基于种ぞく[4]せい[5]、语言[6]かず文化ぶんかぐんからだ[6]てき不同ふどう观点あずか态度。

偏差へんさ局限きょくげんせい

[编辑]

だい语言模型もけい偏差へんさ局限きょくげんせい自然しぜん语言处理(NLP)领域ただしざい进行てき研究けんきゅう。虽然だい语言模型もけいざい生成せいせい人文じんぶんほん方面ほうめんひょう现出りょう卓越たくえつてき能力のうりょくただし们很容易ようい继承だい训练すうすえちゅう存在そんざいてきへん见。这可能かのうひょう现为对不どう人口じんこう统计すうすえてき不公平ふこうへい待遇たいぐうれい如基于种ぞくせい别、语言文化ぶんかぐんからだてき统计すうすえ。此外,这些模型もけい通常つうじょうめん临事实准确性てききりせい研究けんきゅう缓解这些へん见和げんせい对于人工じんこう智能ちのうざい不同ふどう社会しゃかい专业领域てき道德どうとく发展应用いたり重要じゅうよう

语言偏差へんさ

[编辑]

语言偏差へんさゆびあずか语言しょう关的一种统计抽样偏差,也就说在しんいき抽样ちゅう,查询语言导致てきけい统偏かい使其无ほうじゅん确呈现数すえちゅうてきかく种不どうしゅ题和观点。とうまえてき大型おおがた语言模型もけい主要しゅようすええい语数すえ进行训练てきいん通常つうじょうはたえい语观てん视为实可もたれてき观点,而系统地はたえい语观てん视为あい关、错误ある噪音。とう问到诸如“什么自由じゆうぬし义?”类的政治せいじ识形态的问题时,ChatGPT以英角度かくど中心ちゅうしん,而对れい如说えつみなみてきはん国家こっか预个じん经济生活せいかつあずか中国ちゅうごくてききりせい政府せいふ权力”とう视而见。どう样,かい复中也没ゆう日本にっぽん、韩国、ほうこく和德わとくこく语料库中てき主流しゅりゅう政治せいじ观点。[6]

せい别偏

[编辑]

せい别偏ゆび这些模型もけい产生てき结果倾向于对一种性别产生不公平的偏见。这种偏差へんさどおり​​つねみなもと于训练这些模がたてきすうすえれい如,大型おおがた语言模型もけい通常つうじょうすえ传统てきせい别规范来分配ぶんぱいかくしょくとくせい;它可能会のうかいはた护士ある主要しゅようあずか女性じょせい联系おこりらいはた工程こうてい师或首席しゅせき执行かんあずか男性だんせい联系おこりらい[4][7]

政治せいじ偏差へんさ

[编辑]

政治せいじ偏差へんさゆび算法さんぽうけい统地倾向于某些政治せいじ观点、识形态或结果,也可能かのうひょう现出政治せいじへん见。よし于训练数すえ包含ほうがん广泛てき政治せいじ观点くつがえ盖范围,いん此模がた可能かのうかい生成せいせい倾向于特定とくてい政治せいじ识形态或观点てき响应,具体ぐたい决于すうすえちゅう这些观点てき普遍ふへん程度ていど[8]

文化ぶんか偏差へんさ

[编辑]

文化ぶんかへん见是ゆびだい语言模型もけい特定とくていてき文化ぶんか实践、信仰しんこうある传统ゆうへん见,ゆかり于受到训练すうすえちゅう文化ぶんかしんいきてき均衡きんこう、误导せいある歧视せいかげ响。れい如,わか模型もけいてき训练すうすえちゅうぼう文化ぶんかてき观点过度代表だいひょう模型もけい就继承这种偏差へんさ形成けいせい一定いっていてきへん见。[9]

地域ちいき偏差へんさ

[编辑]

地域ちいき偏差へんさゆびだい语言模型もけいすえ地理ちり位置いちある国籍こくせき对人们的ぎょう为、习惯あるとくせい做出へん见性てきかり设。这种偏差へんさ可能かのう导致对特定とくてい地区ちくてき识、成就じょうじゅ、问题、せんりょくとう方面ほうめんてき误解、てい估或过度だい[10]

とし龄偏

[编辑]

とし龄偏ゆびだい语言模型もけいざい处理ある生成せいせいあずかとし龄相关的话题时,すえねん龄做こくばん印象いんしょうてきかり设,れい如认为年长者懂技术或ねん轻人缺乏けつぼう责任かん[11]

职业偏差へんさ

[编辑]

职业偏差へんさゆびだい语言模型もけい特定とくてい职业ゆうこくばん印象いんしょうはたぼう些职业视为比其他职业さらゆう价值ある重要じゅうようある特定とくてい职业てきひとぐん做出性格せいかくある能力のうりょくじょうてきかり设。[12]

大型おおがた语言模型もけいれつひょう

[编辑]

まいり

[编辑]

外部がいぶ连接

[编辑]

参考さんこう资料

[编辑]
  1. ^ Goled, Shraddha. Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ. Analytics India Magazine. May 7, 2021 [2023-06-08]. (原始げんし内容ないようそん于2023-06-18). 
  2. ^ 2.0 2.1 2.2 Manning, Christopher D. Human Language Understanding & Reasoning. Daedalus. 2022, 151 (2): 127–138 [2023-06-08]. S2CID 248377870. doi:10.1162/daed_a_01905. (原始げんし内容ないようそん于2023-03-09). 
  3. ^ Carlini, Nicholas; Tramer, Florian; Wallace, Eric; Jagielski, Matthew; Herbert-Voss, Ariel; Lee, Katherine; Roberts, Adam; Brown, Tom B; Song, Dawn; Erlingsson, Ulfar. Extracting Training Data from Large Language Models (PDF). USENIX Security Symposium 6. 2021 [2023-06-08]. (原始げんし内容ないようそん (PDF)于2023-12-21). 
  4. ^ 4.0 4.1 Kotek, Hadas; Dockum, Rikker; Sun, David. Gender bias and stereotypes in Large Language Models. Proceedings of The ACM Collective Intelligence Conference. CI '23 (New York, NY, USA: Association for Computing Machinery). 2023-11-05. ISBN 979-8-4007-0113-9. doi:10.1145/3582269.3615599. 
  5. ^ Davidson, Thomas; Bhattacharya, Debasmita; Weber, Ingmar. Roberts, Sarah T.; Tetreault, Joel; Prabhakaran, Vinodkumar; Waseem, Zeerak , 编. Racial Bias in Hate Speech and Abusive Language Detection Datasets. Proceedings of the Third Workshop on Abusive Language Online (Florence, Italy: Association for Computational Linguistics). 2019-08. doi:10.18653/v1/W19-3504. 
  6. ^ 6.0 6.1 6.2 Queenie Luo; Michael J. Puett; Michael D. Smith. A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube. arXiv. (原始げんし内容ないようそん于2024-04-16). 
  7. ^ Yucong Duan; Fuliang Tang; Zhendong Guo; Yingtian Mei; Yuxing Wang; Kunguang Wu; Zeyu Yang; Shuaishuai Huang; Shiming Gong. Global Large Language Model EQ and IQ Bias Evaluation -Released by DIKWP -AC Research Group. ResearchGate. 2023. doi:10.13140/RG.2.2.12894.61762どおり过ResearchGate えい语). 
  8. ^ Zhou, Karen; Tan, Chenhao. Bouamor, Houda; Pino, Juan; Bali, Kalika , 编. Entity-Based Evaluation of Political Bias in Automatic Summarization. Findings of the Association for Computational Linguistics: EMNLP 2023 (Singapore: Association for Computational Linguistics). 2023-12 [2023-12-26]. doi:10.18653/v1/2023.findings-emnlp.696. (原始げんし内容ないようそん于2024-04-24). 
  9. ^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. "Ranking of Large Language Model (LLM) Cultural Bias" --DIKWP Research Group International Standard Evaluation. ResearchGate. 2024. doi:10.13140/RG.2.2.26652.67200どおり过ResearchGate. 
  10. ^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. "Ranking of Large Language Model (LLM) Regional Bias" --DIKWP Research Group International Standard Evaluation. ResearchGate. 2024. doi:10.13140/RG.2.2.10019.63529どおり过ResearchGate. 
  11. ^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. "The Large Language Model (LLM) Bias Evaluation (Age Bias)" --DIKWP Research Group International Standard Evaluation. ResearchGate. 2024. doi:10.13140/RG.2.2.26397.12006どおり过ResearchGate. 
  12. ^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. "The Large Language Model (LLM) Bias Evaluation (Occupational Bias)" --DIKWP Research Group International Standard Evaluation. ResearchGate. 2024. doi:10.13140/RG.2.2.23041.67689どおり过ResearchGate.