维基百科 ひゃっか ,自由 じゆう 的 てき 百科 ひゃっか 全 ぜん 书
大 だい 语言模型 もけい (英語 えいご :large language model,LLM )是 ぜ 一 いち 种语言 げん 模型 もけい ,由 よし 具有 ぐゆう 许多参 さん 数 すう (通常 つうじょう 数 すう 十亿个权重或更多)的 てき 人工 じんこう 神 しん 经网络 组成,使用 しよう 自 じ 监督学 がく 习或 ある 半 はん 监督学 がく 习 对大量 りょう 未 み 标记文 ぶん 本 ほん 进行训练[ 1] 。大 だい 语言模型 もけい 在 ざい 2018年 ねん 左右 さゆう 出 で 现,并在各 かく 种任务中表 ひょう 现出色 しょく [ 2] 。
尽 つき 管 かん 这个术语没 ぼつ 有 ゆう 正式 せいしき 的 てき 定 てい 义,但 ただし 它通常 つうじょう 指 ゆび 的 てき 是 ぜ 参 さん 数 すう 数量 すうりょう 在 ざい 数 すう 十亿或更多数量级的深度 しんど 学 がく 习模型 もけい 。大 だい 语言模型 もけい 是 ぜ 通用 つうよう 的 てき 模型 もけい ,在 ざい 广泛的 てき 任 にん 务中表 ひょう 现出色 しょく ,而不是 ぜ 针对一项特定任务(例 れい 如情感 かん 分析 ぶんせき 、命名 めいめい 实体识别或 ある 数学 すうがく 推理 すいり )进行训练[ 2] 。
尽 つき 管 かん 大 だい 语言模型 もけい 仅在预测句 く 子中 こなか 的 てき 下 か 一个单词等简单任务上接受过训练,但 ただし 发现具有 ぐゆう 足 あし 够训练和参 さん 数 すう 计数的 てき 神 かみ 经语言 げん 模型 もけい 可 か 以捕获人类语言 げん 的 てき 大 だい 部分 ぶぶん 句法 くほう 和 わ 语义。 此外大 だい 语言模型 もけい 还展示 てんじ 了 りょう 相当 そうとう 多 おお 的 てき 关于世界 せかい 的 てき 常 つね 识,并且能 のう 够在训练期 き 间“记住”大量 たいりょう 事 ごと 实[ 2] 。
虽然 ChatGPT 为代表 だいひょう 的 てき 大 だい 语言模型 もけい 在 ざい 生成 せいせい 类人文 じんぶん 本 ほん 方面 ほうめん 表 ひょう 现出了 りょう 卓越 たくえつ 的 てき 能力 のうりょく ,但 ただし 它们很容易 ようい 继承和 わ 放 ひ 大 だい 训练数 すう 据 すえ 中 ちゅう 存在 そんざい 的 てき 偏差 へんさ 。这可能 かのう 表 ひょう 现为对不同 どう 人口 じんこう 统计数 すう 据 すえ 的 てき 歪曲 わいきょく 表 ひょう 述 じゅつ 或 ある 不公平 ふこうへい 待遇 たいぐう ,例 れい 如基于种族 ぞく [ 4] 、性 せい 别[ 5] 、语言[ 6] 和 かず 文化 ぶんか 群 ぐん 体 からだ [ 6] 的 てき 不同 ふどう 观点与 あずか 态度。
大 だい 语言模型 もけい 偏差 へんさ 和 わ 局限 きょくげん 性 せい 是 ぜ 自然 しぜん 语言处理(NLP)领域正 ただし 在 ざい 进行的 てき 研究 けんきゅう 。虽然大 だい 语言模型 もけい 在 ざい 生成 せいせい 类人文 じんぶん 本 ほん 方面 ほうめん 表 ひょう 现出了 りょう 卓越 たくえつ 的 てき 能力 のうりょく ,但 ただし 他 た 们很容易 ようい 继承和 わ 放 ひ 大 だい 训练数 すう 据 すえ 中 ちゅう 存在 そんざい 的 てき 偏 へん 见。这可能 かのう 表 ひょう 现为对不同 どう 人口 じんこう 统计数 すう 据 すえ 的 てき 不公平 ふこうへい 待遇 たいぐう ,例 れい 如基于种族 ぞく 、性 せい 别、语言和 わ 文化 ぶんか 群 ぐん 体 からだ 的 てき 统计数 すう 据 すえ 。此外,这些模型 もけい 通常 つうじょう 面 めん 临事实准确性的 てき 限 きり 制 せい 。研究 けんきゅう 和 わ 缓解这些偏 へん 见和限 げん 制 せい 对于人工 じんこう 智能 ちのう 在 ざい 不同 ふどう 社会 しゃかい 和 わ 专业领域的 てき 道德 どうとく 发展和 わ 应用至 いたり 关重要 じゅうよう 。
语言偏差 へんさ 是 ぜ 指 ゆび 与 あずか 语言相 しょう 关的一种统计抽样偏差,也就是 ぜ 说在信 しん 息 いき 抽样中 ちゅう ,查询语言导致的 てき 系 けい 统偏差 さ 会 かい 使 し 其无法 ほう 准 じゅん 确呈现数据 すえ 中 ちゅう 的 てき 各 かく 种不同 どう 主 しゅ 题和观点。当 とう 前 まえ 的 てき 大型 おおがた 语言模型 もけい 主要 しゅよう 是 ぜ 根 ね 据 すえ 英 えい 语数据 すえ 进行训练的 てき ,因 いん 此通常 つうじょう 将 はた 英 えい 语观点 てん 视为真 ま 实可靠 もたれ 的 てき 观点,而系统地将 はた 非 ひ 英 えい 语观点 てん 视为不 ふ 相 あい 关、错误或 ある 噪音。当 とう 被 ひ 问到诸如“什么是 ぜ 自由 じゆう 主 ぬし 义?”之 の 类的政治 せいじ 意 い 识形态的问题时,ChatGPT以英美 び 角度 かくど 为中心 ちゅうしん ,而对例 れい 如说越 えつ 南 みなみ 的 てき “反 はん 对国家 こっか 干 ひ 预个人 じん 和 わ 经济生活 せいかつ ”与 あずか 中国 ちゅうごく 的 てき “限 きり 制 せい 政府 せいふ 权力”等 とう 视而不 ふ 见。同 どう 样,回 かい 复中也没有 ゆう 日本 にっぽん 、韩国、法 ほう 国 こく 和德 わとく 国 こく 语料库中的 てき 主流 しゅりゅう 政治 せいじ 观点。[ 6]
性 せい 别偏差 さ 是 ぜ 指 ゆび 这些模型 もけい 产生的 てき 结果倾向于对一种性别产生不公平的偏见。这种偏差 へんさ 通 どおり 常 つね 源 みなもと 于训练这些模型 がた 的 てき 数 すう 据 すえ 。例 れい 如,大型 おおがた 语言模型 もけい 通常 つうじょう 根 ね 据 すえ 传统的 てき 性 せい 别规范来分配 ぶんぱい 角 かく 色 しょく 和 わ 特 とく 征 せい ;它可能会 のうかい 将 はた 护士或 ある 秘 ひ 书主要 しゅよう 与 あずか 女性 じょせい 联系起 おこり 来 らい ,将 はた 工程 こうてい 师或首席 しゅせき 执行官 かん 与 あずか 男性 だんせい 联系起 おこり 来 らい 。[ 4] [ 7]
政治 せいじ 偏差 へんさ 是 ぜ 指 ゆび 算法 さんぽう 系 けい 统地倾向于某些政治 せいじ 观点、意 い 识形态或结果,也可能 かのう 表 ひょう 现出政治 せいじ 偏 へん 见。由 よし 于训练数据 すえ 包含 ほうがん 广泛的 てき 政治 せいじ 观点和 わ 覆 くつがえ 盖范围,因 いん 此模型 がた 可能 かのう 会 かい 生成 せいせい 倾向于特定 とくてい 政治 せいじ 意 い 识形态或观点的 てき 响应,具体 ぐたい 取 と 决于数 すう 据 すえ 中 ちゅう 这些观点的 てき 普遍 ふへん 程度 ていど 。[ 8]
文化 ぶんか 偏 へん 见是指 ゆび 大 だい 语言模型 もけい 对特定 とくてい 的 てき 文化 ぶんか 实践、信仰 しんこう 或 ある 传统持 じ 有 ゆう 偏 へん 见,由 ゆかり 于受到训练数 すう 据 すえ 中 ちゅう 文化 ぶんか 信 しん 息 いき 的 てき 不 ふ 均衡 きんこう 、误导性 せい 或 ある 歧视性 せい 影 かげ 响。例 れい 如,若 わか 模型 もけい 的 てき 训练数 すう 据 すえ 中 ちゅう 某 ぼう 种文化 ぶんか 的 てき 观点被 ひ 过度代表 だいひょう ,模型 もけい 就继承这种偏差 へんさ 形成 けいせい 一定 いってい 的 てき 偏 へん 见。[ 9]
地域 ちいき 偏差 へんさ 是 ぜ 指 ゆび 大 だい 语言模型 もけい 根 ね 据 すえ 地理 ちり 位置 いち 或 ある 国籍 こくせき 对人们的行 ぎょう 为、习惯或 ある 特 とく 征 せい 做出偏 へん 见性的 てき 假 かり 设。这种偏差 へんさ 可能 かのう 导致对特定 とくてい 地区 ちく 的 てき 知 ち 识、成就 じょうじゅ 、问题、潜 せん 力 りょく 等 とう 方面 ほうめん 的 てき 误解、低 てい 估或过度放 ひ 大 だい 。[ 10]
年 とし 龄偏差 さ 是 ぜ 指 ゆび 大 だい 语言模型 もけい 在 ざい 处理或 ある 生成 せいせい 与 あずか 年 とし 龄相关的话题时,根 ね 据 すえ 年 ねん 龄做出 で 刻 こく 板 ばん 印象 いんしょう 化 か 的 てき 假 かり 设,例 れい 如认为年长者不 ふ 懂技术或年 ねん 轻人缺乏 けつぼう 责任感 かん 。[ 11]
职业偏差 へんさ 是 ぜ 指 ゆび 大 だい 语言模型 もけい 对特定 とくてい 职业持 じ 有 ゆう 刻 こく 板 ばん 印象 いんしょう ,将 はた 某 ぼう 些职业视为比其他职业更 さら 有 ゆう 价值或 ある 重要 じゅうよう ,或 ある 对特定 とくてい 职业的 てき 人 ひと 群 ぐん 做出性格 せいかく 或 ある 能力 のうりょく 上 じょう 的 てき 假 かり 设。[ 12]
^ Goled, Shraddha. Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ . Analytics India Magazine. May 7, 2021 [2023-06-08 ] . (原始 げんし 内容 ないよう 存 そん 档 于2023-06-18).
^ 2.0 2.1 2.2 Manning, Christopher D. Human Language Understanding & Reasoning . Daedalus. 2022, 151 (2): 127–138 [2023-06-08 ] . S2CID 248377870 . doi:10.1162/daed_a_01905 . (原始 げんし 内容 ないよう 存 そん 档 于2023-03-09).
^ 4.0 4.1 Kotek, Hadas; Dockum, Rikker; Sun, David. Gender bias and stereotypes in Large Language Models . Proceedings of The ACM Collective Intelligence Conference. CI '23 (New York, NY, USA: Association for Computing Machinery). 2023-11-05. ISBN 979-8-4007-0113-9 . doi:10.1145/3582269.3615599 .
^ Davidson, Thomas; Bhattacharya, Debasmita; Weber, Ingmar. Roberts, Sarah T.; Tetreault, Joel; Prabhakaran, Vinodkumar; Waseem, Zeerak , 编. Racial Bias in Hate Speech and Abusive Language Detection Datasets . Proceedings of the Third Workshop on Abusive Language Online (Florence, Italy: Association for Computational Linguistics). 2019-08. doi:10.18653/v1/W19-3504 .
^ 6.0 6.1 6.2 Queenie Luo; Michael J. Puett; Michael D. Smith. A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube . arXiv. (原始 げんし 内容 ないよう 存 そん 档 于2024-04-16).
^ Yucong Duan; Fuliang Tang; Zhendong Guo; Yingtian Mei; Yuxing Wang; Kunguang Wu; Zeyu Yang; Shuaishuai Huang; Shiming Gong. Global Large Language Model EQ and IQ Bias Evaluation -Released by DIKWP -AC Research Group . ResearchGate. 2023. doi:10.13140/RG.2.2.12894.61762 –通 どおり 过ResearchGate (英 えい 语) .
^ Zhou, Karen; Tan, Chenhao. Bouamor, Houda; Pino, Juan; Bali, Kalika , 编. Entity-Based Evaluation of Political Bias in Automatic Summarization . Findings of the Association for Computational Linguistics: EMNLP 2023 (Singapore: Association for Computational Linguistics). 2023-12 [2023-12-26 ] . doi:10.18653/v1/2023.findings-emnlp.696 . (原始 げんし 内容 ないよう 存 そん 档 于2024-04-24).
^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. " Ranking of Large Language Model (LLM) Cultural Bias" --DIKWP Research Group International Standard Evaluation . ResearchGate. 2024. doi:10.13140/RG.2.2.26652.67200 –通 どおり 过ResearchGate.
^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. " Ranking of Large Language Model (LLM) Regional Bias" --DIKWP Research Group International Standard Evaluation . ResearchGate. 2024. doi:10.13140/RG.2.2.10019.63529 –通 どおり 过ResearchGate.
^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. " The Large Language Model (LLM) Bias Evaluation (Age Bias)" --DIKWP Research Group International Standard Evaluation . ResearchGate. 2024. doi:10.13140/RG.2.2.26397.12006 –通 どおり 过ResearchGate.
^ Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. " The Large Language Model (LLM) Bias Evaluation (Occupational Bias)" --DIKWP Research Group International Standard Evaluation . ResearchGate. 2024. doi:10.13140/RG.2.2.23041.67689 –通 どおり 过ResearchGate.
可 か 微分 びぶん 计算
概 がい 论概念 がいねん 应用 硬 かた 件 けん 软件库 实现
人物 じんぶつ 组织 架 か 构
主 しゅ 题
分 ぶん 类
基本 きほん 概念 がいねん 數學 すうがく 模型 もけい 學習 がくしゅう 範式 はんしき 主要 しゅよう 應用 おうよう 相關 そうかん 領域 りょういき