(Translated by https://www.hiragana.jp/)
GPT-2 - Wikipedia コンテンツにスキップ

GPT-2

出chū典diăn: フリー百baĭ科kē事shì典diăn『ウィキペディア（Wikipedia）』
Generative Pre-trained Transformer 2 (GPT-2)
GPT-2がプロンプトを補bŭ完wánする様yàng子zĭを示shìすHugging FaceのWrite With Transformerのウェブサイト。Wikipediaのこの記jì事shìから得déたテキストをプロンプトとして用yòngいた。最zuì初chūのプロンプトに続xùくハイライトされたテキストはすべて最zuì初chūの補bŭ完wán候hoù補bŭから機jī械xiè的deに生shēng成chéngされたもので、それ以yĭ外waìの編biān集jíはない。
作zuò者zhě OpenAI
初chū版băn 14 February 2019年nián (6年nián前qián) (14 February 2019)
リポジトリ https://github.com/openai/gpt-2
前qián身shēn GPT-1
後hoù継jì GPT-3
種zhŏng別bié Transformer 言yán語yŭモデル
公gōng式shìサイト openai.com/blog/gpt-2-1-5b-release/
テンプレートを表biaŏ示shì

Generative Pre-trained Transformer 2（GPT-2） は、2019年nián2月yuèにOpenAIによって開kaī発fāされたオープンソースの人rén工gōng知zhī能néngソフトウェアである[1][2][3][4]。GPT-2は、テキストを翻fān訳yìし、質zhí問wènに答dáえ、文wén章zhāngの要yaò約yuēを行xíngい[5]、時shíには人rén間jiānと見jiàn分fēnけがつかないようなテキスト出chū力lìを生shēng成chéngするが[6]、長chángい文wén章zhāngを生shēng成chéngすると繰qiaōり返fănしたり意yì味weì不bù明míngな表biaŏ現xiànになることもある[7]。GPT-2は、多duō目mù的de学xué習xí器qìであり、特tè定dìngのタスク（仕shì事shì）を行xíngうための特tè別biéな訓xùn練liànを受shoùけてはおらず、これらのタスクを行xíngう能néng力lìは、任rèn意yìの順shùn序xùで次cìの項xiàng目mùを正zhèng確quèに合hé成chéngする一yī般bān的deな能néng力lìの延yán長cháng線xiàn上shàngにある[8][5]。GPT-2は、OpenAIの2018年nián版bănGPTモデルの「スケールアップ版băn」として構goù築zhúされ[9]、パラメータ数shùと訓xùn練liàn用yòngデータセットがともに10倍beìに増zēng加jiāした[4]。

GPTアーキテクチャは、ディープラーニング（深shēn層céng学xué習xí）によるニューラルネットワーク、具jù体tĭ的deには「トランスフォーマー（Transformer）モデル」を実shí装zhuāngしており[9]、これまでの回huí帰guī型xíngや畳diéみ込み型xíngのアーキテクチャの代daìわりに「アテンション」を使shĭ用yòngしている[10][11]。アテンション機jī構goùにより、モデルは、入rù力lìテキストの中zhōngから最zuìも関guān連lián性xìngが高gaōいと予yŭ測cèされる部bù位weìに選xuăn択zé的deに焦jiaō点diănを当dāngてることができる[12][13]。このモデルでは、並bìng列liè化huàを大dà幅fúに向xiàng上shàngさせることができ、RNN／CNN／LSTMに基jīづくモデルのこれまでのベンチマークよりも優yoūれた性xìng能néngを発fā揮huīしている[9]。

OpenAIは、2019年nián11月yuè、GPT-2言yán語yŭモデルの完wán全quán版băn（15億yì個gèのパラメータを含hánむ）を公gōng開kaīした[14]。GPT-2に続xùいて、1,750億yì個gèのパラメータを含hánむGPT-3[15]が、2020年niánに公gōng開kaīされる予yŭ定dìngだった[16]（そのソースコードは公gōng開kaīされていない）。GPT-3へのアクセスは、OpenAIとマイクロソフトが提tí供gōngするアプリケーションプログラミングインタフェース（API）を通tōngじてのみ提tí供gōngされている[17]。

背beì景jĭng

[編biān集jí]

コンピュータの黎lí明míng期qī（英yīng語yŭ版băn）から人rén工gōng知zhī能néngは研yán究jiū対duì象xiàngであった。1950年niánにアラン・チューリングが提tí唱chàngした「イミテーション・ゲーム（imitation game）」（しばしばチューリング・テストと呼hūばれる）は、電diàn子zĭシステムや機jī械xiè的deシステムの知zhī的de行xíng動dòngをとる能néng力lìを、評píng価jià者zhěがシステムと人rén間jiānの行xíng動dòngを区qū別biéする能néng力lìによって判pàn定dìngすることを提tí案ànするものである[18]。「機jī械xiè学xué習xí（machine learning）」という用yòng語yŭは、早zaŏくも1959年niánに、IBMの研yán究jiū者zhěであるアーサー・サミュエルによって、人rén工gōng知zhī能néngの可kě能néng性xìngを説shuō明míngする言yán葉xiéとして最zuì初chūに使shĭわれた[19]。現xiàn在zaì、この用yòng語yŭには、統tŏng計jì的de学xué習xí、データサイエンス、ニューラルネットワークなど、計jì算suàn問wèn題tíに対duìするさまざまな手shoŭ法fă（しばしば人rén工gōng知zhī能néngの下xiàに置zhìかれる）が包baō含hánされている。

計jì算suàn言yán語yŭ学xué

[編biān集jí]

コンピュータによる自zì然rán言yán語yŭ処chŭ理lĭ（NLP）は、もともと計jì算suàn言yán語yŭ学xuéの一yī分fēn野yěとして考kaŏえられていたもので、コンピュータのハードウェアに能néng力lìが備beìわると同tóng時shíに試shìみられるようになった。1948年nián、ロンドンのバークベック・カレッジで開kaī発fāされた辞cí書shūルックアップテーブルが最zuì初chūの応yīng用yòng例lìである[20]。1954年niánのジョージタウン大dà学xuéでの実shí験yàn（英yīng語yŭ版băn）では、60文wénのロシア語yŭの文wén章zhāngを英yīng語yŭに翻fān訳yìするという（主zhŭにロシア語yŭの単dān語yŭを英yīng語yŭの同tóng義yì語yŭに置zhìき換huànえる）完wán全quánに自zì動dòng化huàされた機jī械xiè翻fān訳yìが実shí演yănされた[21][22]。そのシステムには6つの文wén法fă規guī則zéと250語yŭの語yŭ彙huìしかなく[23]、統tŏng語yŭ構goù造zaòの解jiě析xīや翻fān訳yìも行xíngわれなかったため、翻fān訳yìは粗cū雑záなものが多duōかった[24]。しかし、この実shí験yànによって、コンピュータが自zì然rán言yán語yŭを解jiě釈shìし処chŭ理lĭできることが一yī般bānに証zhèng明míngされ[25]、さらなる研yán究jiūのためにCIAの資zī金jīnが確què保baŏされた[21]。直zhí接jiē置zhì換huànは、機jī械xiè翻fān訳yìプログラムを評píng価jiàする際jìの基jī準zhŭnとして残cán存cúnしている。

20世shì紀jì半bànばには、人rén間jiānとコンピュータの対duì話huà（HCI）に自zì然rán言yán語yŭを利lì用yòngするシステムも登dēng場chángし始shĭめた。1968年niánから1970年niánにかけてMITで開kaī発fāされた「SHRDLU」は、いくつかの物wù体tĭがある仮jiă想xiăng空kōng間jiānで、ユーザーが自zì然rán言yán語yŭによる命mìng令lìngを使shĭって対duì話huàを行xíngうプログラムである（たとえば「今jīn持chíっているものより高gaōいブロックを探tànして、箱xiāngの中zhōngに入rùれる」）[26][27]。1966年niánに開kaī発fāされたおしゃべりロボットの「ELIZA」は、人rén間jiānの対duì話huà者zhěが入rù力lìしたテキストからキーワードを解jiě析xīし、会huì話huàに適shìする返făn答dáをした[28]。多duōくの被beì験yàn者zhěが、ELIZAの会huì話huàと人rén間jiānの会huì話huàを区qū別biéできないと主zhŭ張zhāngしたが、これが知zhī性xìngを構goù成chéngするかどうかという問wèn題tíについては議yì論lùnとなった（もっとも有yoŭ名míngな台taí本běnは、心xīn理lĭ療liaó法fă士shìがユーザーの言yánったことをほぼそのまま繰qiaōり返fănすというパロディであった）[29]。

機jī械xiè翻fān訳yìの初chū期qīの試shìみは純chún粋cuìに計jì算suànによるものだったが、1950年nián代daìになると、計jì算suàn言yán語yŭ学xuéの主zhŭ流liúがノーム・チョムスキーの普pŭ遍biàn文wén法făという概gaì念niànが重zhòng視shìされるようになった[20]。当dāng時shíのNLP研yán究jiūは、任rèn意yìの自zì然rán言yán語yŭの文wénを、言yán語yŭに依yī存cúnしない論lùn理lĭ構goù造zaòに還huán元yuánする試shìみが中zhōng心xīnであった。1970年nián代daìには、意yì味weì論lùn的deなNLPシステムは、構goù文wén的deなエンコーディング（syntactic encodings）を避bìけ、より一yī般bān意yì味weì論lùn的deなエンコーディング（semantic encodings）を支zhī持chíするようになった[30]。しかし、ニューラルネットワークが登dēng場chángするまでは、ほとんどのシステムが、手shoŭ作zuò業yèでプログラムされた大dà規guī模móな（そしてますます扱xīいにくくなった）ルールセットに依yī存cúnし続xùけ、当dāng初chūの狙jūいどおりに拡kuò張zhāngすることはできなかった[20]。

人rén工gōng知zhī能néngの分fēn野yěは20世shì紀jì後hoù半bànも発fā展zhănを続xùけたが、ときおり「AIの冬dōng」と呼hūばれる停tíng滞zhì期qīが訪făngれた。さまざまな文wén献xiànで、「AIの冬dōng」はさまざまな時shí期qīに発fā生shēngしたと述shùべられている。1994年niánにHoweは、1973年niánに始shĭまって10年nián続xùいたと著zhùし[31]、2003年niánのRussell & Norvigは、1988年niánにすぐ始shĭまったと述shùべている[32]。

ニューラルネットワーク

[編biān集jí]

人rén工gōng知zhī能néngの初chū期qīの概gaì念niànであるコネクショニズムは、生shēng物wù学xué的deな脳naŏにおけるニューロン（神shén経jīng細xì胞baō）の挙jŭ動dòngをシミュレートするように設shè計jìされた人rén工gōngニューラルネットワークによって知zhī的de行xíng動dòngを引yĭnき起qĭこそうとするものであった。人rén工gōngニューラルネットワークの最zuì初chūの例lìは、1951年niánに構goù築zhúされた「SNARC（英yīng語yŭ版băn）」である。「パーセプトロン」（二èr値zhí分fēn類leì器qìの一yī種zhŏng）は、1957年niánに心xīn理lĭ学xué者zhěのフランク・ローゼンブラットによって発fā表biaŏされた[33]。彼bĭの機jī械xièは、400個gèのフォトセル（光guāng電diàn池chí）を「ニューロン」に接jiē続xùして画huà像xiàng認rèn識shìするように設shè計jìされ、加jiā重zhòng値zhíはポテンショメータで決jué定dìngされていた（訓xùn練liàn過guò程chéngで電diàn気qìモーターで調diaò整zhěng[34]）。パーセプトロンは大dàきな話huà題tíとなり、ニューヨーク・タイムズ紙zhĭの記jì事shìで『（海haĭ軍jūnが）期qī待daìする電diàn子zĭコンピュータの萠méng芽yáは、歩bùき、話huàし、見jiànて、書shūき、自zì己jĭ複fù製zhìし、自zì分fēnの存cún在zaìを意yì識shìできるようになるだろう』と紹shaò介jièされた[35]。しかし、マービン・ミンスキーとシーモア・パパートによる1969年niánの書shū籍jí「パーセプトロン：計jì算suàn機jī科kē学xuéへの道daò（英yīng語yŭ版băn）」において[36]、当dāng時shíの最zuì先xiān端duān技jì術shù（単dān層céngパーセプトロン）の欠qiàn点diănとして、排paí他tā的de論lùn理lĭ和hé（XOR）関guān数shùを符fú号haò化huàできないことなどが指zhĭ摘zhaīされて以yĭ来laí、パーセプトロンシステムは数shù十shí年nián間jiānも衰shuaī退tuìしたままであった。この本běnは当dāng時shí、有yoŭ望wàngな研yán究jiū分fēn野yěとしてのパーセプトロン（および一yī般bān的deなニューラルネットワーク）を否foŭ定dìngするものと考kaŏえられていた[35]。

ニューラルネットワークは、「訓xùn練liàn（training)」および「学xué習xí（learning）」という過guò程chéngを経jīngて、さまざまな入rù力lìを分fēn類leìすることができるようになる（すなわち個gè別biéのカテゴリに区qū分fēnする）。学xué習xíは、まずネットワークの重zhòngみ（各gèニューロンの「活huó性xìng化huà」が後hoù続xù層céngの特tè定dìngニューロンの活huó性xìng化huàに影yĭng響xiăngを与yŭえる量liàng）をランダム（無wú作zuò為weì）に初chū期qī化huàする。この状zhuàng態taìでは、ネットワークの出chū力lìも同tóng様yàngにランダムとなる。そして、ネットワークの出chū力lìがどれだけ望wàngましいできばえに近jìnいかを定dìng量liàng的deに測cè定dìngする損sŭn失shī関guān数shùなどの目mù的de関guān数shùを定dìng義yìする（たとえば、手shoŭ書shūきの数shù字zìからなる入rù力lìが、その数shù字zìに対duì応yīngする出chū力lìニューロンのみを活huó性xìng化huàさせる頻pín度dù）[37]。この関guān数shùとネットワークのできばえから、重zhòngみを調diaò整zhěngして性xìng能néngを改gaĭ善shànすることができる[38]。

バックプロパゲーションは、1974年niánのポール・ワーボス（英yīng語yŭ版băn）の学xué位weì論lùn文wénで初chūめて機jī械xiè学xué習xíシステムに適shì用yòngした教jiaò師shīありアルゴリズムであり[39]、所suŏ与yŭの入rù出chū力lì例lìに対duìするネットワーク全quán体tĭの重zhòngみの最zuì適shì調diaò整zhěngを記jì述shùするベクトル場chángである「勾goū配peì」の計jì算suànを効xiaò率lw化huàした[38][37]。この勾goū配peìを使shĭ用yòngしてニューラルネットワークを訓xùn練liànする勾goū配peì降jiàng下xià法făによって、より複fù雑záなシステムを構goù築zhúすることが可kě能néngとなり、1980年nián代daìにはニューラルネットワークの自zì然rán言yán語yŭ処chŭ理lĭへの応yīng用yòngが広guăngまることになった[40][32]。1985年niánにはD.B. Parkerがワーボスの手shoŭ法făを再zaì発fā見jiànし[41]、1986年niánにはラメルハート、ヒントン、ウイリアムスが「深shēn層céng学xué習xí（ディープラーニング）」ネットワークと呼hūばれる隠yĭnれ層céngを持chíつニューラルネットワークで、入rù力lìデータの内neì部bù表biaŏ現xiànを生shēng成chéngするためにこの手shoŭ法făを応yīng用yòngし[42]、この研yán究jiūはその後hoùの回huí帰guī型xíngニューラルネットワークの基jī礎chŭを築zhúいた。

従cóng来laíの順shùn伝yún播bō型xíngニューラルネットワーク（FFNN）は、各gè層céngが前qiánの層céngからの出chū力lìを取qŭり入rùれ、次cìの層céngに送sòngり出chūすことからその名míngが付fùけられた。FFNNの構goù造zaòには、情qíng報baòが逆nì流liúするような「巡xún回huí（cycles）」は存cún在zaìしない。これに対duìして、回huí帰guī型xíngニューラルネットワーク（RNN）は、活huó性xìng化huàの流liúれの巡xún回huíを少shaŏなくとも一yīつ持chíっている[37]。RNNネットワークでは、ある項xiàng目mùそのものと、以yĭ前qiánの項xiàng目mùを処chŭ理lĭしたときの出chū力lìの両liăng方fāngを使shĭ用yòngして一yī連liánの項xiàng目mùを処chŭ理lĭできるため、順shùn序xù付fùいた項xiàng目mùを処chŭ理lĭする（および将jiāng来laíの順shùn序xù項xiàng目mùを予yŭ測cèする）ためによく使shĭ用yòngされた[37]。

1979年niánに福fú島daŏ邦bāng彦yànが哺bŭ乳rŭ動dòng物wùの視shì覚jué野yěにおける神shén経jīng構goù造zaòモデルに基jīづいて提tí唱chàngしたネオコグニトロン[43]は、画huà像xiàng処chŭ理lĭで広guăngく使shĭわれる畳diéみ込みニューラルネットワーク（CNN）の基jī礎chŭを築zhúいた[44]。CNNは、大dàきな入rù力lì層céngに対duìして小xiaŏさな層céngを「重zhòngねて滑huáらせる」ことで、より少shaŏない計jì算suàn量liàngでより深shēnい処chŭ理lĭを行xíngうことができる。たとえば、100×100の画huà像xiàngには10,000個gèの画huà素sùがあり、全quán結jié合hé層céngで処chŭ理lĭするには10,000個gèの重zhòngみが必bì要yaòだが、画huà像xiàng上shàngをスライドする5×5の「窓chuān」からなる畳diéみ込み層céngでは、わずか25個gèの学xué習xí可kě能néngなパラメータでエッジ検jiăn出chūを行xíngうことが可kě能néngである。畳diéみ込み層céngは「プーリング層céng」によって結jié合héされ、「全quán結jié合hé層céng」（一yī般bān的deに多duō層céngパーセプトロン）によって処chŭ理lĭされる。

自zì然rán言yán語yŭ処chŭ理lĭのための機jī械xiè学xué習xí

[編biān集jí]

回huí帰guī型xíngニューラルネットワーク（RNN）は、系xì列liè的deな情qíng報baòを処chŭ理lĭすることができるため、多duōくの自zì然rán言yán語yŭ処chŭ理lĭ（NLP）アプリケーションで利lì用yòngされている。RNNは、FFNNとは異yìなり、同tóngじ項xiàng目mùに対duìして、順shùn序xù項xiàng目mùの周zhoū囲weíの状zhuàng況kuàngに応yīngじて異yìなる重zhòngみを符fú号haò化huàする（そして異yìなる出chū力lìを与yŭえる）ことができる。ということは、一yī度dùに一yī個gèの単dān語yŭを解jiě析xīするRNNシステムでも、「黒heīい犬quăn（black dog）」は毛maóむくじゃらの脚jiaŏ、「アメリカンドッグ（corn dog）」はケチャップ、「幻huàn日rì（sun dog）」は屈qū折zhéのように、同tóngじ「dog」から異yìなる連lián想xiăngができる。さらに、RNNでは、以yĭ前qiánの順shùn序xù項xiàng目mùの情qíng報baòを再zaì帰guī的deに呼hūび出chūすことができるため、ずっと以yĭ前qiánに遡sùって任rèn意yìの項xiàng目mùを思sīい出chūすようにシステムを設shè計jìすることができる。たとえば、「トムは黒heīい犬quănを見jiànた」「トムはアメリカンドッグを見jiànた」「トムは幻huàn日rìを見jiànた」という順shùn序xù項xiàng目mùを、それぞれ「優yoūしく」「飢jīえて」「間jiān接jiē的deに」と続xùけることができるようになる[45][11]。

しかし、多duō層céng型xíngのFFNNとRNNは優yoūれた解jiěを出chūせる一yī方fāngで、どちらも勾goū配peì消xiaō失shī問wèn題tíに対duìして脆cuì弱ruòであることが判pàn明míngした。勾goū配peìは有yoŭ限xiàn精jīng度dùの数shù値zhíとして符fú号haò化huàされ、モデルの全quánての層céngにわたって逆nì伝yún播bōする必bì要yaòがあるため、多duō数shùの層céngを重zhòngねるとゼロに「消xiaō滅miè」、または無wú限xiàn大dàに「発fā散sàn」する可kě能néng性xìngがある。1995年nián-1997年niánにかけて、Sepp HochreiterとJürgen Schmidhuberが初chūめて提tí案ànした長cháng・短duăn期qī記jì憶yìネットワーク（LSTM）は、「入rù力lì」「出chū力lì」「忘wàng却què」ゲートを持chíつ複fù数shùの個gè別biéの「セル」からなる新xīnしいアーキテクチャを導daŏ入rùすることによって、この問wèn題tíを解jiě決juéしようとした[46][47][48]。2009年niánに、Alex Gravesチームが提tí出chūしたLSTMに基jīづくモデルが、手shoŭ書shūき文wén字zì認rèn識shìのICDARコンペティションで優yoū勝shèngし[49]、もう一yīつのモデルは最zuìも正zhèng確quèなモデル、3番fān目mùのモデルは最zuìも高gaō速sùなモデルであった[50]。

RNNやLSTMが抱baòえるもう一yīつの問wèn題tíは、以yĭ前qiánの順shùn序xù項xiàng目mùの文wén脈mòしか考kaŏ慮lwできないことである[45][51]。このため、「トムはバイクに乗chéngって店diànに行xíngき、キックスタンドを下xiàろしてエンジンを切qiēった」のように、「バイク（自zì転zhuăn車chē）」が「モーターバイク（オートバイ）」であるという必bì要yaòな文wén脈mòが最zuì後hoùでしか明míngらかにならない文wén章zhāngを解jiě析xīするときに問wèn題tíを引yĭnき起qĭこすことがある。このような問wèn題tíを解jiě決juéする一yīつが双shuāng方fāng向xiàngLSTM（bidirectional LSTM）であり、双shuāng方fāng向xiàngに同tóng時shíに進jìn行xíngすることで、「過guò去qù」と「未weì来laí」の両liăng方fāngの入rù力lì特tè徴zhēngにアクセスすることを可kě能néngにする[45]。条tiaó件jiàn付fùき確què率lw場cháng（CRF）は、タグを使shĭって入rù力lìと出chū力lìを直zhí接jiē結jiéびつける[45]。 上shàng記jìのアプローチの組zŭみ合héわせた、LSTM-CRFネットワークやBI-LSTM-CRFネットワークもある[45]。その他tāに、RNNモデルの改gaĭ良liángとして、ニューラルチューリングマシン（英yīng語yŭ版băn）、適shì応yīng計jì算suàn時shí間jiān（adaptive computation time）、ニューラルプログラマー（neural programmers）、アテンション機jī構goùなどがあり、最zuì後hoùのものはGPT-2や関guān連lián技jì術shùの基jī礎chŭをなしている[11]。

選xuăn択zé的de集jí中zhōng

[編biān集jí]

2010年nián代daì初chū頭toúまで、ニューラル機jī械xiè翻fān訳yìで最zuì高gaōの性xìng能néngを発fā揮huīしたのは、RNNやLSTMによる「エンコーダネットワーク」が原yuán文wénをベクトルに符fú号haò化huàし、そのベクトルを同tóng様yàngのアーキテクチャの「デコーダネットワーク」が処chŭ理lĭして翻fān訳yì出chū力lìを得déるという「エンコーダ・デコーダ」モデルであった[12]。2014年niánに、非feī常chángに複fù雑záな「アテンション」機jī構goùが導daŏ入rùされ、これらのモデルの性xìng能néngは大dà幅fúに向xiàng上shàngした。アテンション機jī構goùは、デコーダネットワークに、テキスト全quán体tĭを単dān一yīベクトルとして解jiě析xīするのではなく、原yuán文wénの特tè定dìngの側cè面miànに適shì応yīng的deに「アテンション（注zhù意yì）」を集jí中zhōngさせる能néng力lìを与yŭえた[12][13]。

その後hoù、2017年niánには、さらに一yī歩bù進jìnんでアテンション機jī構goùを使shĭ用yòngして、RNN/LSTMアーキテクチャを完wán全quánに置zhìき換huànえた「トランスフォーマー（Transformer）」モデルが導daŏ入rùされた[10][11]。

アテンション機jī構goù

[編biān集jí]
→詳xiáng細xìは「アテンション (機jī械xiè学xué習xí)」を参cān照zhaò

エンコーダ・デコーダモデルの制zhì約yuēの一yīつに、より大dàきな文wén章zhāngを符fú号haò化huàして固gù定dìng長chángのベクトルに圧yā縮suōすることの難nánしさがあり、入rù力lìが大dàきくなるにつれて性xìng能néngが低dī下xiàすることがよく見jiànられた。2014年nián、Bahdanauらは[12]、「整zhěng列lièと翻fān訳yìを共gòng同tóngで行xíngう」ことができるエンコーダ・デコーダモデルの拡kuò張zhāngを発fā表biaŏした[13]。Bahdanauモデルのエンコーダ（各gè方fāng向xiàngに1000個gèの隠yĭnれユニットを持chíつ双shuāng方fāng向xiàngRNN）は、翻fān訳yìされた原yuán文wénの各gè単dān語yŭに対duìして、その文wénの残cánり全quánてを検jiăn索suŏして関guān連liánする情qíng報baòの位weì置zhìを探tànした。従cóng来laíのように入rù力lì文wén全quán体tĭを固gù定dìng長chángでベクトル化huàしてデコーダに入rù力lìするのではなく、それらの位weì置zhìと以yĭ前qiánに生shēng成chéngしたターゲット語yŭを関guān連lián付fùけた「文wén脈mòベクトル」を生shēng成chéngした[12]。そして、デコーダ（これも1000個gèの隠yĭnれユニットを持chíつ）は、この文wén脈mòベクトルを使shĭ用yòngして、どこに「注zhù意yì」を向xiàngけるかを決jué定dìngした[12][13][11]。

「アテンション」機jī構goùの探tàn究jiūは、Luongらによる2015年niánの論lùn文wénで継jì続xùされた[13]。Bahdanau論lùn文wénに基jīづく「グローバル」アプローチと、原yuán語yŭの部bù分fēn集jí合héのみを一yī度dùに「考kaŏ慮lw」する「ローカル」アプローチが試shìみられ、ローカルアプローチは、アーキテクチャ的deにはより複fù雑záだが、計jì算suàn量liàngが少shaŏなく、訓xùn練liànが容róng易yìであった[13]。1秒miaŏ間jiānに1,000個gèのターゲット語yŭを翻fān訳yìできるように特tè別biéに設shè計jìされた英yīng語yŭ-ドイツ語yŭ翻fān訳yìモデルを完wán全quánに訓xùn練liànするのに7-10日rìを要yaòした。その精jīng度dùは、2014年niánのACL Workshop on Machine Translation（WMT'14）における英yīng語yŭ-ドイツ語yŭ文wénペアのタスクに対duìするテストで、23.0 BLEUという結jié果guŏを達dá成chéngした。これは、以yĭ前qiánの試shìみで達dá成chéngした最zuì高gaō結jié果guŏであるBuck et al. 2014によるフレーズベースの言yán語yŭモデルよりも2.1 BLEU優yoūれていた[52][13]。

Transformers

[編biān集jí]
→詳xiáng細xìは「Transformer (機jī械xiè学xué習xíモデル)」を参cān照zhaò

アテンション機jī構goùは、既jì存cúnの畳diéみ込み型xíngニューラルネットワークや回huí帰guī型xíngニューラルネットワークのアーキテクチャを改gaĭ善shànするために使shĭうことで性xìng能néng向xiàng上shàngに効xiaò果guŏ的deであったが、すぐに、何héも基jī礎chŭを置zhìかずにアテンション機jī構goù単dān独dúでも高gaō性xìng能néngなモデルを構goù築zhúできることがわかった[10]。

2017年nián6月yuè、Google Brain（英yīng語yŭ版băn）、Google Research、およびトロント大dà学xuéの研yán究jiū者zhěが発fā表biaŏした論lùn文wénで、Transformerアーキテクチャが初chūめて紹shaò介jièされた[10]。Transformerは、畳diéみ込みや回huí帰guīを完wán全quánに捨shěて去qùり、アテンション機jī構goùのみに基jīづいたモデルの一yī種zhŏngである。従cóng来laíのRNNに基jīづくモデルと異yìなり、Transformerは、系xì列liè的deに入rù力lìされる各gè項xiàng目mùについて順shùn番fānに計jì算suànすることなく処chŭ理lĭできるため、大dà規guī模móな並bìng列liè化huàが可kě能néngであることを意yì味weìした[10]。WMT'14フランス語yŭ-英yīng語yŭタスクでは、Transformerアーキテクチャを使shĭ用yòngして特tè別biéに訓xùn練liànしたフランス語yŭ-英yīng語yŭ翻fān訳yìモデルが、41.8 BLEUという新xīnしい単dān一yīモデルのベンチマークを達dá成chéngすることができた[10]。Transformerは、導daŏ入rù以yĭ来laí、多duōくの自zì然rán言yán語yŭ処chŭ理lĭ（NLP）アプリケーションで使shĭ用yòngされている[53]。

Generative Pre-trained Transformer

[編biān集jí]
GPTモデルの模mó式shì図tú
GPTシリーズの比bĭ較jiaò
アーキテクチャ パラメータ数shù 訓xùn練liàn用yòngデータ
GPT-1 12層céng、12ヘッドのTransformerデコーダ（エンコーダなし）、次cìいで線xiàn形xíngsoftmax 1.2億yì BookCorpus: 4.5 GBのテキスト、さまざまなジャンルの未weì発fā表biaŏ小xiaŏ説shuō7000冊cè分fēn[54]
GPT-2 GPT-1 変biàn種zhŏng 15億yì[55] WebTextコーパス (40 GB)
GPT-3 GPT-2, ただしスケーリングが大dàきく変biàn更gèngされた 1750億yì 570 GBの平píng文wén、4,000億yìのトークン。主zhŭにCommonCrawl、WebText、英yīng語yŭ版bănWikipedia、2つの書shū籍jíコーパス（Books1、Books2）

2018年nián6月yuè11日rì、OpenAIは「Improving Language Understanding by Generative Pre-Training」（生shēng成chéng的de事shì前qián学xué習xíによる言yán語yŭ理lĭ解jiěの向xiàng上shàng）と題tíする論lùn文wénを発fā表biaŏし、その中zhōngで「Generative Pre-trained Transformer（GPT）」と呼hūぶNLPモデルを紹shaò介jièした[9]。この当dāng時shí、最zuì高gaō性xìng能néngを発fā揮huīするニューラルNLPモデルでは、主zhŭに手shoŭ作zuò業yèでラベル付fùけされた大dà量liàngのデータを用yòngいて、教jiaò師shīあり学xué習xíを採caĭ用yòngしていた。こうした教jiaò師shīあり学xué習xíへの依yī存cúnによって、ラベル付fùけが十shí分fēnでないデータセットでの利lì用yòngは制zhì限xiànを受shoùけ、さらに非feī常chángに大dà規guī模móなモデルを訓xùn練liànするには非feī常chángに高gaō価jiàかつ時shí間jiānもかかっていた[9][56]。スワヒリ語yŭやハイチ・クレオール語yŭなどの多duōくの言yán語yŭは、コーパス構goù築zhúのためのテキストが不bù足zúしているため、このようなモデルを用yòngいて翻fān訳yìや通tōng訳yìすることは困kùn難nánであった[56]。これに対duìして、GPTの「半bàn教jiaò師shī付fùき」アプローチは、言yán語yŭモデリングの目mù的deに基jīづいて初chū期qīパラメータを設shè定dìngする教jiaò師shīなし生shēng成chéng的de「事shì前qián学xué習xí」段duàn階jiēと、これらのパラメータを標biaō的deタスクに適shì応yīngさせる教jiaò師shīあり識shì別bié的de「微weī調diaò整zhěng」段duàn階jiēの2段duàn階jiēに分fēnけて行xíngわれた[9]。

アテンション強qiáng化huàRNNを含hánむ従cóng来laíの技jì術shùとは異yìなり、Transformerアーキテクチャを用yòngいたGPTには、より構goù造zaò化huàされた記jì憶yìが備beìわり、それによって「多duō様yàngなタスクに対duì応yīngできる頑wán健jiànな転zhuăn移yí性xìng能néng」が実shí現xiànされた[9]。

転zhuăn移yí時shíには、トラバース形xíng式shìの手shoŭ法făから派paì生shēngしたタスク固gù有yoŭの入rù力lì適shì応yīngを利lì用yòngし、構goù造zaò化huàテキストの入rù力lìを単dān一yīの連lián続xùしたトークン列lièとして処chŭ理lĭする。[9]

コーパス

[編biān集jí]

教jiaò師shīなし事shì前qián学xué習xíは、さまざまなジャンルに属shŭする7,000冊cè以yĭ上shàngの未weì発fā表biaŏ小xiaŏ説shuōのデータセット「BooksCorpus」を用yòngいて行xíngわれた[57]。このデータセットが選xuănばれた理lĭ由yoúの一yīつは、長cháng距jù離líの情qíng報baòを処chŭ理lĭするためのモデルの条tiaó件jiànとして、連lián続xùした長chángい文wén章zhāngが求qiúめられたことにある。利lì用yòng可kě能néngな他tāのデータセットは、規guī模móは大dàきくても、このような長cháng範fàn囲weí的deな構goù造zaòがない（文wénレベルで「入rùれ替tìえ」られている）ことを理lĭ由yoúに却què下xiàされた[9]。BooksCorpusのテキストをクリーニング（句jù読dú点diănや空kōng白baíの標biaō準zhŭn化huà）するためにftfyライブラリが、トークン化huàではspaCyが使shĭわれた[9]。

アーキテクチャ

[編biān集jí]

GPTのアーキテクチャ自zì体tĭは、12層céngのデコーダのみのTransformerで、それぞれ64次cì元yuánの状zhuàng態taìを持chíつ12個gèのマスク付fùき自zì己jĭアテンション・ヘッド（合hé計jì768個gè）を使shĭ用yòngした。単dān純chúnな確què率lw的de勾goū配peì降jiàng下xià法făではなく、Adam最zuì適shì化huàアルゴリズムが使shĭ用yòngされた。学xué習xí率lwは、最zuì初chūの2,000回huíの更gèng新xīnでは、0から最zuì大dà2.5×10−4まで線xiàn形xíngに増zēng加jiāし、コサインスケジュールによって0までアニリーングされた[9]。

512個gèの連lián続xùしたトークンからなるランダムにサンプリングした64個gèのミニバッチの訓xùn練liànを100エポック行xíngう。レイヤーノルムはモデル全quán体tĭで広guăngく用yòngわれているため、N(0,0.02)の単dān純chúnな重zhòngみの初chū期qī化huàで十shí分fēnであった。40,000個gèのバイト対duì符fú号haò化huà（BPE）語yŭ彙huìのマージと、正zhèng則zé化huàには残cán差chaī、埋maíめ込み、アテンションのドロップアウトを比bĭ率lw0.1で行xíngった。また、Loshchilov et al. 2017で提tí案ànされたL2正zhèng則zé化huàの修xiū正zhèng版bănを採caĭ用yòngし、すべての非feīバイアスウェイトやゲインウェイトはw=0.01とした。

　(中zhōng略lWè)
原yuán著zhùで提tí案ànされた正zhèng弦xián波bōバージョンの代daìわりに学xué習xíされた位weì置zhì埋maíめ込みを使shĭ用yòngした。
　(中zhōng略lWè)

特tèに指zhĭ定dìngがない限xiànり、教jiaò師shīなし事shì前qián学xué習xíでのハイパーパラメータ設shè定dìngを再zaì利lì用yòngする。分fēn類leì器qìにはドロップアウトを比bĭ率lw0.1で追zhuī加jiāする。ほとんどのタスクでは、学xué習xí速sù度dù6.25e-5、バッチサイズ32を使shĭ用yòngする。このモデルは高gaō速sùに微weī調diaò整zhěngされ、ほとんどの場cháng合héは3エポックの訓xùn練liànで十shí分fēnであった。学xué習xí率lwは線xiàn形xíng減jiăn衰shuaīスケジュールを用yòngい、ウォームアップは訓xùn練liànの0.2%以yĭ上shàngとした。λは0.5とした[9]。

GPTは、微weī調diaò整zhěngの段duàn階jiēで特tè定dìngのタスクに適shì応yīngさせたが、事shì前qián学xué習xíの段duàn階jiēはそうしなかった。さまざまなタスクを実shí行xíngするために、タスクに依yī存cúnしない基jī礎chŭとなるモデルアーキテクチャに最zuì小xiaŏ限xiànの変biàn更gèngが加jiāえられた[9]。それにもかかわらず、GPTはいくつかの言yán語yŭ処chŭ理lĭタスクにおいて過guò去qùのベンチマークを上shàng回huíり、多duōくの多duō様yàngなタスクにおいて、タスク指zhĭ向xiàngのアーキテクチャを持chíつ識shì別bié的deに訓xùn練liànされたモデルより優yoūれていた[9]。

性xìng能néng

[編biān集jí]

自zì然rán言yán語yŭ推tuī論lùn（テキスト含hán意yì推tuī論lùn（英yīng語yŭ版băn）（textual entailment）とも呼hūばれる）タスクでは、モデルの評píng価jiàは、さまざまなデータセットに含hánまれる文wénの対duìを解jiě釈shìし、それらの関guān係xìを「含hán意yì」「矛maó盾dùn」「中zhōng立lì」に分fēn類leìする能néng力lìに基jīづいて行xíngわれる[9]。たとえば、QNLI（Wikipediaの記jì事shì）やMultiNLI（速sù記jì、大dà衆zhòng小xiaŏ説shuō、政zhèng府fŭ報baò告gaòなど）といった情qíng報baò源yuánに対duìして[58]、GPTは従cóng来laíの最zuì高gaō値zhíからそれぞれ5.8%、1.5%優yoūれていた[9]。同tóng様yàngに、質zhí問wèn応yīng答dáや常cháng識shì推tuī論lùn（英yīng語yŭ版băn）に関guān連liánする2つのタスクでも、RACE（中zhōng学xué校xiaòと高gaō校xiaòの筆bĭ記jì試shì験yànの問wèn題tíと解jiě答dáの組zŭからなるデータセット）で5.7%[59]、クローズ・テスト（英yīng語yŭ版băn）で8.9%、従cóng来laíのモデルをそれぞれ上shàng回huíった[60]。

もう一yīつの意yì味weì的de類leì似sì性xìng（または言yánい換huànえ検jiăn出chū）のタスクでは、2つの文wénが互hùいに言yánい換huànえであるかどうかをモデルが予yŭ測cèできるかどうかを評píng価jiàするもので、Quora Question Pairs（QQP）データセットで、GPTは従cóng来laíの最zuì高gaō性xìng能néngモデルよりも4.2%向xiàng上shàngした[9]。また、Corpus of Linguistic Acceptability（CoLA）を用yòngいたテキスト分fēn類leìタスクでは、従cóng来laíの最zuì高gaōスコア35.0に対duìしてGPTはスコア45.4を達dá成chéngした。最zuì後hoùに、マルチタスクテストのGLUEで[61]、GPTは総zŏng合héスコア72.8（従cóng来laíは68.9）を達dá成chéngした[9]。

GPT-2

[編biān集jí]

GPT-2はGPTのスケールアップ版bănとして作zuò成chéngされ、パラメータ数shùとデータセットサイズをいずれも10倍beìにしている[8][9][4]。双shuāng方fāngとも教jiaò師shīなしのTransformerモデルで、一yī連liánのトークンの並bìngびから次cìの単dān語yŭを予yŭ測cèしてテキストを生shēng成chéngするように訓xùn練liànされた。GPT-2モデルは15億yìのパラメータを持chíち、800万wànのウェブページのデータセットで訓xùn練liànが行xíngわれた[8]。GPT-2は、テキストサンプル中zhōngの一yī連liánの単dān語yŭを解jiě釈shìし、最zuìも可kě能néng性xìngの高gaōい次cìの単dān語yŭを予yŭ測cèするという非feī常chángに単dān純chúnな基jī準zhŭnで強qiáng化huàされ、追zhuī加jiāされる単dān語yŭを予yŭ測cèし続xùけることで完wán全quánな文wénや段duàn落luòを生shēng成chéngし、自zì然rán言yán語yŭで完wán全quánに理lĭ解jiěできる（そして意yì味weì論lùn的deに意yì味weìを持chíつ）文wénを生shēng成chéngする[8]。特tèに、GPT-2は、ゼロショット設shè定dìng（英yīng語yŭ版băn）でのタスクに対duìする性xìng能néngで評píng価jiàされた。

データセット

[編biān集jí]

GPT-2は新xīn規guīに開kaī発fāされた WebText コーパスをデータセットとして利lì用yòngしている。

WebTextコーパス

[編biān集jí]

WebText コーパスは約yuē800万wànのウェブページから抽choū出chūされた高gaō品pĭn質zhí自zì然rán言yán語yŭテキストコーパスである[62]。

GPT-2はゼロショット推tuī論lùn可kě能néngな基jī盤pánモデルを意yì図túして開kaī発fāされた。個gè別biéタスクを明míng示shì的deに学xué習xíせずゼロショットで推tuī論lùnするには、学xué習xí用yòngテキスト内neìに様yàng々なタスクの具jù体tĭ例lìが（タスクラベル無wúしで）含hánまれている必bì要yaòがあると考kaŏえられる[63]。一yī方fāngで質zhíの低dīいテキストはモデルの精jīng度dùを落luòとすため[64]、コモン・クロールのような無wú作zuò為weì収shoū集jíされたコーパスは利lì用yòngできない[65]。これらの問wèn題tíを解jiě決juéするためにGPT-2論lùn文wénで開kaī発fāされたコーパスが WebText コーパスである。

WebText は人rén間jiānによるキュレーションを品pĭn質zhí向xiàng上shàngに利lì用yòngしている[66]。まずRedditで3回huí以yĭ上shàng賛zàn成chéng票piaòを受shoùけたリンク先xiānウェブページを一yī定dìng品pĭn質zhíのテキストとみなし[67]、重zhòng複fù文wén章zhāngの除chú去qù・Wikipedia記jì事shìの削xuē除chú[68]・ヒューリスティックによるクリーニングを経jīngて、最zuì終zhōng的deに約yuē800万wànのウェブページから抽choū出chūされた約yuē40GBの自zì然rán言yán語yŭテキストをWebTextとしている[69]。

モデル

[編biān集jí]

GPT-2のモデルアーキテクチャはGPT-1のマイナーチェンジ版bănである。アーキテクチャ上shàngの変biàn更gèng点diănは以yĭ下xiàの通tōngり：

  • Post LN → Pre LN[70]
  • 最zuì終zhōngアテンションブロック後hoùの追zhuī加jiāLN[71]
  • 残cán差chaīレイヤーの深shēn度dù 重zhòngみ付fùけ初chū期qī化huà[72]

アーキテクチャはほぼ同tóng一yīであるが、GPT-2はGPT-1より大dàきなモデルとなっている。モデル上shàngの変biàn更gèng点diănは以yĭ下xiàの通tōngり：

  • モデルパラメータサイズ: 15億yì（約yuē13倍beì）[55]
  • ボキャブラリ: 50,257[73]
  • コンテキストトークン長cháng: 512→1024[74]

訓xùn練liàn

[編biān集jí]

モデルと同tóngじく学xué習xíもスケールされており、バッチサイズは512に変biàn更gèngされている[75]。

GPT-2の訓xùn練liàn費feì用yòngは1時shí間jiānあたり256ドルであることが知zhīられているが[76][77]、訓xùn練liànに要yaòした総zŏng時shí間jiānは不bù明míngなため、訓xùn練liàn費feì用yòngの総zŏng額éを正zhèng確quèに見jiàn積jīもることはできない[78]。しかし、Transformerアーキテクチャを用yòngいた同tóng等děngの大dà規guī模mó言yán語yŭモデルでの費feì用yòngはより詳xiáng細xìに記jì述shùされており、BERTとXLNetの訓xùn練liàn過guò程chéngでは、それぞれ6,912ドルと245,000ドルの資zī源yuánを消xiaō費feìした[77]。

性xìng能néng

[編biān集jí]
GPT-2が作zuò成chéngした、2020年niánの米mĭ国guó大dà統tŏng領lĭng選xuăn挙jŭに勝shèng利lìした後hoùのエドワード・スノーデンの行xíng動dòngに関guānする架jià空kōngのニュース記jì事shì。強qiáng調diaò表biaŏ示shìされたテキストはすべて機jī械xièが生shēng成chéngしたものである。スノーデンは（生shēng成chéng時shí点diănで）公gōng職zhíに選xuăn出chūされたことはなかったが、生shēng成chéngされたサンプルは文wén法fă的deにも文wén体tĭ的deにも妥tuŏ当dāngなものである。

GPT-2は、そのデータセットとアプローチの広guăngさによって、単dān純chúnなテキスト生shēng成chéngにとどまらない幅fú広guăngいタスクに対duì応yīngできるようになった。質zhí問wènに答dáえたり、長cháng文wénを要yaò約yuēしたり、さまざまな特tè定dìng領lĭng域yù（英yīng語yŭ版băn）で言yán語yŭ間jiānの翻fān訳yìをしたり、一yī連liánの単dān語yŭの次cìの予yŭ測cè方fāng法fă以yĭ上shàngのことは何héも指zhĭ示shìされずに実shí行xíngできる[79][80]。

一yī般bān化huà学xué習xíの一yī例lìは、フランス語yŭ-英yīng語yŭ間jiānの機jī械xiè翻fān訳yìをするGPT-2の能néng力lìであり、そのために、WMT-14の翻fān訳yìタスクを使shĭ用yòngしてGPT-2の性xìng能néngが評píng価jiàされた。GPT-2の訓xùn練liàn用yòngコーパスには、フランス語yŭのテキストはほとんど含hánまれていなかった。訓xùn練liàn前qiánにデータセットのクリーニングで英yīng語yŭ以yĭ外waìのテキストを意yì図tú的deに削xuē除chúしたため、得déられた40,000 MBのうちモデルが訓xùn練liànに使shĭ用yòngできたフランス語yŭは10 MBにすぎなかった（ほとんどは英yīng語yŭの投toú稿gaŏや記jì事shìに含hánまれた外waì国guó語yŭの引yĭn用yòng）[8]。それでもGPT-2は、WMT-14の英yīng語yŭ-フランス語yŭ間jiānテストセットで5 BLEUを達dá成chéngした（単dān語yŭ単dān位weìでの置zhì換huànによる翻fān訳yìをわずかに下xià回huíるスコア）。また、フランス語yŭから英yīng語yŭへのテストセットでGPT-2は、当dāng時shí（2017年nián）の教jiaò師shīなし機jī械xiè翻fān訳yìベースラインを上shàng回huíって、11.5 BLEUを達dá成chéngした。これは、33.5 BLEUを達dá成chéngした当dāng時shí（2019年nián）最zuìも高gaō性xìng能néngな教jiaò師shīなし手shoŭ法făを下xià回huíるものだった[8]。しかし、他tāのモデルは、この結jié果guŏを達dá成chéngするために大dà量liàngのフランス語yŭテキストを使shĭ用yòngしており、一yī方fāngのGPT-2は、同tóng等děngの手shoŭ法făの約yuē1/500のサイズの単dān一yī言yán語yŭフランス語yŭコーパスを使shĭ用yòngしたと推tuī定dìngされた[8]。

公gōng開kaī

[編biān集jí]

GPT-2は、2019年nián2月yuè14日rìに初chūめて発fā表biaŏされた。2019年nián2月yuèのThe Vergeに掲jiē載zaìされたJames Vincentによる記jì事shìでは、『（このプログラムが）作zuòり出chūす文wén章zhāngは、通tōng常cháng、人rén間jiānではないと容róng易yìに判pàn別biéできる』ものの、言yán語yŭ生shēng成chéngプログラムの『これまでで、もっともわくわくする例lìの一yīつ』であることに変biànわりはないと述shùべている[79]。

偽weìの見jiàn出chūしを付fùけると、あとは偽weìの引yĭn用yòngや統tŏng計jìを交jiaōえた残cánりを書shūいてくれる。短duăn編biān小xiaŏ説shuōの最zuì初chūの行xíngを入rù力lìすると、登dēng場cháng人rén物wùに次cìに何héが起qĭこるか教jiaòえてくれる。適shì切qiēなプロンプト（命mìng令lìng）を入rù力lìすれば、ファン・フィクションだって書shūける[79]。

ガーディアン紙zhĭはこの出chū力lìを『もっともらしい新xīn聞wénの散sàn文wén』と表biaŏ現xiànし[7]、VoxのKelsey Piperは『私sīがこれまで見jiànた中zhōngで最zuìもクールなAIシステムの一yīつは、私sīを失shī業yèに追zhuīい込むものかもしれない』と述shùべている[80]。GPT-2の柔roú軟ruăn性xìngは、The Vergeによれば『印yìn象xiàng的de』と評píngされ、具jù体tĭ的deには、言yán語yŭ間jiānでのテキスト翻fān訳yì、長cháng文wénの記jì事shìの要yaò約yuē、雑zá学xué的deな質zhí問wènへ回huí答dáなどの能néng力lìが注zhù目mùされた[79]。

修xiū正zhèngチューリングテストを用yòngいたアムステルダム大dà学xuéの研yán究jiūでは、少shaŏなくともいくつかのシナリオで、参cān加jiā者zhěはGPT-2が生shēng成chéngした詩shīと人rén間jiānが書shūいた詩shīを見jiàn分fēnけられないことが分fēnかった[81]。

制zhì限xiànと部bù分fēn公gōng開kaī

[編biān集jí]
「Skub」は実shí在zaìする製zhì品pĭnではないが、DistilGPT2で使shĭ用yòngされている縮suō小xiaŏサイズのモデルでさえ、賛zàn成chéngと反făn対duìの両liăng側cèからもっともらしい議yì論lùnを作zuòり出chūすことができる。

これまでOpenAIのモデルはすぐに一yī般bān公gōng開kaīされていたが、2019年nián2月yuèの発fā表biaŏでは、悪è用yòngされる危weī険xiăn性xìngがあるとして[7]、GPT-2のソースコードの公gōng開kaīを当dāng初chū拒jù否foŭしていた[7]。発fā表biaŏ時shíには、一yī部bùの報baò道daò関guān係xì者zhěにのみ、モデルへの制zhì限xiàn付fùきアクセス（ソースコード自zì体tĭではなく、入rù力lìでき、出chū力lìを提tí供gōngするインターフェース）が許xŭ可kěされた。よく言yánわれるのは、生shēng成chéngされたテキストは通tōng常chángまったく新xīnしいものなので、スパマー（英yīng語yŭ版băn）が自zì動dòngフィルターを回huí避bìするために悪è用yòngする可kě能néng性xìngがあるという正zhèng当dāng化huàの理lĭ由yoúである。OpenAIは、GPT-2を微weī調diaò整zhěngして『肯kěn定dìng的deまたは否foŭ定dìng的deな製zhì品pĭnレビューを永yŏng遠yuănに生shēng成chéngする』バージョンを実shí演yănした[7]。もう一yīつの問wèn題tíは、GPT-2を使shĭ用yòngすると、わいせつあるいは人rén種zhŏng差chaī別bié的deなテキストが生shēng成chéngされる可kě能néng性xìngがあることである。ジェレミー・ハワードなどの研yán究jiū者zhěは、『この技jì術shùは、Twitterや電diàn子zĭメール、そしてウェブを、合hé理lĭ的deな響xiăngきを持chíって文wén脈mòに沿yánった散sàn文wénで完wán全quánに埋maíめ尽jĭnし、他tāのすべての発fā言yánをかき消xiaōすようなものであり、フィルタリングは不bù可kě能néngになる』と警jĭng告gaòした[79]。アレン人rén工gōng知zhī能néng研yán究jiū所suŏ（英yīng語yŭ版băn）は、GPT-2に呼hū応yīngして「ニューラルフェイクニュース」を検jiăn出chūするツールを発fā表biaŏした[82]。

しかし、意yì見jiànは分fēnかれた。2019年nián2月yuèのThe Vergeの記jì事shìは、GPT-2がもたらす脅xié威weīは誇kuā張zhāngされていると論lùnじ[83]、カリフォルニア工gōng科kē大dà学xuéの教jiaò授shoùでNvidiaの機jī械xiè学xué習xí研yán究jiūディレクターであるAnima Anandkumarは、OpenAIが言yánうような脅xié威weīをもたらす能néng力lìがGPT-2にあるという証zhèng拠jùはなく、彼bĭらがしたことは『オープンとは正zhèng反făn対duì』だと述shùべ、完wán全quánモデルの公gōng開kaīを拒jù否foŭしたことを「悪è意yìのあるたわごと（英yīng語yŭ版băn）」とみなした[83]。The Gradient紙zhĭは、OpenAIに対duìしてモデルの公gōng開kaīを促cùす公gōng開kaī書shū簡jiănを発fā表biaŏし、テキスト生shēng成chéngAIがもたらす脅xié威weīを印yìn刷shuā機jīのそれと比bĭ較jiaòし、『混hún乱luànをもたらす可kě能néng性xìngがあったにものの、（幸xìngいにも）現xiàn代daì社shè会huìを破pò壊huaìしなかった技jì術shù』としてPhotoshopを例lìに挙jŭげた[84]。

30年nián後hoù、Photoshopは高gaō校xiaò生shēngが使shĭえるほど簡jiăn単dānで、動dòng詞cíとして広guăngく使shĭわれているにもかかわらず、社shè会huìは比bĭ較jiaò的de無wú事shìですんでいる。なぜか？それは、誰shuíもがPhotoshopを知zhīっているからこそである[84]。

774M公gōng開kaī

[編biān集jí]

OpenAIは、完wán全quánな学xué習xí済jìみモデルや、訓xùn練liàn用yòngコーパスを公gōng開kaīしなかったが、過guò去qùの出chū版băn物wùにおけるその手shoŭ法făの説shuō明míng（および基jī礎chŭとなる技jì術shùの無wú償chángでの入rù手shoŭ性xìng）により、GPT-2は自zì由yoúソフトウェアとして他tā者zhěが複fù製zhìすることが可kě能néngであった。そのような複fù製zhìの一yīつ、OpenGPT-2は、OpenWebTextと呼hūばれる自zì由yoúライセンス版bănのWebTextと組zŭみ合héわせて2019年nián8月yuèに公gōng開kaīされた。OpenGPT-2のクラウドコンピューティング費feì用yòngは約yuē50,000ドルと提tí示shìされた[85]。

2019年nián8月yuè20日rì、OpenAIは、7億yì7,400万wànのパラメータ（15億yìパラメータの完wán全quánモデルの約yuē半bàn分fēnの規guī模mó）を持chíつGPT-2の縮suō小xiaŏ版bănを公gōng開kaīした[2]。

完wán全quán版băn1.5B公gōng開kaī

[編biān集jí]

しかし、GPT-2が広guăng範fànな悪è用yòngにつながるのではないかという当dāng初chūの懸xuán念niànは、現xiàn実shíのものとならなかった。The Vergeは、『AI技jì術shùがある種zhŏngの「情qíng報baò世shì紀jì末mò（infopocalypse）」をもたらすという主zhŭ張zhāngには懐huaí疑yí的deな理lĭ由yoúがある。まず第dì一yīに、わずかなコストでもっともらしい文wén章zhāngを大dà量liàngに生shēng成chéngできるプログラム、すなわち人rén間jiānが既jìに存cún在zaìしている。』 と述shùべている[86]。2019年nián11月yuèまでに、OpenAIは『これまでのところ悪è用yòngされた強qiángい証zhèng拠jùは見jiànられない』と述shùべ、2019年nián11月yuè5日rìに15億yìのパラメータを持chíつ完wán全quán版bănを公gōng開kaīした[3][14]。

限xiàn界jiè

[編biān集jí]
GPT-2は、さまざまなシナリオに対duìしてテーマに沿yánったテキストを生shēng成chéngすることができる。たとえば、ドナルド・トランプがアニメ キャラクターの惣zŏng流liú・アスカ・ラングレーを賞shăng賛zànする演yăn説shuōをしたというCNNの記jì事shìのような非feī現xiàn実shí的deなものでさえ生shēng成chéngすることができる。ここでは、1.5Bの完wán全quánモデルであっても、第dì2段duàn落luòでは文wén法făの劣liè化huàが始shĭまり、最zuì終zhōng的deには意yì味weì不bù明míngな一yī文wénが何hé度dùも繰qiaōり返fănされる出chū力lìなど、出chū力lìが長chángくなるにつれて無wú意yì味weìで反făn復fù的deなテキストを生shēng成chéngする傾qīng向xiàngが見jiànられる。

GPT-2の自zì然rán言yán語yŭテキストの生shēng成chéng能néng力lìは、おおむね高gaōく評píng価jiàされているが、特tèに段duàn落luò数shùが2段duànを超chaōえる長chángいテキストを生shēng成chéngする場cháng合héには、その欠qiàn点diănも指zhĭ摘zhaīされている。Voxは『散sàn文wénはかなり大dàまかで、ときおり非feī合hé理lĭ的deなこともあり、記jì事shìが長chángくなればなるほど一yī貫guàn性xìngが失shīわれる』と述shùべている[80]。The Vergeも同tóng様yàngに、GPT-2の文wén章zhāngは長chángいサンプルになると『話huà題tíがそれる』傾qīng向xiàngがあり、首shoŭ尾weĭ一yī貫guàn性xìngに欠qiànけると指zhĭ摘zhaīした[79]。The Register（英yīng語yŭ版băn）は、『それを読dúんだ人rén間jiānは、しばらくすると、何héかが起qĭきていることに気qìづくはずだ』と評píngし、『GPT-2は、情qíng報baòを抽choū出chūし取qŭりだすためにアルゴリズムに依yī存cúnする他tāのシステムと同tóng様yàng、質zhí問wènには答dáえていない』と述shùべている[76]。

GPT-2を導daŏ入rùするには多duōくの資zī源yuánが必bì要yaòで、完wán全quán版bănモデルの大dàきさは5ギガバイトを超chaōえるため、アプリケーションにローカルに組zŭみ込むことが難nánしく、また大dà量liàngのメモリー（RAM）を消xiaō費feìする。また、1回huíの予yŭ測cèを行xíngうと『CPUを100%の使shĭ用yòng率lwで数shù分fēn間jiān占zhān有yoŭすることがある』ほか、GPU処chŭ理lĭでも『1回huíの予yŭ測cèに数shù秒miaŏかかることがある』[6]。これらの問wèn題tíを軽qīng減jiănするために、Hugging Faceは、知zhī識shì蒸zhēng留liúを使shĭ用yòngして、『いくつかの品pĭn質zhíベンチマークで数shùポイント低dīい』ものの、『33%小xiaŏさく、2倍beì速sùい』という小xiaŏ型xíngモデルを作zuò成chéngするDistilGPT2を開kaī発fāした[6]。

実shí装zhuāngとその後hoùの研yán究jiū

[編biān集jí]

ジャーナリストによって報baòじられたGPT-2の応yīng用yòngとして、ニュース記jì事shìなどの文wén章zhāngを人rén間jiānが書shūくことを補bŭ助zhùするなどが挙jŭげられている[7]。GPT-2は、製zhì品pĭn版bănの公gōng開kaī以yĭ前qiánから、さまざまなアプリケーションやサービス、それにエンターテインメントに利lì用yòngされていた。2019年nián6月yuèにはRedditサイト内neìに、r/SubSimulatorGPT2というコミュニティ（サブレディット）が作zuòられ、さまざまなサブレディットで訓xùn練liànしたGPT-2の実shí例lì（インスタンス）が投toú稿gaŏし、互hùいのコメントに返făn信xìnすることで『r/Bitcoinが擬nĭ人rén化huàしたAIと、r/ShittyFoodPornの機jī械xiè学xué習xíに由yoú来laíする霊língが議yì論lùnする』状zhuàng況kuàngが作zuòられた[86]。同tóng年nián7月yuèまでに、GPT-2に基jīづいて、さまざまなプログラミング言yán語yŭのコード行xíngを自zì動dòng補bŭ完wánするソフトウェアが公gōng開kaīされ、ユーザーから「ゲームチェンジャー（トレンドを変biànえるできごと）」と評píngされた[87]。

2019年niánには、GPT-2を利lì用yòngし、ユーザーの入rù力lìに基jīづいて動dòng的deなテキストアドベンチャーを提tí供gōngするAI Dungeon（英yīng語yŭ版băn）が発fā表biaŏされた[88]。2021年nián現xiàn在zaì、AI Dungeonは、オプションの有yoŭ料liaòアップグレードとしてGPT-3の最zuì大dàリリースAPIへのアクセスを提tí供gōngし、無wú料liaò版bănではGPT-3の2番fān目mùに大dàきなリリースを使shĭ用yòngした[89]。AI Dungeonを中zhōng心xīnに設shè立lìされたLatitudeは、2021年niánに開kaī業yè資zī金jīn（英yīng語yŭ版băn）330万wànドルを調diaò達dáした[90]。いくつかのウェブサイトでは、GPT-2やその他tāのTransformerモデルのさまざまなインスタンスの対duì話huà的deなデモンストレーションを公gōng開kaīしている[91][92][93]。

2021年nián2月yuè、問wèn題tíを抱baòえたティーンエージャー向xiàngけの危weī機jī管guăn理lĭセンターが、カウンセラーが十shí代daìの模mó擬nĭ患huàn者zhěと会huì話huàをしてトレーニングするために、GPT-2由yoú来laíのチャットボットの使shĭ用yòngを始shĭめると発fā表biaŏした（この使shĭ用yòngは純chún粋cuìに内neì部bù目mù的deであり、GPT-2はティーンエージャー自zì身shēnと交jiaō信xìnしなかった）[94]。

脚jiaŏ注zhù

[編biān集jí]
  1. ^ Piper, Kelsey (2019年nián5月yuè15日rì). “A poetry-writing AI has just been unveiled. It's ... pretty good.”. Vox. 2020年nián11月yuè7日rì時shí点diănのオリジナルよりアーカイブ。2020年nián12月yuè19日rì閲yuè覧lăn。
  2. ^ a b Johnson, Khari (2019年nián8月yuè20日rì). “OpenAI releases curtailed version of GPT-2 language model”. VentureBeat. 2020年nián12月yuè18日rì時shí点diănのオリジナルよりアーカイブ。2020年nián12月yuè19日rì閲yuè覧lăn。
  3. ^ a b Vincent, James (2019年nián11月yuè7日rì). “OpenAI has published the text-generating AI it said was too dangerous to share”. The Verge. 2020年nián6月yuè11日rì時shí点diănのオリジナルよりアーカイブ。2020年nián12月yuè19日rì閲yuè覧lăn。
  4. ^ a b c “Better Language Models and Their Implications”. OpenAI (2019年nián2月yuè14日rì). 2020年nián12月yuè19日rì時shí点diănのオリジナルよりアーカイブ。2020年nián12月yuè19日rì閲yuè覧lăn。
  5. ^ a b Hegde, Chaitra; Patil, Shrikumar (9 June 2020). "Unsupervised Paraphrase Generation using Pre-trained Language Models". arXiv:2006.05477 [cs.CL]。
  6. ^ a b c Kaiser, Caleb (2020年nián1月yuè31日rì). “Too big to deploy: How GPT-2 is breaking servers”. Towards Data Science. 2020年nián2月yuè15日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  7. ^ a b c d e f Hern, Alex (2019年nián2月yuè14日rì). “New AI fake text generator may be too dangerous to release, say creators”. The Guardian. 2019年nián2月yuè14日rì時shí点diănのオリジナルよりアーカイブ。2020年nián12月yuè19日rì閲yuè覧lăn。
  8. ^ a b c d e f g Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilua (14 February 2019). Language models are unsupervised multitask learners. 1. オリジナルの6 February 2021時shí点diănにおけるアーカイブ。. https://web.archive.org/web/20210206183945/https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf 2020年nián12月yuè19日rì閲yuè覧lăn。. 
  9. ^ a b c d e f g h i j k l m n o p q r s “Improving Language Understanding by Generative Pre-Training”. OpenAI. pp. 12 (2018年nián6月yuè11日rì). 2021年nián1月yuè26日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè23日rì閲yuè覧lăn。
  10. ^ a b c d e f Polosukhin, Illia; Kaiser, Lukasz; Gomez, Aidan N.; Jones, Llion; Uszkoreit, Jakob; Parmar, Niki; Shazeer, Noam; Vaswani, Ashish (12 June 2017). "Attention Is All You Need". arXiv:1706.03762 [cs.CL]。
  11. ^ a b c d e Olah, Chris; Carter, Shan (8 September 2016). “Attention and Augmented Recurrent Neural Networks”. Distill 1 (9). doi:10.23915/distill.00001. オリジナルの22 December 2020時shí点diănにおけるアーカイブ。. https://web.archive.org/web/20201222104024/https://distill.pub/2016/augmented-rnns/ 2021年nián1月yuè22日rì閲yuè覧lăn。. 
  12. ^ a b c d e f Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (1 September 2014). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473 [cs.CL]。
  13. ^ a b c d e f g Luong, Minh-Thang; Pham, Hieu; Manning, Christopher D. (17 August 2015). "Effective Approaches to Attention-based Neural Machine Translation". arXiv:1508.04025 [cs.CL]。
  14. ^ a b “GPT-2: 1.5B Release” (英yīng語yŭ). OpenAI (2019年nián11月yuè5日rì). 2019年nián11月yuè14日rì時shí点diănのオリジナルよりアーカイブ。2019年nián11月yuè14日rì閲yuè覧lăn。
  15. ^ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (22 July 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165 [cs.CL]。
  16. ^ Arram (2020年nián7月yuè9日rì). “GPT-3: An AI that's eerily good at writing almost anything”. Arram Sabeti. 2020年nián7月yuè20日rì時shí点diănのオリジナルよりアーカイブ。2020年nián7月yuè31日rì閲yuè覧lăn。
  17. ^ Hao, Karen (September 23, 2020). “OpenAI is giving Microsoft exclusive access to its GPT-3 language model” (英yīng語yŭ). MIT Technology Review. https://www.technologyreview.com/2020/09/23/1008729/openai-is-giving-microsoft-exclusive-access-to-its-gpt-3-language-model/ 2020年nián9月yuè25日rì閲yuè覧lăn. ""The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI’s other models and receive its output. Only Microsoft, however, will have access to GPT-3’s underlying code, allowing it to embed, repurpose, and modify the model as it pleases."" 
  18. ^ Turing, Alan (October 1950), "Computing Machinery and Intelligence", Mind, LIX (236): 433–460, doi:10.1093/mind/LIX.236.433, ISSN 0026-4423。
  19. ^ Samuel, Arthur (1959). “Some Studies in Machine Learning Using the Game of Checkers”. IBM Journal of Research and Development 3 (3): 210–229. doi:10.1147/rd.33.0210. 
  20. ^ a b c Hancox, P.J. (1996年nián1月yuè26日rì). “SEM1A5 – Part 1 – A brief history of NLP”. University of Birmingham. 2021年nián1月yuè13日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè12日rì閲yuè覧lăn。
  21. ^ a b Nye, Mary Jo (2016). “Speaking in Tongues: Science's centuries-long hunt for a common language”. Distillations 2 (1): 40–43. オリジナルの3 August 2020時shí点diănにおけるアーカイブ。. https://web.archive.org/web/20200803130801/https://www.sciencehistory.org/distillations/magazine/speaking-in-tongues 2018年nián3月yuè22日rì閲yuè覧lăn。. 
  22. ^ Gordin, Michael D. (2015). Scientific Babel: How Science Was Done Before and After Global English. Chicago, Illinois: University of Chicago Press. ISBN 9780226000299 
  23. ^ John Hutchins. The first public demonstration of machine translation: the Georgetown-IBM system, 7th January 1954 (PDF) (Report). S2CID 132677。
  24. ^ Reifler, Erwin (February 2–5, 1960). “The solution of MT linguistic problems through lexicography.”. Proceedings of the National Symposium on Machine Translation. 
  25. ^ Hutchins, John (1997). “From first conception to first demonstration: the nascent years of machine translation, 1947–1954. A chronology.”. Machine Translation 12, 195–252 12 (3): 195–252. doi:10.1023/A:1007969630568. 
  26. ^ Winograd, Terry (1971-01-01) (英yīng語yŭ). Procedures as a Representation for Data in a Computer Program for Understanding Natural Language. hdl:1721.1/7095. オリジナルの2021-01-13時shí点diănにおけるアーカイブ。. https://web.archive.org/web/20210113121007/https://dspace.mit.edu/handle/1721.1/7095 2021年nián1月yuè12日rì閲yuè覧lăn。. 
  27. ^ “SHRDLU”. Stanford Human-Computer Interaction (HCI) Group. 2020年nián8月yuè16日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè12日rì閲yuè覧lăn。
  28. ^ Weizenbaum, Joseph (January 1966), “ELIZA – A Computer Program For the Study of Natural Language Communication Between Man And Machine”, Communications of the ACM 9 (1): 36–45, doi:10.1145/365153.365168 
  29. ^ Bassett, Caroline (2019). “The computational therapeutic: exploring Weizenbaum's ELIZA as a history of the present”. AI & Society 34 (4): 803–812. doi:10.1007/s00146-018-0825-9. 
  30. ^ Hancox, P.J. (1996年nián1月yuè26日rì). “SEM1A5 – Part 1 – The state-of-the-art”. University of Birmingham. 2021年nián1月yuè16日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè12日rì閲yuè覧lăn。
  31. ^ Howe, J. (1994年nián11月yuè). “Artificial Intelligence at Edinburgh University : a Perspective”. 2007年nián8月yuè17日rì時shí点diănのオリジナルよりアーカイブ。2007年nián8月yuè30日rì閲yuè覧lăn。 “Lighthill's [1973] report provoked a massive loss of confidence in AI by the academic establishment in the UK (and to a lesser extent in the US). It persisted for a decade ― the so-called 'AI Winter'”
  32. ^ a b Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach (2nd ed.), Upper Saddle River, New Jersey: Prentice Hall, p. 24, ISBN 0-13-790395-2, オリジナルの2011-02-28時shí点diănにおけるアーカイブ。, https://web.archive.org/web/20110228023805/http://aima.cs.berkeley.edu/ 2021年nián1月yuè12日rì閲yuè覧lăn, ""Overall, the AI industry boomed from a few million dollars in 1980 to billions of dollars in 1988. Soon after that came a period called the 'AI Winter'"" 
  33. ^ Rosenblatt, Frank (1957). “The Perceptron—a perceiving and recognizing automaton”. Report 85-460-1 (Cornell Aeronautical Laboratory). 
  34. ^ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 0-387-31073-8 
  35. ^ a b Olazaran, Mikel (1996). “A Sociological Study of the Official History of the Perceptrons Controversy”. Social Studies of Science 26 (3): 611–659. doi:10.1177/030631296026003005. JSTOR 285702. 
  36. ^ Minsky, Marvin; Papert, Seymour (1969), Perceptrons: An Introduction to Computational Geometry, MIT Press, ISBN 0-262-63022-2 
  37. ^ a b c d Wilson, Bill (2012年nián6月yuè24日rì). “The Machine Learning Dictionary”. www.cse.unsw.edu.au. 2018年nián8月yuè26日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè19日rì閲yuè覧lăn。
  38. ^ a b Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). “6.5 Back-Propagation and Other Differentiation Algorithms”. Deep Learning. MIT Press. pp. 200–220. ISBN 9780262035613. オリジナルの2018-01-27時shí点diănにおけるアーカイブ。. https://web.archive.org/web/20180127104809/http://www.deeplearningbook.org/ 2021年nián3月yuè14日rì閲yuè覧lăn。 
  39. ^ Werbos, Paul J. (1994). The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting. New York: John Wiley & Sons. ISBN 0-471-59897-6 
  40. ^ Crevier, Daniel [in 英yīng語yŭ] (1993), AI: The Tumultuous Search for Artificial Intelligence, New York, NY: BasicBooks, ISBN 0-465-02997-3。
  41. ^ Parker, D.B. (1985). Learning Logic. Cambridge MA: Massachusetts Institute of Technology. 
  42. ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986a). “Learning representations by back-propagating errors”. Nature 323 (6088): 533–536. Bibcode: 1986Natur.323..533R. doi:10.1038/323533a0. 
  43. ^ Fukushima, Kunihiko「位weì置zhìずれに影yĭng響xiăngされないパターン認rèn識shì機jī構goùの神shén経jīng回huí路lùのモデル --- ネオコグニトロン ---」『Trans. IECE』J62-A第dì10号haò、1979年nián10月yuè、658–665頁yè、 オリジナルの2021年nián1月yuè28日rì時shí点diănにおけるアーカイブ、2021年nián1月yuè20日rì閲yuè覧lăn。 
  44. ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). “Deep learning”. Nature 521 (7553): 436–444. Bibcode: 2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. 
  45. ^ a b c d e Bajpai, Akash (2019年nián2月yuè23日rì). “Recurrent Neural Networks: Deep Learning for NLP”. Towards Data Science. 2021年nián1月yuè19日rì閲yuè覧lăn。
  46. ^ ゼップ・ホッフライター; ユルゲン・シュミットフーバー (1995年nián8月yuè21日rì), Long Short Term Memory, ftp://ftp.idsia.ch/pub/juergen/fki-207-95.ps.gz , Wikidata Q98967430
  47. ^ ゼップ・ホッフライター; ユルゲン・シュミットフーバー (1997年nián), “LSTM can Solve Hard Long Time Lag Problems” (英yīng語yŭ), Advances in Neural Information Processing Systems 9, Advances in Neural Information Processing Systems, https://papers.nips.cc/paper/1215-lstm-can-solve-hard-long-time-lag-problems.pdf , Wikidata Q77698282
  48. ^ Sepp Hochreiter; Jürgen Schmidhuber (1997). “Long short-term memory”. Neural Computation 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276. オリジナルの2021-01-22時shí点diănにおけるアーカイブ。. https://web.archive.org/web/20210122144703/https://www.researchgate.net/publication/13853244_Long_Short-term_Memory 2021年nián1月yuè20日rì閲yuè覧lăn。. 
  49. ^ Graves, A.; Liwicki, M.; Fernández, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (May 2009). “A Novel Connectionist System for Unconstrained Handwriting Recognition”. IEEE Transactions on Pattern Analysis and Machine Intelligence 31 (5): 855–868. doi:10.1109/tpami.2008.137. ISSN 0162-8828. PMID 19299860. 
  50. ^ Märgner, Volker; Abed, Haikal El (July 2009). “ICDAR 2009 Arabic Handwriting Recognition Competition”. 2009 10th International Conference on Document Analysis and Recognition: 1383–1387. doi:10.1109/ICDAR.2009.256. ISBN 978-1-4244-4500-4. 
  51. ^ Olah, Chris (2015年nián8月yuè27日rì). “Understanding LSTM Networks”. 2017年nián8月yuè1日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè22日rì閲yuè覧lăn。
  52. ^ “N-gram Counts and Language Models from the Common Crawl”. pp. 3579–3584 (2014年nián5月yuè). 2021年nián1月yuè28日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè22日rì閲yuè覧lăn。
  53. ^ Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim et al. (2020). “Transformers: State-of-the-Art Natural Language Processing”. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. pp. 38–45. doi:10.18653/v1/2020.emnlp-demos.6 
  54. ^ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. pp. 19–27. arXiv:1506.06724. https://www.cv-foundation.org/openaccess/content_iccv_2015/html/Zhu_Aligning_Books_and_ICCV_2015_paper.html. 
  55. ^ a b "Our largest model, GPT-2, is a 1.5B parameter Transformer" Radford. (2019)
  56. ^ a b Tsvetkov, Yulia (2017年nián6月yuè22日rì). “Opportunities and Challenges in Working with Low-Resource Languages”. Carnegie Mellon University. 2020年nián3月yuè31日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè23日rì閲yuè覧lăn。
  57. ^ Zhu, Yukun; Kiros, Ryan; Zemel, Richard; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (22 June 2015). "Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books". arXiv:1506.06724 [cs.CV]. # of books: 11,038 / # of sentences: 74,004,228 / # of words: 984,846,357 / mean # of words per sentence: 13 / median # of words per sentence: 11
  58. ^ “A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference”. Association for Computational Linguistics (2018年nián6月yuè1日rì). 2020年nián2月yuè11日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè23日rì閲yuè覧lăn。 “At 433k examples, this resource is one of the largest corpora available for natural language inference (a.k.a. recognizing textual entailment), [...] offering data from ten distinct genres of written and spoken English [...] while supplying an explicit setting for evaluating cross-genre domain adaptation.”
  59. ^ Lai, Guokun; Xie, Qizhe; Hanxiao, Liu; Yang, Yiming; Hovy, Eduard (15 April 2017). "RACE: Large-scale ReAding Comprehension Dataset From Examinations". arXiv:1704.04683 [cs.CL]。
  60. ^ “LSDSem 2017 Shared Task: The Story Cloze Test”. Association for Computational Linguistics (2017年nián4月yuè3日rì). 2020年nián11月yuè22日rì時shí点diănのオリジナルよりアーカイブ。2021年nián1月yuè23日rì閲yuè覧lăn。 “The LSDSem’17 shared task is the Story Cloze Test, a new evaluation for story understanding and script learning. This test provides a system with a four-sentence story and two possible endings, and the system must choose the correct ending to the story. Successful narrative understanding (getting closer to human performance of 100%) requires systems to link various levels of semantics to commonsense knowledge.”
  61. ^ Wang, Alex; Singh, Amanpreet; Michael, Julian; Hill, Felix; Levy, Omar; Bowman, Samuel R. (20 April 2018). "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding". arXiv:1804.07461 [cs.CL]。
  62. ^ "a new dataset of millions of webpages called WebText ... which emphasizes document quality." Radford. (2019). Language Models are Unsupervised Multitask Learners.
  63. ^ "Our approach motivates building as large and diverse a dataset as possible in order to collect natural language demonstrations of tasks in as varied of domains and contexts as possible." Radford. (2019)
  64. ^ Trinh, Trieu H.; Le, Quoc V. (7 June 2018). "A Simple Method for Commonsense Reasoning". arXiv:1806.02847 [cs.CL]。
  65. ^ "Common Crawl ... they have significant data quality issues ... We observed similar data issues in our initial experiments with Common Crawl." Radford. (2019)
  66. ^ "emphasizes document quality. To do this we only scraped web pages which have been curated/filtered by humans." Radford. (2019)
  67. ^ "we scraped all outbound links from Reddit, a social media platform, which received at least 3 karma." Radford. (2019)
  68. ^ 他tāの多duōくのデータセットに含hánまれているので、過guò剰shèng適shì合héの原yuán因yīnとなる可kě能néng性xìngがあった
  69. ^ "a preliminary version of WebText ... which ... contains slightly over 8 million documents for a total of 40 GB of text." Radford. (2019)
  70. ^ "Layer normalization ... was moved to the input of each sub-block" Radford. (2019)
  71. ^ "an additional layer normalization was added after the final self-attention block." Radford. (2019)
  72. ^ "A modified initialization which accounts for the accumulation on the residual path with model depth ... scale the weights of residual layers at initialization by a factor of 1/√N where N is the number of residual layers." Radford. (2019)
  73. ^ "The vocabulary is expanded to 50,257." Radford. (2019)
  74. ^ "We also increase the context size from 512 to 1024 tokens" Radford. (2019)
  75. ^ "a larger batchsize of 512 is used." Radford. (2019)
  76. ^ a b Quach, Katyanna (2019年nián2月yuè14日rì). “Roses are red, this is sublime: We fed OpenAI's latest chat bot a classic Reg headline”. The Register. 2021年nián3月yuè9日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  77. ^ a b “The Staggering Cost of Training SOTA AI Models”. Synced (2019年nián6月yuè27日rì). 2020年nián11月yuè24日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  78. ^ Wiggers, Kyle (2020年nián3月yuè23日rì). “Google open-sources framework that reduces AI training costs by up to 80%”. VentureBeat. 2020年nián11月yuè26日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  79. ^ a b c d e f Vincent, James (2019年nián2月yuè14日rì). “OpenAI's new multitalented AI writes, translates, and slanders”. The Verge. 2020年nián12月yuè18日rì時shí点diănのオリジナルよりアーカイブ。2020年nián12月yuè19日rì閲yuè覧lăn。
  80. ^ a b c Piper, Kelsey (2019年nián2月yuè14日rì). “An AI helped us write this article”. Vox. 2020年nián11月yuè8日rì時shí点diănのオリジナルよりアーカイブ。2020年nián12月yuè19日rì閲yuè覧lăn。
  81. ^ Köbis, Nils; Mossink, Luca D. (1 January 2021). “Artificial intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human-written poetry”. Computers in Human Behavior 114: 106553. doi:10.1016/j.chb.2020.106553. 
  82. ^ Schwartz, Oscar (2019年nián7月yuè4日rì). “Could 'fake text' be the next global political threat?”. The Guardian. オリジナルの2019年nián7月yuè16日rì時shí点diănにおけるアーカイブ。. https://web.archive.org/web/20190716035703/https://www.theguardian.com/technology/2019/jul/04/ai-fake-text-gpt-2-concerns-false-information 2019年nián7月yuè16日rì閲yuè覧lăn。 
  83. ^ a b Vincent, James (2019年nián2月yuè21日rì). “AI researchers debate the ethics of sharing potentially harmful programs”. The Verge. 2021年nián2月yuè9日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  84. ^ a b Zhang, Hugh (2019年nián2月yuè19日rì). “OpenAI: Please Open Source Your Language Model”. The Gradient. 2021年nián1月yuè28日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè28日rì閲yuè覧lăn。
  85. ^ “OpenGPT-2: We Replicated GPT-2 Because You Can Too”. Noteworthy (2019年nián8月yuè22日rì). 2021年nián2月yuè27日rì閲yuè覧lăn。
  86. ^ a b Vincent, James (2019年nián6月yuè6日rì). “There's a subreddit populated entirely by AI personifications of other subreddits”. The Verge. 2021年nián2月yuè21日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  87. ^ Vincent, James (2019年nián7月yuè24日rì). “This AI-powered autocompletion software is Gmail's Smart Compose for coders”. The Verge. 2021年nián3月yuè9日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  88. ^ Olson, Mathew (2019年nián12月yuè17日rì). “AI Dungeon 2, the Text Adventure Where You Can do Nearly Anything, Is Now on Mobile”. 2020年nián9月yuè20日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  89. ^ Nelius, Joanna (2020年nián8月yuè3日rì). “This AI-Powered Choose-Your-Own-Adventure Text Game Is Super Fun and Makes No Sense”. Gizmodo. 2021年nián2月yuè28日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  90. ^ Ha, Anthony (2021年nián2月yuè4日rì). “AI Dungeon-maker Latitude raises $3.3M to build games with 'infinite' story possibilities”. TechCrunch. 2021年nián2月yuè21日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
  91. ^ “Write With Transformer”. 2019年nián12月yuè4日rì閲yuè覧lăn。
  92. ^ “Talk to Transformer”. 2019年nián12月yuè4日rì閲yuè覧lăn。
  93. ^ “CreativeEngines”. 2021年nián6月yuè25日rì閲yuè覧lăn。
  94. ^ “An AI is training counselors to deal with teens in crisis”. MIT Technology Review (2021年nián2月yuè26日rì). 2021年nián2月yuè27日rì時shí点diănのオリジナルよりアーカイブ。2021年nián2月yuè27日rì閲yuè覧lăn。
「https://ja.wikipedia.org/w/index.php?title=GPT-2&oldid=103322751」から取qŭ得dé