グーグル、大だい規模きぼ言語げんごモデル「PaLM」のAPIを発表はっぴょう

2023年ねん03月がつ15日にち 18時じ00分ふん更新こうしん

文ぶん● 田口たぐち和裕かずひろ

　グーグルは3月がつ14日にち（現地げんち時間じかん）、大だい規模きぼ言語げんごモデル（LLM）「PaLM」のAPIを発表はっぴょう。当面とうめんはプライベート・プレビューを通つうじて一部いちぶの開発かいはつ者しゃのみに提供ていきょうされるが、近日きんじつ中ちゅうにウェイティングリストも公開こうかいされるという。

パラメーター数すうは最大さいだい5400億おく

　PaLM（Scaling Language Modeling with Pathways）はグーグルの研究けんきゅう機関きかんGoogle Researchが2022年ねん4月がつに発表はっぴょうしたLLM。開発かいはつ者しゃは「PaLM API」を呼よび出だすことで、学習がくしゅう済ずみのPaLMが持もつ文章ぶんしょう生成せいせい、会話かいわ、要約ようやく、分類ぶんるいといった様々さまざまな機能きのうを利用りようすることができるようになる。

　グーグルの代表だいひょう的てきなLLMには2021年ねんに発表はっぴょうされた「LaMDA（Language Model for Dialogue Applications）」もあるが、こちらは会話かいわに特とく化かしたモデルであり、PaLMはLLM本来ほんらいのもっと幅広はばひろい用途ようとでの利用りようを想定そうていしている。

　PaLMのニューラルネットワークの規模きぼは最大さいだい5400億おくパラメーターとなっており、Meta「LLaMA」の最大さいだい650億おくパラメーター、OpenAI「GPT-3」の最大さいだい1750億おくパラメーターを大おおきく上回うわまわっている。（同日どうじつ発表はっぴょうされたOpenAIの「GPT-4」はパラメーター数すうを明あきらかにしていない）。

NLPタスクによる評価ひょうかの結果けっか

　PaLMの能力のうりょくを質疑しつぎ応答おうとう、文脈ぶんみゃく内ない読解どっかい、文章ぶんしょう完成かんせい、常識じょうしき推論すいろんといった29の英語えいご自然しぜん言語げんご処理しょり(NLP)タスクで評価ひょうかしたところ、28タスクでGPT-3、LaMDAといった先行せんこうLLMの性能せいのうを上回うわまわったという。

パラメーター数すうが多おおいほど賢かしこくなるというデモ

　巨きょ大言たいげん語ごモデルはパラメーターの数かずが多おおいほど性能せいのうが向上こうじょうするとされておりグーグルはそのメリットを強調きょうちょうするが、そのぶん必要ひつようとされる処理しょり能力のうりょくも跳はね上あがりマシンコストが増大ぞうだいするというデメリットもある。

　対称たいしょう的てきに、Metaが提供ていきょうするLLaMAはパラメーター数すうを減へらすことによって単体たんたいGPUでも動作どうさすることをメリットにしている。

　当初とうしょAPIで公開こうかいされるのは「サイズと機能きのうの面めんで効率こうりつ的てきなモデル」とされており、5400億おくパラメーターよりもスリムなモデルになるようだ。

　また、PaLMにプロンプトの反復はんぷく、合成ごうせいデータによるデータセットの増強ぞうきょう、カスタムモデルのチューニングといった特定とくていのタスクを実行じっこうさせるための「MakerSuite」と呼よばれる新あたらしいプロトタイピングツールも発表はっぴょうしている。

Google CloudでPaLMを利用りようする

　さらに、Google CloudでPaLMを利用りようできるようにするために、機械きかい学習がくしゅうモデルやAIアプリを構築こうちく・デプロイするためのAI開発かいはつプラットフォーム「Vertex AI」の大だい規模きぼアップデートも行おこなわれた。現在げんざいはテキストや画像がぞうを生成せいせいする基礎きそモデルを提供ていきょうしているが、将来しょうらい的てきには音声おんせいや動画どうがにも対応たいおうするという。