ハルシネーション (人工じんこう知能ちのう)

『ニューヨーク・タイムズ』の実在じつざいしない記事きじを要約ようやくするChatGPT

ハルシネーション (英語えいご: hallucination) とは、学習がくしゅうしたデータからは正当せいとう化か出来できない回答かいとうを人工じんこう知能ちのうが堂々どうどうと生成せいせいする現象げんしょうである。この語かたりは幻覚げんかくを意味いみする語かたりから取とられたもので、人工じんこう知能ちのうが幻覚げんかくを見みているかのように回答かいとうすることから名付なづけられた。コンファビュレーション（confabulation, 作さく話ばなし） 、ディルージョン（delusion, 妄想もうそう） ともいう。

概要がいよう

例たとえば、テスラの収益しゅうえきに関かんする知識ちしきがないチャットボットがハルシネーションに陥おちいると、もっともらしいと判断はんだんしたランダムな数字すうじ（130.6億おくドルのような）を内部ないぶ的てきにピックアップして、間違まちがっているにもかかわらず「テスラの収益しゅうえきは130.6億おくドルだ」と繰くり返かえすようになる。そしてこのとき、人工じんこう知能ちのうの内部ないぶではこの数字すうじが自身じしんの創造そうぞうの産物さんぶつだということに気付きづいている兆候ちょうこうがみられない。

こうした現象げんしょうは、精神せいしん医学いがくにおける人間にんげんの幻覚げんかく（あるいは作さく話ばなし・妄想もうそう）とのアナロジーからその名なが付つけられている。ただし人間にんげんにとっての幻覚げんかくとは「対象たいしょうなき知覚ちかく」とも呼よばれ、感覚かんかく器官きかんを通つうじて知覚ちかくしている「対象たいしょうが存在そんざいしないにもかかわらず真しんの知覚ちかくと区別くべつできない知覚ちかく体験たいけんをすること」が一般いっぱん的てきな定義ていぎとされる。それに対たいして人工じんこう知能ちのうの幻覚げんかくとは、どのような学習がくしゅうデータとも整合せいごうしない回答かいとうをAIが堂々どうどうと生成せいせいすることである。そのため、幻覚げんかくではなく作さく話ばなし（confabulation）という表現ひょうげんを好このんで使つかう研究けんきゅう者しゃもいる。

2022年ねんは、ChatGPTやMicrosoft Copilotのような大だい規模きぼ言語げんごモデル (LLM) が公開こうかいされたこともあり、人工じんこう知能ちのうのハルシネーションについて以前いぜんにも増まして注目ちゅうもくが集あつまった年としになった。こうした言語げんごモデルが生成せいせいするコンテンツは「ソシオパス」を思おもわせるほど、一見いっけんもっともらしく聞きこえるのに実際じっさいには無意味むいみで無む作為さくい的てきな誤あやまりが入はいり込こむ現象げんしょうが起おこり、一般いっぱんの利用りよう者しゃからも不満ふまんの声こえが上あがっている。また別べつの形かたちのハルシネーションとして、人工じんこう知能ちのうが自分じぶんが何なにであるかを忘わすれてしまい人間にんげんだと主張しゅちょうするケースもある。

このため2022年ねんには『ニューヨーク・タイムズ』などの大手おおての新聞しんぶんが、大だい規模きぼ言語げんごモデルをベースにしたチャットボットが今いま以上いじょうに定着ていちゃくすると、何なにも知しらないユーザーがチャットボットの出力しゅつりょく結果けっかをうのみにしてしまい、様々さまざまな問題もんだいが起おこると警鐘けいしょうを鳴ならしている。

また2023年ねんの時点じてんで、アナリストたちは大だい規模きぼ言語げんご学習がくしゅうをめぐるテクノロジーにおいて、人工じんこう知能ちのうが頻繁ひんぱんにハルシネーションに陥おちいってしまう現象げんしょうは、深刻しんこくな問題もんだいになるだろうと予想よそうしている。

分析ぶんせき

アメリカの雑誌ざっし『Wired』によると、さまざまな研究けんきゅう者しゃが人工じんこう知能ちのうのハルシネーションを高次こうじ元もと統計とうけいまたは学習がくしゅうデータの不備ふびに由来ゆらいする現象げんしょうとして位置付いちづけている。物体ぶったい検出けんしゅつを例れいにとり、人間にんげんが「間あいだ違ちがった」人工じんこう知能ちのうの回答かいとうを「ハルシネーション」として分類ぶんるいしている場合ばあいでも、実際じっさいにはその回答かいとうは学習がくしゅうデータ上じょうは正当せいとう化かされうる、と考かんがえている研究けんきゅう者しゃもいる。もっと言いえば、人工じんこう知能ちのうは正ただしい回答かいとうを出だしていたのに、人間にんげんのレビュワーはそれを見み誤あやまってしまう可能かのう性せいがあるということである。例たとえば、人間にんげんには典型てんけい的てきな犬いぬにしかみえない「敵対てきたい的てき」画像がぞうも、人工じんこう知能ちのうからみれば、本物ほんものの猫ねこ（の画像がぞう）にしか現あらわれない微小びしょうなパターンが含ふくまれているということがある。人工じんこう知能ちのうは人間にんげんには知覚ちかくすることが不可能ふかのうな、現実げんじつ世界せかいの視覚しかく的てきパターンを検出けんしゅつしているからである。

一方いっぽうで、こうした見方みかたに対たいして異議いぎを唱となえる研究けんきゅう者しゃもいる。 例たとえば、言語げんごモデルが表層ひょうそう的てきな相関そうかんに偏向へんこうしてしまい、現実げんじつの世界せかいのありように対たいして頑健がんけん（ロバスト）でなくなる敵対てきたい的てき学習がくしゅうをしてしまうことがあり得えるという反論はんろんである。

自然しぜん言語げんご処理しょり

自然しぜん言語げんご処理しょりの世界せかいにおいて、人工じんこう知能ちのうのハルシネーションは「与あたえられたデータ (source content) からは信しんじがたい、あるいはナンセンスなコンテンツが生成せいせいされること」と定義ていぎされている。OpenAIの説明せつめいによれば、ハルシネーションにはクローズドドメインとオープンドメインに分類ぶんるいされる。与あたえられた範囲はんい（コンテクスト）の中なかだけで利用りよう可能かのうな情報じょうほうを使用しようするように指示しじされたモデルが、その範囲はんいに存在そんざいしない情報じょうほうを作つくってしまう場合ばあい（例たとえばある新聞しんぶん記事きじを要約ようやくせよと言いわれたのに、要約ようやくには記事きじにない情報じょうほうが含ふくまれているなど）がクローズドドメインなハルシネーションであり、入力にゅうりょくされた特定とくていのコンテクストを参照さんしょうせずに、森羅万象しんらばんしょうについて誤あやまった情報じょうほうを堂々どうどうと答こたえる現象げんしょうがオープンドメインなハルシネーションである。

データや表現ひょうげん間あいだの変換へんかん（エンコード・デコード）の過程かていにおいてエラーが生しょうじると、ハルシネーションが起おきる可能かのう性せいがある。人工じんこう知能ちのうのレスポンスを多様たよう化かさせる目的もくてきでの学習がくしゅうもハルシネーションを起おこしやすい。正解せいかいラベル付つきの要約ようやくデータが（事実じじつに即そくしており正ただしいにもかかわらず）、データセットにおいては「要約ようやく」されたとされるラベル付つきデータに直接的ちょくせつてきには基もとづいていないデータセットを用もちいて人工じんこう知能ちのうが学習がくしゅうしている場合ばあいにも、ハルシネーションが起おこりうる。より大おおきなデータセットになると、パラメータにより調整ちょうせいされた（学習がくしゅうしたシステムのパラメータにより固有こゆうの）知識ちしきが問題もんだいとなりうる。システムがその知識ちしきを過信かしんしてしまうことでハルシネーションが作つくり出だされるからである。

GPT-3のようなシステムでは、人工じんこう知能ちのうは過去かこに入力にゅうりょくされた一連いちれんの単語たんごをもとに次つぎの単語たんごを出力しゅつりょくして文章ぶんしょうを生成せいせいする。進行しんこう中ちゅうの応答おうとうには、過去かこに人工じんこう知能ちのう自身じしんが生成せいせいした文章ぶんしょうをもとに出力しゅつりょくされた単語たんごが含ふくまれるため、応答おうとうが長文ちょうぶんになるほどハルシネーションが起おこる可能かのう性せいは加速度かそくど的てきに大おおきくなる。

自然しぜん言語げんご処理しょりモデルが、ハルシネーションを起おこすことにはさまざまな原因げんいんが考かんがえられる。例たとえば、

• データに起因きいんするハルシネーション： 与あたえられたデータに相違そういが生しょうじている。大だい規模きぼな学習がくしゅう用ようデータセットを使つかう場合ばあいに起おこりやすい。
• 学習がくしゅうに起因きいんするハルシネーション: データセットの相違そういが小ちいさい場合ばあいでもハルシネーションは起おこる。その場合ばあいはモデルが学習がくしゅうするときのやり方かたに由来ゆらいしている。このタイプの場合ばあいは、さらに様々さまざまな理由りゆうが考かんがえられる。
  • トランスフォーマーからのデコードにエラーがある
  • モデルが以前いぜんに生成せいせいした過去かこの一連いちれんの文章ぶんしょうからバイアスが生しょうじている
  • パラメータ群ぐんに基もとづいてモデルが知識ちしきをエンコードする過程かていでバイアスが生しょうじている

事例じれい

Meta

2022年ねん8月がつ、Metaはリリース中ちゅうだったチャットボットのBlenderBot 3が、ハルシネーションを生しょうじやすいシステムだという注意ちゅうい喚起かんきを行おこなっている（Metaの表現ひょうげんによれば「真実しんじつではないのに自信じしんにあふれた発言はつげん」をする）。

2022年ねん11月15日にち、Metaは言語げんごモデルGalacticaを公開こうかいした。このモデルは「科学かがく的てきな知識ちしきを記憶きおくし、結むすびつけ、判断はんだんする」ようようデザインされていた。しかしGalacticaは文章ぶんしょうを生成せいせいしながら「タコを信しんじてはいけない！言語げんごモデルはテキストを幻惑げんわくさせる傾向けいこうがある」といった警告けいこくを行おこなうこともあった。アバターを作つくるための論文ろんぶんを書かくように言いわれたGalaticaが、実在じつざいする関連かんれん領域りょういきの研究けんきゅう者しゃの存在そんざいしない架空かくうの論文ろんぶんを引用いんようするケースもあった。Metaはリリース直後ちょくごの同年どうねん11月がつ17日にちに、不快ふかいだったり不正確ふせいかくなコンテンツを生成せいせいするという理由りゆうで、Galacticaの公開こうかいを中止ちゅうしした。

ChatGPT

2022年ねん12月にベータバージョンが公開こうかいされたOpenAIのChatGPTは、大だい規模きぼ言語げんごモデルであるGPT-3.5がベースになっている。ウォートン・スクールの教授きょうじゅであるイーサン・モリックは、ChatGPTについて「博識はくしきで人ひとに喜よろこんでもらうのが大好だいすきだが、ときどき相手あいてに嘘うそを吐はくインターン生せい」に例たとえている。

データサイエンティストのテレサ・クバッカは、あえて「逆ぎゃくサイクロイダル・エレクトロマグノン」(cycloidal inverted electromagnon) という言葉ことばをでっちあげて、ChatGPTにこの（存在そんざいしない）現象げんしょうについて尋たずねるという実験じっけんを行おこなった。それに対たいしてChatGPTは、もっともらしい出典しゅってんを元もとにもっともらしい回答かいとうを創作そうさくしたため、クバッカは自分じぶんが偶然ぐうぜん実在じつざいする現象げんしょうを入力にゅうりょくしてしまったのかと調しらべざるを得えなくなった。オレン・エツィオーニをはじめとする研究けんきゅう者しゃたちは、クバッカのように、このソフトウェアが「非常ひじょうに感心かんしんさせるが、実際じっさいには死しぬほど間違まちがっている回答かいとう」をすることを確たしかめている。

CNBCがChatGPTに「The Ballad of Dwight Fry」（アリス・クーパーの実在じつざいする曲きょく）の歌詞かしについて尋たずねたときは、ChatGPTの回答かいとうには本物ほんものの歌詞かしより、ChatGPTが創作そうさくした歌詞かしのほうが多おおく含ふくまれていた。ニューブランズウィック州しゅうについて聞きかれたChatGPTは、おおむね正ただしい回答かいとうを続つづけたが、タレントのサマンサ・ビーについて「ニューブランズウィック州しゅう出身しゅっしんの人物じんぶつ」（実際じっさいはトロント出身しゅっしん）に分類ぶんるいするという誤あやまりをしていた 。天文てんもん物理ぶつり学がくにおける磁性じせいについて聞きかれたときは、自分じぶんから「ブラックホールの（強力きょうりょくな）磁場じばは、そのすぐそばで働はたらく極きわめて巨大きょだいな重力じゅうりょくによって生うみ出だされます」と回答かいとうした（実際じっさいには降着こうちゃく円盤えんばんをもたないブラックホールには、脱毛だつもう定理ていりとして知しられるように、まったく磁場じばが存在そんざいしないと考かんがえられている） 。アメリカのビジネス雑誌ざっし『ファスト・カンパニー』がテスラの最終さいしゅう四半期しはんきに関かんするニュース記事きじの生成せいせいを依頼いらいしたときには、ChatGPTは整合せいごう性せいのある記事きじを作つくり出だしたが、そこで挙あげられている会社かいしゃの数字すうじは捏造ねつぞうされたものだった。

間あいだ違ちがった前提ぜんていを与あたえて、ChatGPTがその前提ぜんていを元もとにした作さく話ばなしをするかどうかを調しらべたパターンもある。カナダの宗教しゅうきょう学がく者ものハロルド・カワードの「ダイナミックな規範きはん性せいというアイデア」について聞きかれたChatGPTは、彼かれが『ダイナミックな規範きはん性せい～聖書せいしょ的てき・神学しんがく的てき解釈かいしゃくの一いち例れい～』という本ほんを書かいており、宗教しゅうきょう的てきな原理げんりも実際じっさいには常つねに変化へんかの過程かていにあるという説明せつめいをしている。ChatGPTはそれが事実じじつかと問とい詰つめられても、この本ほんが実在じつざいするという主張しゅちょうを曲まげなかった。恐竜きょうりゅうが文明ぶんめいを築きずいていたことの証拠しょうこを求もとめられたときは、恐竜きょうりゅうの使つかっていた道具どうぐの化石かせきが残のこっていて「石いしに彫刻ちょうこくをするなどの原始げんし的てきな形態けいたいの美術びじゅつさえ発展はってんさせていた恐竜きょうりゅうもいる」と主張しゅちょうした。「研究けんきゅう者しゃは最近さいきんになって、小麦粉こむぎこから作つくる美味おいしい揚あげ菓子かしであるチュロスが…在宅ざいたく手術しゅじゅつにおいて理想りそう的てきな道具どうぐ（である）ということを発見はっけんした」というプロンプト（回答かいとうのための作業さぎょう要領ようりょう）を与あたえられたChatGPTは、「学術がくじゅつ誌しの『サイエンス』に掲載けいさいされた研究けんきゅう」によると、チュロスの生地きじは柔やわらかいので届とどきにくい場所ばしょにも形かたちを変かえれば届とどく手術しゅじゅつ用よう器具きぐであり、香かおりもよく患者かんじゃを落おち着つかせる作用さようがある、と回答かいとうした。

2023年ねんの時点じてんで、アナリストたちは人工じんこう知能ちのうがハルシネーションに陥おちいりがちな点てんは大だい規模きぼ言語げんごモデルというテクノロジーにとっての大だい問題もんだいだと考かんがえている。Googleの経営けいえい陣じんも、ハルシネーションによって人工じんこう知能ちのうが弱体じゃくたい化かしてしまう現象げんしょうは、ChatGPTのライバルであるGoogle Bardにとって「根本こんぽん的てきな」課題かだいとして位置付いちづけている。

他たの人工じんこう知能ちのう

「ハルシネーション」という概念がいねんは自然しぜん言語げんご処理しょり以外いがいの分野ぶんやにも適用てきようされる。人工じんこう知能ちのうが出力しゅつりょくした確信かくしん的てきな回答かいとうで、しかし学習がくしゅうデータからは正当せいとう化かできないようなものは、いずれもハルシネーションと捉とらえうる。

雑誌ざっし『WIRED』による2018年ねんの記事きじによれば、（研究けんきゅう者しゃによる概念がいねん実証じっしょうのための攻撃こうげきを除のぞき）世間せけんでの実際じっさいの攻撃こうげきは記録きろくされていないにもかかわらず、消費しょうひ者しゃ向むけのガジェットなどが、人工じんこう知能ちのうをハルシネーション状態じょうたいにし得える敵対てきたい的てきな攻撃こうげきを受うける可能かのう性せいがあると「ちょっとした議論ぎろん」になっている。例たとえば、自動じどう運転うんてんシステムにおいて一時いちじ停止ていしの交通こうつう標識ひょうしきをコンピュータが認識にんしきできないようにする、人間にんげんにとって問題もんだいない音声おんせいで構成こうせいされたオーディオ・クリップをソフトウェアが "evil dot com" と認識にんしきする、などがありえる。Google Cloud Platformは、2人ふたりの男性だんせいがスキーをしている画像がぞうを、91%の確かく率りつで「1匹ひきの犬いぬ」として認識にんしきした。

2023年ねんに行おこなわれた、GPTをベースにしたMicrosoftのチャットボットであるBing AI Chatのデモンストレーションでも、AIがさまざまなハルシネーション状態じょうたいに陥おちいったが、プレゼンターはそれに気きづいていなかった。

「Bing AI Chat#問題もんだい点てん」も参照さんしょう

緩和かんわ策さく

ハルシネーションがどういう現象げんしょうなのかは、まだはっきりとはわかっていない。そのためこの現象げんしょうが起おこりにくくするための研究けんきゅうが現在進行形げんざいしんこうけいで続つづけられている。しかし特とくに言語げんごモデルはハルシネーションを起おこすだけでなく、この問題もんだいを軽減けいげんするためにデザインされたモデルのほうがむしろハルシネーションを強つよめることもわかってきている。

関連かんれん項目こうもく

• 人工じんこう知能ちのう
  • 自然しぜん言語げんご処理しょり
  • 大だい規模きぼ言語げんごモデル
  • AIアライメント
  • プロンプトエンジニアリング
  • チャットボット
    • ChatGPT / Bing AI Chat / Bard
• 今年ことしの新語しんご - 2023年度ねんどの2位いに選出せんしゅつされた