研究けんきゅう / Research

言語げんご理解りかい研究けんきゅうの着実ちゃくじつな進展しんてんに貢献こうけん

コンピューターは人間にんげんの言葉ことばを理解りかいしているか？

　私わたしは、「言葉ことばの意味いみがわかる」とはどのようなことなのか、言語げんご理解りかいという曖昧あいまいなものに形かたちを与あたえたいという思おもいから、自然しぜん言語げんご処理しょり（人間にんげんの言葉ことばをコンピューターで処理しょりする技術ぎじゅつ）の研究けんきゅうをしています。
　この分野ぶんやの大おおきな目標もくひょうのひとつは、人間にんげんのように文章ぶんしょうを理解りかいするシステムを作つくることです。一時期いちじきの人工じんこう知能ちのうブームでは、「やがて人ひとの知能ちのうを超こえる人工じんこう知能ちのうが出現しゅつげんする」などと話題わだいになりましたが、実際じっさいの機械きかい学習がくしゅうはそれほど簡単かんたんなものではありません。人工じんこう知能ちのうの性能せいのうに誤解ごかいがあると、社会しゃかいで応用おうようするときに大おおきな問題もんだいが起おこるかもしれません。誇張こちょうのない正確せいかくな性能せいのうが示しめされる必要ひつようがあります。
　システムの性能せいのうを試ためす方法ほうほうの１ひとつに、国語こくごの文章ぶんしょう題だいのような形式けいしきの質問しつもんに答こたえさせる「機械きかい読解どっかいタスク」があります。近年きんねんは機械きかい学習がくしゅう技術ぎじゅつの進展しんてんにともなって数すう万まん単位たんいの問題もんだいを備そなえたデータセットが（主おもに英語えいごで）多おおく提案ていあんされ、世界中せかいじゅうの大学だいがくやIT企業きぎょうの研究けんきゅう者しゃがそれらを使つかってシステムの開発かいはつを進すすめています。中なかには人間にんげんと同どう程度ていどの性能せいのうと評価ひょうかされるシステムも登場とうじょうしていますが、このような評価ひょうか方法ほうほうには課題かだいが残のこっています。

機械きかい読解どっかいタスクの正答せいとう率りつだけでは、理解りかい度どは評価ひょうかできない

　それは主おもに２ふたつあり、1つは、システムが課題かだい文ぶんをどの程度ていど理解りかいしているかその詳細しょうさいがわからないことです。性能せいのうは質問しつもんの正答せいとう率りつでしか評価ひょうかされないことが多おおいため、文章ぶんしょう理解りかいに必要ひつような基盤きばん的てきな能力のうりょく（指示しじ表現ひょうげんが何なにを指さすか当あてることや、否定ひてい文ぶん・条件じょうけん文ぶんが論理ろんり的てきに理解りかいできることなど）があるかどうか、具体ぐたい的てきにわからないのです。
　もう１ひとつは、システムが文章ぶんしょうを理解りかいせずに正答せいとうしている可能かのう性せいがあることです。たとえば課題かだい文ぶんの末尾まつびに「質問しつもん文ぶんによく似にた紛まぎらわしい文ぶん （ただし本来ほんらいの正答せいとうは変かわらない）」を人手ひとでで作成さくせいして追加ついかすると、システムの性能せいのうが大おおきく低下ていかすることがあります。このような場合ばあいは、質問しつもん文ぶんに出でてくる単語たんごを課題かだい文ぶんから探さがして、それが近ちかくにある答こたえを選えらんで正答せいとうしている可能かのう性せいがあります（近年きんねんの機械きかい学習がくしゅうモデルは特とくにそういうことが得意とくいです）。

高度こうどな言語げんご理解りかいがいらない質問しつもんが多おおい

　私わたしはこれらの課題かだいを解決かいけつするため、1つ目めについては、読解どっかいに必要ひつような能力のうりょくを10ほど定義ていぎして、その質問しつもんを解とくのにどの能力のうりょくが必要ひつようになるか人手ひとでで分析ぶんせきできるようにしました。2つ目めについては、「質問しつもん文ぶんとの単語たんごの一致いっちを見みるだけで簡単かんたんに解とけてしまう質問しつもん」を特定とくていできるようにしました。
　また両者りょうしゃをまとめる形かたちで、複雑ふくざつな推論すいろん・能力のうりょくが必要ひつようとされる可能かのう性せいのある質問しつもんを特定とくていするための自動的じどうてきな手法しゅほうを提案ていあんしました。たとえば「課題かだい文ぶんのそれぞれの文ぶんの語順ごじゅんをランダムに並ならべ替かえる」ということをします。その状態じょうたいでもし質問しつもんが解とけるならば、その質問しつもんは文章ぶんしょうの主語しゅご・述語じゅつごなどが正確せいかくに分わからなくても解とけてしまうと考かんがえられます。
　このような手法しゅほうをいくつか考案こうあんして既存きそんのデータセットに適用てきようしたところ、これまで正解せいかいされている質問しつもんの多おおくは、推論すいろん・文法ぶんぽうの観点かんてんから高度こうどな言語げんご理解りかいが要求ようきゅうされているわけではなさそうである、という観察かんさつを得えました。

具体ぐたい的てきな読解どっかい能力のうりょくが把握はあくできる評価ひょうかシステムの構築こうちくをめざす

　今後こんごはこのような手法しゅほうを応用おうようして、高度こうどな言語げんご理解りかいを必要ひつようとしない簡単かんたんな質問しつもんを取とり除のぞき、基盤きばん的てきな読解どっかい能力のうりょくの有無うむを特定とくていできるよう、実際じっさいのデータセット上じょうで分析ぶんせきを進すすめます。「この質問しつもんが解とけることで何なにができるようになったのか」がなるべく明あきらかにできるような評価ひょうか方法ほうほうを確立かくりつして、言語げんご理解りかい研究けんきゅうの着実ちゃくじつな進展しんてんに貢献こうけんしたいと考かんがえます。

人間にんげんの言葉ことばが理解りかいできる機械きかいをどう評価ひょうかするか　菅原すがわら 朔さく　国立こくりつ情報じょうほう学がく研究所けんきゅうじょ 研究けんきゅう紹介しょうかい

リンク

• [NII Today] 動うごき始はじめたLLM勉強べんきょう会かい (100-3)
• [NII SEEDS]言語げんご理解りかいシステムの長所ちょうしょや短所たんしょを明確めいかくにし説明せつめい性せい・信頼しんらい性せいの高たかいタスクを設計せっけいする