『FFVII リメイク』は自動デバッグで、休日、夜間問わず、毎日数百回も通しプレイ中。ゲームのバグを自動で検知するシステムを開発【CEDEC 2020】

　2020年ねん9月がつ2日にち～4日にちまで、CEDEC公式こうしきサイトのオンライン上じょうにて開催かいさいされた日本にっぽん最大さいだいのコンピュータエンターテインメント開発かいはつ者しゃ向むけのカンファレンスCEDEC 2020。

広告こうこく

　本ほん記事きじでは、1日にち目めにおこなわれた『ファイナルファンタジーVII リメイク』（以下いか、『FFVII リメイク』）のデバッグに関かんするセッション“"FINAL FANTASY VII REMAKE"における自動じどうQAシステムの構築こうちくと運用うんよう”をリポート。

　本ほんセッションで語かたられたのは自動じどうQAシステムについて。まずQAとは、Quality Assuranceの略称りゃくしょうで、日本語にほんごで言いえば、品質ひんしつ保証ほしょう。ゲーム開発かいはつにおいては、ゲームが正ただしく動作どうさしているか、バグが発生はっせいしないか、検証けんしょうする仕事しごと・部門ぶもん・チームのことを指さす。ゲームファンにとっては、デバッグと言いったほうが伝つたわりやすいかもしれない。つまり、自動じどうQAシステムとは、自動じどうでデバッグをおこなうシステムということだ。

　セッションには、スクウェア・エニックスのAIエンジニアを務つとめる太田おおた健一郎けんいちろう氏しが登壇とうだんした。

ゲームに最適さいてき化かした自動じどうQAシステムを目指めざして

　ゲームというのは、そもそもランダム要素ようその塊かたまりである。プレイヤーがどこへ行いくのか、敵てきが出現しゅつげんしどこで倒たおされるのかなど、それはプレイヤーの操作そうさによるものであり、出だされる結果けっかはすべてランダムだ。また、開発かいはつ中ちゅうタイトルというものは、ゲームデザイン自体じたいもバランス調整ちょうせいや仕様しよう変更へんこうにともない、ゲーム自体じたいが日々ひび変かわっていくもの。

　従来じゅうらいも存在そんざいする、基本きほん的てきな自動じどうQAシステムであるキャプチャ＆リプレイという方法ほうほうは、人ひとが操作そうさしたものを記録きろくして、その再生さいせいをくり返かえすというものだ。従来じゅうらいトライ＆エラーをくり返かえすシステムでは、『FFVII リメイク』の多岐たきに渡わたるランダム要素ようそや、日々ひび開発かいはつが進すすむゲームの変化へんかへの対応たいおうが難むずかしいということから、内うち製せいのシステムを構築こうちくすることに決定けっていした。

　今回こんかい『FFVII リメイク』で自動じどうQAシステムは、各かく章しょうと全ちょん章あきらの通とおしプレイを記録きろく・再生さいせいでき、その中なかから、バグなどを検知けんちできるシステムを構築こうちくし、プログラマーなどでなくとも使用しようできるものを目指めざした。また、技術ぎじゅつ的てきにはゲーム的てきな部分ぶぶんを検証けんしょうする記録きろく・生成せいせいと、汎用はんよう的てきな自動じどうリプレイの記録きろく・再生さいせいを分離ぶんり。汎用はんよう自動じどうリプレイで検証けんしょうが難むずかしいところは、そのシーン専用せんようにカスタマイズした記録きろく・再生さいせい機能きのうを利用りようする方向ほうこう性せいを目指めざしたという。

　セッションでは実際じっさいにプレイ映像えいぞうを通とおして記録きろく・再生さいせいする映像えいぞうが披露ひろうされた。バトルはすべてダメージが9999になるので、バトル自体じたいの検証けんしょうは関与かんよしていない様子ようす。ただし、最後さいごの1体たいを倒たおすとゲームがクラッシュしてしまう、ということも少すくなくないため、すべての敵てきを倒たおすようにしているのだとか。

　この自動じどうQAシステムで、記録きろく・再生さいせいに関かんするバグが出でた場合ばあいは、自動じどうQAシステム自体じたいのバグなので、自動じどうQAシステムチームが対応たいおう。ただしそれが解析かいせきの結果けっか、ゲームに関かんするバグが関与かんよしていた場合ばあいは、『FFVII リメイク』開発かいはつチームへバグを報告ほうこく。また、ゲーム進行しんこうが止とまってしまうなど直接的ちょくせつてきなバグは、そのまま『FFVII リメイク』開発かいはつチームへと報告ほうこくされる。

　自動じどうQAシステムで再現さいげん性せいの高たかいバグに遭遇そうぐうすると、自動じどうでメール通知つうちが送おくられるようになっているそうだ。メールには該当がいとう箇所かしょのスクリーンショットと、動画どうがへのリンクが張はられるようになっているため、すぐに確認かくにんができるとのこと。

　もうひとつの機能きのうとして、無限むげんに該当がいとうする章しょうを無限むげんにリプレイし続つづけるという機能きのうがあるそうで、これは頻度ひんどの低ひくいバグが出でるまで無限むげんにプレイし続つづけるというもの。実際じっさいの成果せいかとして、4日間にちかんずっとリプレイをさせて、2回かい/260回かいの確かく率りつで出現しゅつげんするバグを発見はっけんできたという。

　すべてのリプレイ時じにおけるアクションは、すべてサーバー側がわからの判断はんだんと命令めいれいで下くだされているそうで、たとえばカットシーンが出でたらスキップ、記録きろく時じに出現しゅつげんしたものが再生さいせい時じに出現しゅつげんしなくても、それはランダム要素ようそなのでエラー報告ほうこくをしないなど、細こまかな要素ようそで制御せいぎょしているそうだ。

　また、たとえばクラウドが通路つうろを走はしっている際さいに、もし記録きろくされたルートにキャラクターが立たち、道みちなどを塞ふさいでしまった場合ばあいは、正ただしい経路けいろを辿たどるように自動じどうで経路けいろに戻もどろうとするようになっているとのこと。

　宝たから箱ばこを開あけたり、敵てきを倒たおしたりとゲームを進すすめ、各かく章しょうの通とおしプレイを記録きろく。それをそのまま再生さいせいするのではなく、バトル時じにはバトル専用せんようでオートで戦たたかう機能きのうが働はたらき、宝たから箱ばこの周辺しゅうへんでは自動的じどうてきに宝たから箱ばこを探さがして開あけるというシステムが組くみ込こまれているそうで、通とおしプレイの操作そうさがすべてそのまま反映はんえいされるというわけではない。

　たとえばバトルは近ちかづいて攻撃こうげきし9999ダメージが出でるようにはなっているが、魔法まほうしか通用つうようしない敵てきも出現しゅつげんするため、ときどき魔法まほうでも攻撃こうげきするという。また、物語ものがたりを進すすめるのに必要ひつような調しらべる場所ばしょやキャラクターとの会話かいわは、周囲しゅういを検索けんさくしてインタラクトするようになっているとのこと。

　そのほかにも、キャラクターについて行いく必要ひつようがある場所ばしょでは、そのキャラクターを追跡ついせきするシステムが働はたらいたり、バレットが通路つうろを破壊はかいしながら進すすむ場所ばしょでは、バレットが先さきに破壊はかいが必要ひつような場所ばしょをすべて破壊はかいし、それから経路けいろを進すすむというシステムを用意ようい。ほかにも各かくミニゲームなども、専用せんようのシステムで対応たいおうしているとのこと。

構築こうちくしたシステムの結果けっかは？

　自動じどうQAシステムを使用しようし、実際じっさいの成果せいかはどうだったのか、というまとめに。バグチェックというのはゲームが完成かんせいしてからではないとすべて試ためすことができない。マスターROMを提出ていしゅつするまでのあいだに、すべての章しょうを試ためすことはできなかったそうだ。

　1日にちあたり300回かいの通とおしテストプレイを自動じどうでおこない、マスター提出ていしゅつ直前ちょくぜんにはゲーム全体ぜんたいの安定あんてい性せい向上こうじょうを狙ねらった自動じどうテストプレイを実施じっし。マスター提出ていしゅつ後ごに、11章しょう～18章しょうの後半こうはんの自動じどうテストプレイ、全ちょん章あきら通とおしリプレイができるようになったそうだ。そのおかげもあってか、ゲーム発売はつばい後ごにいくつかのパッチが配布はいふされている。

　なお、重要じゅうような問題もんだいがないかつねに知しらべる必要ひつようがあるため、全ちょん章あきら通どおしのリプレイはいまでも続つづけているという。

　成果せいかはあったものの、運用うんよう上じょうにはいくつか問題もんだいがあったそうだ。今回こんかい新規しんきに制作せいさくした自動じどうQAシステムは、『FFVII リメイク』と同時どうじ進行しんこうで開発かいはつを進すすめたもの。そのため、『FFVII リメイク』のバグか、自動じどうQAシステム自体じたいのバグなのか見極みきわめるのが難むずかしかったそうだ。

　また、一部いちぶ対応たいおうしていない機能きのうがあるそうで、たとえば坂さかを滑すべり降おりるシーンでは、落下らっかしてしまうと元もとの場所ばしょに戻もどるようになっている。しかし自動じどうQAシステムでは、もし落おちてしまった場合ばあいに対応たいおうできないという。ほかにも、ミニゲームが豊富ほうふなため専用せんようシステムをイチイチ構築こうちくする必要ひつようがあったり、『FFVII リメイク』の内部ないぶ構造こうぞう自体じたいがかなり複雑ふくざつなので、当初とうしょの目標もくひょう通どおりとはいかず、解析かいせき自体じたいはプログラマー以外いがいには難むずかしいものになってしまったのだとか。

　総評そうひょうとしては、QAスタッフの稼働かどう時間じかん外がい、休日きゅうじつ、夜間やかんだろうと1日にち最高さいこう600回かいの全ちょん章あきら通とおしプレイを保証ほしょうできることや、人間にんげんでは見みつけにくいレアなバグの検出けんしゅつや再現さいげんも可能かのうとなった。また、ゲームの操作そうさ自体じたいは会社かいしゃで動うごいているが、システムの命令めいれい自体じたいは外部がいぶから可能かのうなので、昨今さっこんの新型しんがたコロナウイルス問題もんだいの中なかでも、リモートワークで対応たいおうできたそうだ。

　ゲームの規模きぼが膨大ぼうだいになるにつれ、デバッグもさらに大変たいへんになっていくゲーム業界ぎょうかい。もはや自動じどうQAシステムはなくてはならない存在そんざいになるだろう。この記事きじを読よんでいる最中さいちゅうにも、自動じどうQAシステムはつねに『FFVII リメイク』をプレイし続つづけているはず……。自動じどうQAシステムさん、お疲つかれ様さまです。