ニューラル機械きかい翻訳ほんやく

ニューラル機械きかい翻訳ほんやく（ニューラルきかいほんやく、英えい: neural machine translation、NMT）は、人工じんこうニューラルネットワークを使用しようして単語たんごの並ならびの尤ゆう度ど（ゆうど、確かくからしさ）を予測よそくする機械きかい翻訳ほんやくへのアプローチであり、通常つうじょうは単一たんいつの統合とうごうモデルで文ぶん全体ぜんたいをモデル化かする。

特徴とくちょう

これは、従来じゅうらいの統計とうけい的てき機械きかい翻訳ほんやく（英えい: statistical machine translation、SMT）モデルで必要ひつようとされるメモリのごく一部いちぶしか必要ひつようとしない。さらに、従来じゅうらいの翻訳ほんやくシステムとは異ことなり、翻訳ほんやく性能せいのうを最大さいだい化かするために、ニューラル翻訳ほんやくモデルのすべての部分ぶぶんが一緒いっしょに（エンド・ツー・エンドで）訓練くんれんされる。

歴史れきし

ディープラーニングの応用おうようは、1990年代ねんだいに音声おんせい認識にんしきで最初さいしょに登場とうじょうした。機械きかい翻訳ほんやくでのニューラルネットワークの利用りように関かんする最初さいしょの科学かがく論文ろんぶんは2014年ねんに登場とうじょうし、その後ごの数すう年間ねんかんで多おおくの進歩しんぽ（大だい語彙ごいNMT、画像がぞうキャプションへの応用おうよう、サブワードNMT、多言たげん語ごNMT、マルチソースNMT、Character-dec NMT、Zero-Resource NMT、Google、Fully Character-NMT、2017年ねんのZero-Shot NMT）があった。2015年ねんに、公開こうかいの機械きかい翻訳ほんやくコンテスト (OpenMT '15) でNMTシステムが初はじめて登場とうじょうした。WMT'15にも初はじめてNMTシステムが登場とうじょうし、翌年よくねんにはすでに入賞にゅうしょう者しゃの中なかにNMTシステムの90％が含ふくまれた。

仕組しくみ

ニューラル機械きかい翻訳ほんやくは、個別こべつに設計せっけいされたサブコンポーネントを使用しようするフレーズベースの統計とうけい的てきアプローチとは異ことなる。ニューラル機械きかい翻訳ほんやく (NMT) は、統計とうけい的てき機械きかい翻訳ほんやく (SMT) で従来じゅうらい行おこなわれてきたことを超こえる抜本ばっぽん的てきなステップではない。その主おもな出発しゅっぱつ点てんは、単語たんごと内部ないぶ状態じょうたいのためのベクトル表現ひょうげん（「埋うめ込こみ」、「連続れんぞく空間くうかん表現ひょうげん」）の使用しようである。モデルの構造こうぞうは、フレーズベースのモデルよりも単純たんじゅんである。個別こべつの言語げんごモデル、翻訳ほんやくモデル、並ならび替がえモデルはなく、一いち度どに1つの単語たんごを予測よそくする単一たんいつのシーケンスモデルのみがある。しかし、このシーケンス予測よそくは、ソースセンテンス（原文げんぶん）全体ぜんたいと、すでに生成せいせいされたターゲットシーケンス全体ぜんたいを条件じょうけんとしている。NMTモデルでは、深層しんそう学習がくしゅう（ディープラーニング）と特徴とくちょう学習がくしゅうを利用りようしている。

単語たんご列れつモデリングは、最初さいしょはリカレントニューラルネットワーク (RNN) を用もちいて行おこなわれるのが一般いっぱん的てきであった。エンコーダとして知しられる双方向そうほうこうリカレントニューラルネットワークは、ターゲット言語げんごの単語たんごを予測よそくするために使用しようされるデコーダと呼よばれる第だい2のRNNのソースセンテンスをエンコードするため、ニューラルネットワークによって使用しようされる。リカレントニューラルネットワークは、長ながい入力にゅうりょくを単一たんいつのベクトルにエンコードする際さいに困難こんなんに直面ちょくめんする。これは、出力しゅつりょくの各かく単語たんごを生成せいせいしている間あいだにデコーダが入力にゅうりょくのさまざまな部分ぶぶんに焦点しょうてんを合あわせることができる注意ちゅういメカニズム（英えい: attention mechanism）によって補正ほせいできる。重複じゅうふく訳やくや訳わけ抜ぬけにつながる過去かこのアライメント情報じょうほうを無視むしするなど、このような注意ちゅういメカニズムの問題もんだいに対処たいしょするカバレッジモデル（英えい: Coverage Models）がさらに存在そんざいする。

畳たたみ込こみニューラルネットワーク（英えい: Convolutional Neural Networks、Convnets）は、原理げんり的てきには長ながい連続れんぞくシーケンスに対たいしていくらか優すぐれているが、いくつかの弱点じゃくてんがあったために当初とうしょは使用しようされなかった。これらは「注意ちゅういメカニズム」を使用しようすることにより、2017年ねんにうまく補償ほしょうされた。

注意ちゅういベースのモデルであるトランスフォーマーアーキテクチャは、いくつかの言語げんごペアの主要しゅようアーキテクチャとして存続そんぞくしている。