日本語にほんご処理しょり

日本語にほんご処理しょり（にほんごしょり）は、自然しぜん言語げんご処理しょりの下位かい分類ぶんるいのひとつで、自然しぜん言語げんごのひとつである日本語にほんごをコンピュータに処理しょりさせる技術ぎじゅつのこと。

歴史れきし

アルファベット中心ちゅうしんの欧米おうべいではタイプライターやテレタイプ端末たんまつ、各種かくしゅのターミナルを経へてパーソナルコンピュータ上うえの端末たんまつエミュレータ、ワープロソフト、DTPなどが普及ふきゅうした。日本語にほんごはわかち書がきなしの漢字かんじ仮名がな交まじり表記ひょうきが一般いっぱん的てきなため、和文わぶんタイプライターを経へて1950年代ねんだいには漢字かんじテレタイプが端末たんまつとしても使用しようされた。

1972年ねんには日本経済新聞にほんけいざいしんぶんグループと日本にっぽんIBMの共同きょうどう開発かいはつで世界せかい初はつのコンピュータを利用りようした新聞しんぶん製作せいさくシステム ANNECS（アネックス）が稼働かどうし、更さらに1980年ねんには朝日新聞あさひしんぶんが日本にっぽんIBMと共同きょうどう開発かいはつしたNELSON（ネルソン）が稼働かどうした。これらはメインフレームと専用せんよう端末たんまつを含ふくむIBM漢字かんじシステムで、日本語にほんごの新聞紙しんぶんし面めんに必要ひつようなかな漢字かんじ文ぶんの入力にゅうりょく、表示ひょうじ、禁則きんそく処理しょりなどに対応たいおうした。

並行へいこうして1960年代ねんだいから1970年代ねんだいにかけて九州大学きゅうしゅうだいがく、沖電気おきでんき、NHK、NTT、大阪大学おおさかだいがくなどでかな漢字かんじ変換へんかんの技術ぎじゅつが研究けんきゅうされ、1978年ねんには東芝とうしばが初はつの日本語にほんごワードプロセッサのJW-10を発表はっぴょうした。

またパーソナルコンピュータでの日本語にほんご入力にゅうりょくシステムにはインプット メソッド エディタ（IME、当時とうじはFEPとも）が普及ふきゅうした。Mac以外いがいでは、日本語にほんごの高速こうそくな表示ひょうじには各社かくしゃ独自どくじ仕様しようのハードウェアであるテキストVRAMが使用しようされたが、1990年ねんに登場とうじょうしたDOS/VやMicrosoft Windowsなどのグラフィカルユーザインタフェース(GUI)環境かんきょうの普及ふきゅうにより、世界せかいのデファクトスタンダードであるPC/AT互換ごかん機きが日本にっぽんでも一般いっぱん的てきとなった。

言語げんご学がく・国文法こくぶんぽう学がくとの関連かんれん

音声おんせい入出力にゅうしゅつりょくなどは音声おんせい学がくなどの言語げんご学がく的てき要素ようそを含ふくむ。しかし現在げんざいのところ、日本語にほんご処理しょりはテキストデータによる入出力にゅうしゅつりょくが中心ちゅうしんとなっているため、やや関連かんれんは薄うすい。いわゆる学校がっこう文法ぶんぽうとも（特とくに動詞どうしの活用かつようなどについては）距離きょりがある。学校がっこう文法ぶんぽうは国学こくがく（本ほん居きょ春はる庭にわなど）の影響えいきょうもあって五十音ごじゅうおん図ずを基盤きばんにしており、同時どうじに橋本はしもと進吉しんきちは活用かつよう表ひょうを学生がくせい自身じしんの「気きづき」を促うながすための素材そざいとして捉とらえていたため、機械きかい学習がくしゅうなどを行おこなわなければ、コンピュータの動作どうさにたいして正確せいかくに反映はんえいさせることは難むずかしい。そこで、日本語にほんご処理しょりにおける日本語にほんご文法ぶんぽうは、「音素おんそ」「指標しひょう音おん」「形態素けいたいそ」「活用かつよう語尾ごび」といった独自どくじの用語ようごが使つかわれており、学校がっこう文法ぶんぽうとはかなり異質いしつなものになっている。

とはいえ日本語にほんご教育きょういくとの相性あいしょうは悪わるくない。具体ぐたい例れいとしては、「書かく」は音素おんそベースで書かくならば「kak-a」（「ない」「ぬ」「ん」に接続せつぞく）「kak-i」（「ます」に接続せつぞく。連用形れんようけい）「kak-u」（体言たいげん。連体れんたい形がた）「kak-e」（「ば」。いわゆる仮定かてい形がた。正確せいかくには已然いぜん形がた）「kak-o」（「う」。未然みぜん形がた）となり、語幹ごかんは「kak」であり、「kai-ta」「kai-te」の場合ばあいには語幹ごかんの末尾まつび音おんの「k」が消失しょうしつ（あるいは「i」に変化へんか）する、と説明せつめいできるが、学校がっこう文法ぶんぽうにおいては「書かく」の活用かつようは五十音ごじゅうおん図ずに基もとづくため「五ご段だん活用かつようカ行ぎょう」とされており、この説明せつめいと整合せいごうさせようとすると煩瑣はんさになる。これに対たいして日本語にほんご教育きょういくでは、日本語にほんごを母語ぼごとしない学生がくせいを対象たいしょうにしているため、「漢字かんじロろーマ字まじ交まじり文ぶん」を経へて「かな書がき」の習得しゅうとくを経へて「漢字かんじかな交まじり文ぶん」にするというプロセスになじみやすい。

したがって、日本語にほんご処理しょりではひらがなをロろーマ字まじに変換へんかんしてから形態素けいたいそ解析かいせきを行おこない、その結果けっかをひらがなに戻もどすと簡単かんたんになるのだが、和わ欧おう混こん植うえ（一ひとつのテキストに和文わぶんと欧文おうぶんが混在こんざいするもの）などへの対応たいおうが複雑ふくざつになる。そのため音素おんそベースの文法ぶんぽう記述きじゅつを五十音ごじゅうおん図ずベースの記述きじゅつに変更へんこうすると、およそ四よん倍ばい程度ていどに膨ふくらむ。

技法ぎほう

日本語にほんご処理しょりに関かんしては、「長尾ちょうびの法則ほうそく」他たいくつか知しられているが、根幹こんかん的てき・基幹きかん的てきなものとして数学すうがく基礎きそ論ろんの島内しまうち剛一ごういちによる「島内とうない式しきロろーマ字まじかな変換へんかん」がある。

すなわち、

[文法ぶんぽう属性ぞくせいA] - {"パターンマッチング文字もじ列れつX"|"変換へんかん後ごの文字もじ列れつY"} - [文法ぶんぽう属性ぞくせいB];

といった行くだりの並ならびによって、文字もじ列れつに対たいするパターンマッチングによって文字もじ列れつの変換へんかんを行おこなうという手法しゅほうである。「sa・si・su・se・so」と「shi」、「ta・ti・tu・te・to」と「chi・tsu」の両方りょうほうをサポートするための記述きじゅつの面倒臭めんどうくささはあるが、変換へんかん精度せいどは高たかい。ただし、変換へんかん結果けっかとしてのデータ構造こうぞうはPERTにおける「ネットワーク図ず」（いわゆる、束たばと位相いそう同型どうけいな半はん順序じゅんじょ構造こうぞうと位相いそう同型どうけいなデータ構造こうぞう）になるため、そうしたタイプのデータ構造こうぞうを扱あつかえるプログラマが稀少きしょうであるという問題もんだいがある。

課題かだい

マッチングパターンの記述きじゅつはファイル上じょう一いち行ぎょうで書かくことができる。その点てんについてはPrologに近ちかい。ただし小規模しょうきぼのプログラムにおいては問題もんだいがないが、実行じっこう順序じゅんじょが指定していされておらず、出力しゅつりょく結果けっかであるネットワーク構造こうぞうが正まさしく半はん順序じゅんじょ構造こうぞうになっているかについての検証けんしょうをどう行おこなうかという課題かだいがある。反面はんめん、文法ぶんぽう記述きじゅつには実行じっこう順序じゅんじょに対たいする規制きせいがないため、複数ふくすうのファイルを実行じっこう時じに（動的どうてきに）切きり替かえることができる。このとき、「巡回じゅんかい参照さんしょうがあるかどうか」を動的どうてきにチェックする（この場所ばしょが以前いぜん通とおったところであるかをチェックする）か静的せいてきにチェックする（あらかじめ、文法ぶんぽう定義ていぎにおいてヌルストリングとマッチした場合ばあいに巡回じゅんかい参照さんしょうがないかどうかをチェックする）かによって実行じっこう効率こうりつが変かわってくるため、実装じっそう上じょうの判断はんだんが必要ひつようになる。

このとき、有効ゆうこうなのは「文字もじ列れつの何なに文字もじ目めか」という距離きょり空間くうかんを持もちこむことであるが、マッチング文字もじ列れつがヌルストリングであった場合ばあいに問題もんだいが起おこりうるという点てんである。実例じつれいとしては、「書かいている」を「書かいてる」と略りゃくした場合ばあい、「いる」の語幹ごかん「い（i）」が省略しょうりゃくされているとして文法ぶんぽう記述きじゅつを行おこなうと、「動詞どうしの連用形れんようけいは用言ようげんに係かかる」という規則きそくと競合きょうごうし、「書かいて」と「る」の間あいだに無限むげん個この省略しょうりゃくされた「（い）」があると解釈かいしゃくされてシステムが落おちるという事例じれいがあった。なお、このケースでは動詞どうしの連用形れんようけい過去かこまたは完了かんりょう形がたの活用かつよう語尾ごびに「いる」の省略形しょうりゃくけいを追加ついかすることで回避かいひした。同おなじく補助ほじょ動詞どうしである「おく」（置おいとく）「ゆく」（持もってく）では、語幹ごかんにあたる「ok」「ik」「yuk」が省略しょうりゃくされても文法ぶんぽう記述きじゅつと交絡しないので、こうした問題もんだいは発生はっせいしない。

脚注きゃくちゅう

参考さんこう文献ぶんけん

• 『日本語にほんご処理しょり機能きのう』 - コトバンク