テキストマイニング

テキストマイニング（英えい: text mining）は、文字もじ列れつを対象たいしょうとしたデータマイニングのことである。通常つうじょうの文章ぶんしょうからなるデータを単語たんごや文節ぶんせつなどの単位たんいで区切くぎり、それらの出現しゅつげんの頻度ひんどや共きょう出現しゅつげんの相関そうかん、共起きょうき関係かんけい、出現しゅつげん傾向けいこう、時とき系列けいれつなどを解析かいせきすることで有用ゆうような情報じょうほうを取とり出だす、テキストデータの分析ぶんせき方法ほうほうである^[1]。計算けいさん的てきテキスト分析ぶんせき（computational text analysis）、テキストアナリシス（text analysis）と呼よぶこともあるが、情報処理じょうほうしょりの分野ぶんやではテキストマイニングと呼よばれている。

テキストデータの多おおくは形式けいしきが定さだまっておらず、また日本語にほんごは英語えいごなどと比くらべて単語たんごの境界きょうかい判別はんべつの必要ひつよう性せい（→わかち書がき）や文法ぶんぽうゆらぎが大おおきい点てんにおいて形態素けいたいそ解析かいせきが困難こんなんであったが、自然しぜん言語げんご処理しょりの発展はってんにより実用じつよう的てきな水準すいじゅんの分析ぶんせきが可能かのうとなった。テキストマイニングの対象たいしょうとしては、顧客こきゃくからのアンケートの回答かいとうやコールセンターに寄よせられる質問しつもんや意見いけん、電子でんし掲示板けいじばんやメーリングリストに蓄積ちくせきされたテキストデータなどがある^[2]。また、第だい二に次じ世界せかい大戦たいせん期きにはプロパガンダを発信はっしんしていたマスメディアの分析ぶんせきが大だい規模きぼに行おこなわれたほか、近年きんねんでは政治せいじ家かなどの演説えんぜつを分析ぶんせきすることがある。

歴史れきし

テキストを統計とうけい的てきに分析ぶんせきする分野ぶんやとして古ふるくから計量けいりょう文体ぶんたい学がくがあった。この分野ぶんやにおいて、文章ぶんしょうを構成こうせいする要素ようその特徴とくちょうを定量ていりょう的てきに分析ぶんせきし、その文章ぶんしょうの執筆しっぴつ者しゃを推定すいていする試こころみが100年ねん以上いじょう前まえにあった。最さいたる例れいは地球ちきゅう物理ぶつり学者がくしゃトマス・メンデンホールの研究けんきゅうである^[3]。

光学こうがくにおけるスペクトル分析ぶんせきを単語たんごの分析ぶんせきに適用てきよう、単語たんごの長ながさは著者ちょしゃの特徴とくちょうになることをサイエンス誌しに投稿とうこうした。ここで、単語たんごのスペクトルとは、単語たんごを構成こうせいするアルファベット数すうに着目ちゃくもくした単語たんごの分布ぶんぷを指さす。この際さい、メンデンホールはウィリアム・シェイクスピアの戯曲ぎきょくとフランシス・ベーコンの著作ちょさくも分析ぶんせきした。

この頃ころの分析ぶんせき手法しゅほうは集計しゅうけいしたいデータを目めで数かぞえカウントするという原始げんし的てきな手法しゅほうであったが、構造こうぞう化かされていないテキストデータをテキストを構成こうせいする何なんらかの要素ようそで区切くぎって構造こうぞう化かし、分析ぶんせきするという点てんでは基本きほん的てきなアイディアは現在げんざいのテキストマイニングと同様どうようである。

また、内容ないよう分析ぶんせきの分野ぶんやでは、19世紀せいきから20世紀せいき初頭しょとうに欧米おうべいで新聞しんぶんの印刷いんさつ部数ぶすうが増大ぞうだいしたことを受うけて新聞しんぶん記事きじの計量けいりょう的てき分析ぶんせきが行おこなわれるようになった。当時とうじの関心事かんしんじは、いかに価値かちのない記事きじが紙面しめんを占しめているかであった。

　20世紀せいき後半こうはん〜第だい二に次じ世界せかい大戦たいせん前後ぜんこう、社会しゃかい学がく的てきな概念がいねん（価値かち観かん、世論せろんなど）を追求ついきゅうするために新聞しんぶんの分析ぶんせきが、またドイツとその同盟どうめい国こくについてマスメディアの分析ぶんせき、すなわちプロパガンダ分析ぶんせきが大だい規模きぼに行おこなわれた。この時代じだいに社会しゃかい科学かがくの理論りろん・概念がいねんに加くわえて心こころ理学りがく実験じっけん、市場いちば調査ちょうさの分野ぶんやから統計とうけい手法しゅほうが持もち込こまれた。現在げんざいはこれらがテキストマイニングを理論りろん的てきに支ささえている。

その後ご、研究けんきゅうでは質問しつもん紙しにおける自由じゆう回答かいとうなど調査ちょうさの補助ほじょ的てき手段しゅだんとして、あるいは大量たいりょうの資料しりょうや小説しょうせつの処理しょりをするために、実務じつむ的てき・商業しょうぎょう的てき分野ぶんやでも利用りようされるようになった。

テキストマイニングは1990年代ねんだい中頃なかごろまではテキスト解析かいせき、ドキュメント解析かいせきなどと呼よばれ、1990年代ねんだい後半こうはんからはテキストデータマイニング（text data mining）などと呼よばれるようになり、それ以降いこうテキストマイニングと呼よばれるのが一般いっぱん的てきになった。現在げんざいではテキストアナリティクスまたはテキストアナリシスと呼よぶ傾向けいこうにある。

分析ぶんせき

ここで、内容ないよう分析ぶんせきの分析ぶんせき手法しゅほうには、KHCoderを開発かいはつした樋口ひぐちによれば、Correlational アプローチとDictionary-based アプローチが存在そんざいするという^[4]。前者ぜんしゃは、分析ぶんせきを（全すべて）多た変量へんりょう解析かいせきに任まかせ、自動的じどうてきにテキストの分類ぶんるい・発見はっけんさせる手法しゅほうで、分析ぶんせき者しゃが介在かいざいする余地よちのない手法しゅほうである。後者こうしゃは分析ぶんせき者しゃが設定せっていしたコーディング・ルールに従したがって分類ぶんるいしていく手法しゅほうである。

樋口ひぐちはテキストマイニングにおいて、この2つのアプローチを統合とうごうした「接合せつごうアプローチ」を提唱ていしょうする^[4]。すなわち、Correlational アプローチにならい、恣意しい的てきなものを一切いっさい交まじえずにデータを要約ようやく・提示ていじする段階だんかい１と、Dictionary-based アプローチにならい、コーディングルール作成さくせいによって理論りろん仮説かせつないし問題もんだい意識いしきを明示めいじ的てきに操作そうさする段階だんかい2とを明確めいかくに峻別しゅんべつした上うえで、これらを行いき来きする方法ほうほうである。

このアプローチにより、Correlational アプローチの持もつ、分析ぶんせき者しゃの持もつ理論りろんや問題もんだい意識いしきを操作そうさ化かし分析ぶんせきする上じょうでの限界げんかいをDictionary-based アプローチに許ゆるされている自由じゆうな発想はっそうで補おぎなうことができる。またDictionary-based アプローチの持もつ、分析ぶんせきが恣意しい的てきになってしまう可能かのう性せいがあるという欠点けってんもCorrelational アプローチを組くみ合あわせ多た変量へんりょう解析かいせきによってデータ全体ぜんたいを要約ようやく・提示ていじした上うえでコーディングルールを公開こうかいするという手続てつづきを踏ふめば第三者だいさんしゃが研究けんきゅうを把握はあくしやすくなり、信頼しんらい性せい・客観きゃっかん性せいの向上こうじょうに繋つながる。

なお、この考かんがえ方かたはKHCoderの想定そうていする分析ぶんせきの方法ほうほうとして取とり入いれられている。

これを踏ふまえて、一般いっぱん的てきには準備じゅんび作業さぎょう（テキストの電子でんし化か、表記ひょうきゆれなどのクリーニング）、加工かこうと処理しょり（形態素けいたいそ解析かいせき、構文こうぶん解析かいせき、意味いみ解析かいせき等ひとし）、データ集計しゅうけいと分析ぶんせき（データの抽出ちゅうしゅつと分析ぶんせき、視覚しかく化か）を行おこなう。

テキストの視覚しかく化か

テキストを何なんらかの単位たんいで分解ぶんかいし、その要素ようその頻度ひんどを集計しゅうけいし、それをまとめたり、視覚しかく化かしたりすることは、テキストマイニングにおいて最もっとも基本きほん的てきな作業さぎょうである。

一般いっぱん的てきにとられる手法しゅほうは棒ぼうグラフや折おれ線せんグラフに限かぎらず、ワードクラウド、共起きょうきネットワーク、クラスター分析ぶんせき、多次元たじげん尺度しゃくど構成こうせい法ほう（MDS）、対応たいおう分析ぶんせき（数量すうりょう化かIII類るい）、自己じこ組織そしき化かマップ、機械きかい学習がくしゅう（ナイーブベイズ）などの多た変量へんりょう解析かいせきが手法しゅほうが用もちいられる。

視覚しかく化か作業さぎょうはKHCoderなどのソフトで分析ぶんせきと同時どうじに行おこなうことができることが多おおい。