(Translated by https://www.hiragana.jp/)
冗長性 (情報理論) - Wikipedia コンテンツにスキップ

冗長じょうちょうせい (情報じょうほう理論りろん)

出典しゅってん: フリー百科ひゃっか事典じてん『ウィキペディア(Wikipedia)』

冗長じょうちょうせい(じょうちょうせい、えい: Redundancy)とは、情報じょうほう理論りろんにおいて、あるメッセージを転送てんそうするのに使つかわれているビットすうからそのメッセージの実際じっさい情報じょうほう必須ひっすなビットすういたである。冗長じょうちょう冗長じょうちょうりょうとも。おおまかにえば、あるデータを転送てんそうするさい無駄むだ使つかわれている部分ぶぶんりょう相当そうとうする。このましくない冗長じょうちょうせい排除はいじょ削減さくげんする方法ほうほうとして、データ圧縮あっしゅくがある。ぎゃくノイズのある通信つうしん容量ようりょう有限ゆうげん通信つうしんあやま検出けんしゅつ訂正ていせいおこな目的もくてき冗長じょうちょうせい付与ふよするのが、チェックサムハミング符号ふごうなどである。

定量ていりょうてき定義ていぎ

[編集へんしゅう]

データの冗長じょうちょうせい表現ひょうげんするにあたって、まず情報じょうほうげんエントロピーりつ(レート)が記号きごうごとのエントロピーの平均へいきんであることに注目ちゅうもくする。メモリをもたない情報じょうほうげんでは、これはたんかく記号きごうのエントロピーだが、おおくのかくりつ過程かていではつぎのようになる。

これは n 記号きごう結合けつごうエントロピーnったものの n無限むげんだいになったときの極限きょくげんである。情報じょうほう理論りろんでは、言語げんごの「レート」や「エントロピー」をあつかうことがおおい。これはたとえば、情報じょうほうげん英語えいごなどの言語げんごぶんである場合ばあいには適切てきせつである。メモリのない情報じょうほうげんでは、その逐次ちくじてきメッセージれつ相互そうご依存いぞんまったくないため、レートは定義ていぎから となる。

言語げんごまたは情報じょうほうげん絶対ぜったいレート(absolute rate)は単純たんじゅんつぎのようになる。

これは、メッセージ空間くうかんあるいはアルファベットの濃度のうど(cardinality)の対数たいすうである。このしきを「ハートレー関数かんすう (Hartley function)」とぶこともある。これがそのアルファベットで転送てんそう可能かのう情報じょうほう最大さいだいのレートとなる。対数たいすうそこ測定そくてい単位たんい考慮こうりょして決定けっていされる。情報じょうほうげんにメモリがなく、一様いちよう分布ぶんぷであるとき、絶対ぜったいレートは実際じっさいのレートとひとしい。

以上いじょうから、絶対ぜったい冗長じょうちょうせい絶対ぜったい冗長じょうちょうりょう)はつぎのように定義ていぎされる。

これはつまり、絶対ぜったいレートと実際じっさいのレートのである。

相対そうたい冗長じょうちょうせい相対そうたい冗長じょうちょうりょう)とび、可能かのう最大さいだいデータ圧縮あっしゅくあらわしている。すなわち、ファイルサイズがどれだけ削減さくげんできるかということと等価とうかである。冗長じょうちょうせいたいをなす概念がいねんとして効率こうりつ(efficiency)があり、あらわされる。したがって、 である。メモリのない一様いちよう分布ぶんぷ情報じょうほうげんは、冗長じょうちょうせいがゼロで効率こうりつが100%であり、圧縮あっしゅくできない。

冗長じょうちょうせい表現ひょうげん

[編集へんしゅう]

2つのかくりつ変数へんすうの「冗長じょうちょうせい」の尺度しゃくどとして、相互そうご情報じょうほうりょうあるいはその正規せいきがたがある。多数たすうかくりつ変数へんすう冗長じょうちょうせい尺度しゃくどとしては、合計ごうけい相関そうかん(total correlation)がある。

圧縮あっしゅくみデータの冗長じょうちょうせいは、 のメッセージを圧縮あっしゅくしたときの期待きたいされるなが とそのエントロピー あらわされる。ここで、データはエルゴードてき定常ていじょうてきであると仮定かていしている。つまり、メモリのない情報じょうほうげんである。レートの 増大ぞうだいするにしたがってちいさくなるが、実際じっさい はそうならない。しかし、エントロピーが有限ゆうげんなメモリのない情報じょうほうげんでは、理論りろんじょう上限じょうげんが 1 となる。

参考さんこう文献ぶんけん

[編集へんしゅう]
  • Fazlollah M. Reza. An Introduction to Information Theory. New York: McGraw-Hill, 1961. New York: Dover, 1994. ISBN 0-486-68210-2
  • B. Schneier, Applied Cryptography: Protocols, Algorithms, and Source Code in C. New York: John Wiley & Sons, Inc., 1996. ISBN 0-471-12845-7

関連かんれん項目こうもく

[編集へんしゅう]