情報じょうほう量りょう

情報じょうほう量りょう（じょうほうりょう）やエントロピー（英えい: entropy）は、情報じょうほう理論りろんの概念がいねんで、あるできごと（事象じしょう）が起おきた際さい、それがどれほど起おこりにくいかを表あらわす尺度しゃくどである。ありふれたできごと（たとえば「風かぜの音おと」）が起おこったことを知しってもそれはたいした「情報じょうほう」にはならないが、逆ぎゃくに珍めずらしいできごと（たとえば「曲きょくの演奏えんそう」）が起おこれば、それはより多おおくの「情報じょうほう」を含ふくんでいると考かんがえられる。情報じょうほう量りょうはそのできごとが本質ほんしつ的てきにどの程度ていどの情報じょうほうを持もつかの尺度しゃくどであるとみなすこともできる。

なおここでいう「情報じょうほう」とは、あくまでそのできごとの起おこりにくさ（確かく率りつ）だけによって決きまる数学すうがく的てきな量りょうでしかなく、個人こじん・社会しゃかいにおける有用ゆうよう性せいとは無関係むかんけいである。たとえば「自分じぶんが宝たからくじに当あたった」と「見知みしらぬAさんが宝たからくじに当あたった」は、前者ぜんしゃの方ほうが有用ゆうような情報じょうほうに見みえるが、両者りょうしゃの情報じょうほう量りょうは全まったく同おなじである（宝たからくじが当あたる確かく率りつは所与しょよ条件じょうけん一定いっていのもとでは誰だれでも同おなじであるため）。

自己じこ情報じょうほう量りょう（自己じこエントロピー）と平均へいきん情報じょうほう量りょう（エントロピー）

それぞれのできごとの情報じょうほう量りょうだけでなく、それらのできごとの情報じょうほう量りょうの平均へいきん値ちも情報じょうほう量りょうと呼よぶ。両者りょうしゃを区別くべつする場合ばあいには、前者ぜんしゃを自己じこ情報じょうほう量りょう（自己じこエントロピーとも）、後者こうしゃを平均へいきん情報じょうほう量りょう（エントロピーとも）と呼よぶ。

自己じこ情報じょうほう量りょう

事象じしょう $E$ が起おこる確かく率りつを $P(E)$ とするとき、事象じしょう $E$ が起おこったことを知しらされたとき受うけ取とる自己じこ情報じょうほう量りょう $I(E)$ は、以下いかで定義ていぎされる：

$I(E)=\log {\frac {1}{P(E)}}=-\log P(E)$

確かく率りつは $0\leq P(E)\leq 1$ なので自己じこ情報じょうほう量りょう $I(E)$ は非負ひふである。また対数たいすうの単調たんちょう増加ぞうか性せいにより、起おこりにくい事象じしょう（＝生起せいき確かく率りつが低ひくい事象じしょう）の情報じょうほう量りょうほど値ねが大おおきい。

対数たいすうの底そことして何なにを選えらんでも情報じょうほう量りょうの値ねが定数ていすう倍ばい変かわるだけなので本質ほんしつ的てきな差さはない。慣習かんしゅう的てきに底そこに2を選えらぶことが多おおい。底そこが2の場合ばあい、$1/2^{n}$ の確かく率りつで起おこる事象じしょうの情報じょうほう量りょうは $n$ である。

直観ちょっかん的てき意味いみ

整数せいすう$u$に対たいし、$u$の対数たいすう$\log _{m}u$は$m$進すすむ法ほうでの$u$の桁数けたすうにほぼ等ひとしい値ねを表あらわす。したがって、確かく率りつ$1/u$で起おこる事象じしょうの情報じょうほう量りょうは、ほぼ$u$の桁数けたすうになる。

情報じょうほう量りょうの加法かほう性せい

情報じょうほう量りょうは加法かほう性せいを持もつ。すなわち独立どくりつな事象じしょうAとBに対たいし、事象じしょう「AもBも起おこる」の情報じょうほう量りょうは、Aの情報じょうほう量りょうとBの情報じょうほう量りょうの和やわである。これは以下いかで証明しょうめいされる。

$I(A,B)=-\log P(A,B)=-\log(P(A)\cdot P(B))=-(\log P(A)+\log P(B))=I(A)+I(B)$

例たとえば、52枚まいのトランプから無作為むさくいに1枚まいを取とり出だすという試行しこうを考かんがえる。「取とり出だしたカードはハートの4である」という事象じしょうの情報じょうほう量りょうは、前述ぜんじゅつの定義ていぎから log 52 であると分わかる。ここで、「取とり出だしたカードのスートはハートである」という事象じしょうと「取とり出だしたカードの数字すうじは4である」という事象じしょうの二ふたつを考かんがえると、前者ぜんしゃの情報じょうほう量りょうは log 4、後者こうしゃは log 13 である。この両者りょうしゃの和わは log 4 + log 13 = log (4×13) = log 52 となり、「取とり出だしたカードはハートの4である」という事象じしょうの情報じょうほう量りょうと等ひとしい。これは「独立どくりつした情報じょうほうの和わが、全体ぜんたいの情報じょうほう量りょうと一致いっちする」という直感ちょっかん的てき要請ようせいに合致がっちする。

導出どうしゅつ

情報じょうほう量りょうに対たいする直感ちょっかん的てき要請ようせいには「発生はっせい確かく率りつが低ひくいほど大おおきく（単調たんちょう減少げんしょう性せい）」「確かく率りつに関かんして連続れんぞく的てきに変化へんかし（連続れんぞく性せい）」「独立どくりつ同時どうじ事象じしょうの情報じょうほう量りょうが周辺しゅうへん事象じしょうの情報じょうほう量りょう和やわに等ひとしい（加法かほう性せい）」の三さん条件じょうけんが挙あげられる。この3条件じょうけんを満みたす関数かんすうはコーシーの函数かんすう方程式ほうていしきを利用りようすることで$C\log p$と一意いちいに求もとまる。よって情報じょうほう量りょうの定義ていぎは上記じょうきの3条件じょうけんから一意いちいに導出どうしゅつできる。典型てんけい的てきには対数たいすうの底そこを2としてp=1/2で1となるようにCを設定せってい（C=-1）する。

平均へいきん情報じょうほう量りょう（エントロピー）

$(\Omega ,{\mathcal {F}},P)$ を確かく率りつ空間くうかんとする。全ぜん事象じしょう Ωおめが の分割ぶんかつ $A_{i}$ が与あたえられたとき、各かく事象じしょう $A_{i}\in \Omega$ の自己じこ情報じょうほう量りょう $I(A_{i})$ で定義ていぎした値ね

$H(P)=\sum _{A_{i}\in \Omega }P(A_{i})\ I(A_{i})=-\sum _{A_{i}\in \Omega }P(A_{i})\log P(A_{i})$

を確かく率りつ測度そくど P のエントロピー H(P) と呼よぶ（平均へいきん情報じょうほう量りょう、シャノン情報じょうほう量りょう、情報じょうほう論ろんのエントロピーとも）。ただし、ここで $P(A_{i})=0$ のときは、$P(A_{i})\log P(A_{i})=0$ とみなす。これは $\lim _{p\to 0+}{p\log p}=0$ であることによる。

また、離散りさん型がた確かく率りつ変数へんすう X が確かく率りつ分布ぶんぷ P に従したがう場合ばあいには、 X のエントロピー H(X) を自己じこ情報じょうほう量りょう I の期待きたい値ちによって定義ていぎする。すなわち、

$H(X)=\mathbb {E} _{P}[I(X)]=-\sum _{x\in X}f_{X}(x)\log f_{X}(x)$

である。ここで f_X は X の確かく率りつ質量しつりょう関数かんすうである。

$0\leqq I(\cdot )$ より、エントロピーは常つねに非負ひふである。

確かく率りつ変数へんすう X と Y の組くみ (X, Y) も確かく率りつ変数へんすうとみなせる。この確かく率りつ変数へんすうの値ねの発生はっせい確かく率りつすなわち同時どうじ確かく率りつを $P_{X,Y}(X,Y)$ とすると、 (X, Y) のエントロピー $H(X,Y)$ は

$H(X,Y)=\mathbb {E} _{P_{X,Y}}[I(X,Y)]=-\sum _{(x,y)\in (X,Y)}P_{X,Y}(x,y)\log P_{X,Y}(x,y)$

になる。これを結合けつごうエントロピーと呼よぶ。

(X, Y) が互たがいに独立どくりつな確かく率りつ変数へんすうである場合ばあいには、$H(X,Y)$ は $H(X)+H(Y)$ に一致いっちする。すなわち、全体ぜんたいの情報じょうほう量りょう $H(X,Y)$ は、それぞれの確かく率りつ変数へんすうの情報じょうほう量りょうの和やわである。

しかし、 X と Y が互たがいに独立どくりつではない場合ばあいは、$H(X,Y)$ と $H(X)+H(Y)$ は一致いっちせず、前者ぜんしゃより後者こうしゃの方ほうが大おおきい値ねになる。両者りょうしゃの情報じょうほう量りょうの差さを相互そうご情報じょうほう量りょうと呼よび、

$I(X,Y)=H(X)+H(Y)-H(X,Y)$

で表あらわす。相互そうご情報じょうほう量りょうは常つねに非負ひふの値ねになる。

事象じしょうB が生しょうじているという条件下じょうけんかにおける事象じしょうA の条件じょうけん付つき情報じょうほう量りょうを $-\log \Pr(A\mid B)$ によって定さだめる。確かく率りつ変数へんすう X が与あたえられたとき、事象じしょう「$X=x$」の条件じょうけん付つき情報じょうほう量りょう $-\log \Pr(X=x\mid B)$ の x に関かんする加重かじゅう平均へいきんを条件じょうけん付つきエントロピーと言いい、

$H(X\mid B)=\mathbb {E} _{P_{X\mid B}}[I(X\mid B)]=-\sum _{x\in X}\Pr(X=x\mid B)\log \Pr(X=x\mid B)$

で表あらわす。

さらに確かく率りつ変数へんすう Y が与あたえられたとき、事象じしょう「$Y=y$」が生しょうじているという条件下じょうけんかにおける条件じょうけん付つきエントロピー$H(X\mid Y=y)$の y に関かんする加重かじゅう平均へいきん

$H(X\mid Y)=\sum _{y\in Y}\Pr(Y=y)H(X\mid Y=y)=-\sum _{x\in X,y\in Y}\Pr(X=x,Y=y)\log {\Pr(X=x\mid Y=y)}$

も、やはり条件じょうけん付つきエントロピーと呼よぶ。

エントロピーの基本きほん的てき性質せいしつ

• 情報じょうほう量りょうは確かく率りつだけによって決きまる。
• 情報じょうほう量りょうは非負ひふの値ねまたは無限むげん大だいを取とる。
• nビットのビット列びっとれつの空間くうかん（情報じょうほう源げん）から（一様いちようランダムとは限かぎらない方法ほうほうで）ランダムにビット列びっとれつを選えらんだときのエントロピーは、n以下いかになる。エントロピーがnになる必要ひつよう十じゅう分ふん条件じょうけんは、ビット列びっとれつが一様いちようランダムに選えらばれることである。
• 確かく率りつ変数へんすうXとYが独立どくりつである必要ひつよう十じゅう分ふん条件じょうけんは、$H(X)+H(Y)=H(X,Y)$が成立せいりつすることである。

コイン投なげの例れい

あるコインを投なげたときに表ひょうが出でる確かく率りつを $p$、裏うらが出でる確かく率りつを $1-p$ とする。このコインを投なげたときに得えられる平均へいきん情報じょうほう量りょう（エントロピー）は、

$H(X)=-p\log {p}-(1-p)\log {(1-p)}$

である。

この関数かんすう$f(p)=-p\log {p}-(1-p)\log {(1-p)}$をエントロピー関数かんすうと呼よぶ。

図ずを見みると分わかるように、$p=0$ と $p=1$ では H はゼロである。つまり、コインを投なげる前まえから裏うらまたは表ひょうが出でることが確実かくじつに分わかっているときに得えられる平均へいきん情報じょうほう量りょうは、ゼロである。 H が最大さいだいになるのは $p=1/2$ のときであり、一般いっぱんにすべての事象じしょう（できごと）が等とう確かく率りつになるときにエントロピーが最大さいだいになる。

連続れんぞく系けいのエントロピー

実じつ数値すうちを取とる確かく率りつ変数へんすうXの確かく率りつ密度みつど関数かんすうをp(x)とするとき、Xのエントロピーを

$h(X)=-\int _{-\infty }^{\infty }p(x)\log p(x)dx$

によって定義ていぎする。

Xが有限ゆうげん集合しゅうごうに値ねを取とる確かく率りつ変数へんすうである場合ばあいには、Xのシャノン情報じょうほう量りょう$H(X)$も定義ていぎできる。Xがn通とおりの値ねを取とるとき、$H(X)$と$h(X)$は、

$h(X)=H(U_{n})-H(X)$

を満みたす。

ただし、ここで$U_{n}$はn元もと集合しゅうごう上じょうの一様いちよう分布ぶんぷとする（すなわち$H(U_{n})=\log n$）。

Renyiエントロピー

$\Omega$を、台だいが有限ゆうげん集合しゅうごうである確かく率りつ空間くうかんとする。Pを$\Omega$上うえの確かく率りつ分布ぶんぷとし、$\alpha$を非負ひふの実数じっすうとする。

$\alpha \neq 1$のとき、Pのdegee $\alpha$のRenyiエントロピーを

$H_{\alpha }(P)={\frac {\log(\sum _{A\in \Omega }P(A)^{\alpha })}{1-\alpha }}$

によって定義ていぎする。 また、$\alpha =1,\infty$の場合ばあいには、Renyiエントロピーを

$\left\{{\begin{array}{lll}H_{1}(P)&=\lim _{\alpha \to 1}&H_{\alpha }(P)\\H_{\infty }(P)&=\lim _{\alpha \to \infty }&H_{\alpha }(P)\end{array}}\right.$

によって定義ていぎする。

単たんにRenyiエントロピーと言いった場合ばあいは$H_{2}(P)$を意味いみすることも多おおい。

さらに、確かく率りつ変数へんすうXが確かく率りつ分布ぶんぷPに従したがうとき、$H_{\alpha }(X)$を$H_{\alpha }(X)=H_{\alpha }(P)$によって定義ていぎする。

Renyiエントロピーは以下いかの性質せいしつを満みたす：

• $H_{0}(P)=\log \#\Omega$ が成立せいりつする。
• $H_{1}(P)$ はシャノン情報じょうほう量りょう $H(P)=-\sum _{A\in \Omega }P(A)\log P(A)$ と一致いっちする。
• $\alpha$ が2以上いじょうの整数せいすうの場合ばあいには、 $H_{\alpha }(P)={\frac {1}{1-\alpha }}\log \Pr(X_{1}=\cdots =X_{\alpha })$ が成立せいりつする。ここで、 $X_{1},\ldots ,X_{\alpha }$ は確かく率りつ分布ぶんぷ $P$ に従したがう独立どくりつ同どう一いち分布ぶんぷであって、 $\Pr(X_{1}=\cdots =X_{\alpha })$ は $x_{1},\ldots ,x_{\alpha }$ をそれぞれ$X_{1},\ldots ,X_{\alpha }$ に従したがって選えらんだときに$x_{1}=\cdots =x_{\alpha }$ が成立せいりつする確かく率りつとする。
• $H_{\infty }(P)=\min _{A\in \Omega }\{-\log P(A)\}$ が成立せいりつする。この $H_{\infty }(P)$ をminエントロピーともいう。

歴史れきし

「エントロピー」の概念がいねんは1865年ねんにルドルフ・クラウジウスがギリシャ語ごの「変換へんかん」を意味いみする言葉ことばを語源ごげんとして、熱ねつ力学りきがくにおける気体きたいのある状態じょうたい量りょうとして導入どうにゅうした。これは統計とうけい力学りきがくでは微視的びしてきな状態じょうたい数すうの対数たいすうに比例ひれいする量りょうとして表あらわされる。1929年ねんにはレオ・シラードが、気体きたいについての情報じょうほうを観測かんそく者しゃが獲得かくとくすることと統計とうけい力学りきがくにおけるエントロピーとの間あいだに直接ちょくせつの関係かんけいがあることを示しめし、現在げんざい 1 ビット（1 シャノン）と呼よぶ量りょうが統計とうけい力学りきがくで k ln 2 に対応たいおうするという関係かんけいを導みちびいていた。

現在げんざいの情報じょうほう理論りろんにおけるエントロピーの直接ちょくせつの導入どうにゅうは1948年ねんのクロード・シャノンによるもので、その論文ろんぶん『通信つうしんの数学すうがく的てき理論りろん』でエントロピーの概念がいねんを情報じょうほう理論りろんに応用おうようした。シャノン自身じしんは熱ねつ統計とうけい力学りきがくでこの概念がいねんと関連かんれんする概念がいねんがすでに使つかわれていることを知しらずにこの定義ていぎに到達とうたつしたが、その名称めいしょうを考かんがえていたとき同僚どうりょうフォン・ノイマンが、熱ねつ統計とうけい力学りきがくのエントロピーに似にていることから示唆しさしたもので、フォン・ノイマンは「統計とうけいエントロピーが何なになのかを理解りかいしてる人ひとは少すくないから、議論ぎろんになったら有利ゆうりであろう」と語かたったとされる。しかしシャノンはフォン・ノイマンとの会話かいわは認みとめつつその影響えいきょうを否定ひていしている。

なお、シャノン以前いぜんにもラルフ・ハートレーが1928年ねんに、集合しゅうごうAに対たいして$\log \#A$という量りょうを考察こうさつしている（“$\#A$”はAの元もと数かず）。$\log \#A$はA上うえの一様いちよう分布ぶんぷのエントロピーに一致いっちする。現在げんざいでは、$\log \#A$をAのハートレー・エントロピーと呼よぶ。

単位たんい

情報じょうほう量りょうは本来ほんらい無む次元じげんの量りょうである。しかし、対数たいすうの底そことして何なにを用もちいたかによって値ねが異ことなるので，単位たんいを付つけて区別くべつしている。前述ぜんじゅつのように、情報じょうほう量りょうは確かく率りつの逆数ぎゃくすうの桁数けたすうの期待きたい値ちなので、単位たんいも桁数けたすうのそれを流用りゅうようする。この為ため、対数たいすうの底そことして2、e、10を選えらんだときの情報じょうほう量りょうの単位たんいは、それぞれビット(bit)、ナット(nat)、ディット(dit)である。

また、今いまのところ主流しゅりゅうではないものの、1997年ねんに日本工業規格にほんこうぎょうきかく JIS X 0016:1997（これは国際こくさい規格きかく ISO/IEC 2382-16:1996と一致いっちしている）は、これらの量りょうを表あらわす単位たんいを別べつに定さだめている。

対数たいすうの底そこと単位たんい

底そこ	通常つうじょうの単位たんい	JISおよびISOが定さだめた単位たんい	備考びこう
2	ビット (bit)	シャノン (shannon)	lb, 二に進しん対数たいすう
e=2.718…	ナット (nat)	ナット (nat)	ln, 自然しぜん対数たいすう
10	ディット (dit)	ハートレー (hartley)	lg, 常用じょうよう対数たいすう

単位たんい「シャノン」、「ハートレー」の名称めいしょうは、それぞれ情報じょうほう量りょうの概念がいねんを提案ていあんしたクロード・シャノン、ラルフ・ハートレーにちなむ。

参考さんこう文献ぶんけん

• Shannon entropy calculator (English)
• A Mathematical Theory of Communication Shannon 1948 (English)
• Cover, Thomas M.; Thomas, Joy A. (2006). Elements of information theory (Second ed.). John Wiley & Sons. ISBN 978-0-471-24195-9. MR2239987. https://books.google.co.jp/books?id=VWq5GG6ycxMC 

関連かんれん項目こうもく

• 標本ひょうほん化か定理ていり（シャノンの定理ていり）
• データ量りょうの比較ひかく
• エントロピー
• マクスウェルの悪魔あくま
• ハフマン符号ふごう
• コルモゴロフ複雑ふくざつ性せい
• ランダウアーの原理げんり
• 交差こうさエントロピー
• 結合けつごうエントロピー
• 量子りょうしエントロピー

外部がいぶリンク

• 情報じょうほう量りょう - 脳のう科学かがく辞典じてん
• 『情報じょうほう量りょうの意味いみと対数たいすう関数かんすうを使つかう理由りゆう』 - 高校こうこう数学すうがくの美うつくしい物語ものがたり
• “JISX0016:1997 情報処理じょうほうしょり用語ようご（情報じょうほう理論りろん）”. kikakurui.com. 2023年ねん10月がつ28日にち閲覧えつらん。