ギブスの不等式ふとうしき

ギブスの不等式ふとうしき（ぎぶすのふとうしき、英えい: Gibbs' inequality）とは、情報じょうほう理論りろんにおける離散りさん確かく率りつ分布ぶんぷのエントロピーに関かんする式しきである。確かく率りつ分布ぶんぷのエントロピーに関かんしては、ギブスの不等式ふとうしきを出発しゅっぱつ点てんとしていくつかの式しきが考案こうあんされており、ファーノの不等式ふとうしきなどがある。

この不等式ふとうしきは19世紀せいきにウィラード・ギブスが最初さいしょに提示ていじした。

定義ていぎ[編集へんしゅう]

ある確かく率りつ分布ぶんぷ P を次つぎのように表あらわす。

P=\{p_{1},\ldots ,p_{n}\}

別べつの確かく率りつ分布ぶんぷ Q を次つぎのように表あらわす。

Q=\{q_{1},\ldots ,q_{n}\}

このとき、次つぎの不等式ふとうしきが成なり立たつ。

-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}\leq -\sum _{i=1}^{n}p_{i}\log _{2}q_{i}

ただし、これは全すべての i について次つぎの等式とうしきが成なり立たつときだけ等式とうしきとして成なり立たつ。

p_{i}=q_{i}\,

2つの量りょうの差さは、カルバック・ライブラー情報じょうほう量りょう（相対そうたいエントロピー）の符号ふごうを反転はんてんさせたものと等ひとしい。したがって、この不等式ふとうしきは次つぎのようにも表あらわせる。

D_{\mathrm {KL} }(P\|Q)\geq 0

証明しょうめい[編集へんしゅう]

対数たいすうの性質せいしつから、次つぎが成なり立たつ。

\log _{2}a={\frac {\ln a}{\ln 2}}

従したがって、自然しぜん対数たいすう (ln) について証明しょうめいできれば十分じゅうぶんである。自然しぜん対数たいすうには次つぎの性質せいしつがある。

\ln x\leq x-1

これは、全すべての x について成なり立たつ（x=1 のときだけ等号とうごう）。

p_i がゼロでない全すべての $i$ の集合しゅうごうを $I$ とする。すると、

{\begin{aligned}-\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}&{}\geq -\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)\\&{}=-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}\\&{}=-\sum _{i\in I}q_{i}+1\\&{}\geq 0\end{aligned}}

となるので、次つぎが成なり立たつ。

-\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}

両辺りょうへんに 0 を加くわえても大小だいしょう関係かんけいは変かわらないから、0 であるような p_i も含ふくめることができて、

-\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}

等式とうしきとして成なり立たつには、次つぎの条件じょうけんが成立せいりつしなければならない。

全すべての $i\in I$ について ${\frac {q_{i}}{p_{i}}}=1$ であれば、 $\ln {\frac {q_{i}}{p_{i}}}=1-{\frac {q_{i}}{p_{i}}}$ が成なり立たつ。
$\sum _{i\in I}q_{i}=1$ であれば、証明しょうめいの3行ぎょう目めから4行ぎょう目めの部分ぶぶんで等号とうごうが成なり立たつ。