熵 (信しん息いき論ろん)

  此條目め頁ぺーじ的てき主題しゅだい是ぜ信しん息いき論ろん的てき熵。關せき於「熵」的てき其他意思いし，請見「熵 (消しょう歧義)」。

2 bit的てき熵。

在ざい信しん息いき論ろん中なか，熵（英語えいご：entropy，又また稱たたえ信しん息いき熵、信しん源げん熵、平均へいきん自信じしん息いき量りょう）是ぜ接收せっしゅう的てき每ごと條じょう消息しょうそく中ちゅう包含ほうがん的てき信しん息いき的てき平均へいきん量りょう。這裡的てき「消息しょうそく」代表だいひょう來らい自分じぶん布ぬの或ある數すう據よりどころ流りゅう中ちゅう的てき事件じけん、樣さま本ほん或ある特徵とくちょう。（熵最好こう理解りかい為ため不ふ確かく定性的ていせいてき量りょう度ど而不是ぜ確かく定性的ていせいてき量りょう度ど，因いん為ため越えつ隨ずい機き的てき信しん源げん的てき熵越大だい。）來らい自信じしん源げん的てき另一個特徵是樣本的概率分布。這裡的てき想そう法ほう是ぜ，比較ひかく不可能ふかのう發生はっせい的てき事情じじょう，當とう它發生せい了りょう，會かい提供ていきょう更さら多た的てき信しん息いき。由よし於一些其他た的てき原因げんいん，把わ信しんじ息いき（熵）定義ていぎ為ため概がい率りつ分布ぶんぷ的てき對數たいすう的てき相反あいはん數すう是ぜ有ゆう道理どうり的てき。事件じけん的てき概がい率りつ分布ぶんぷ和わ每ごと個こ事件じけん的てき信しん息いき量りょう構成こうせい了りょう一いち個こ隨ずい機き變量へんりょう，這個隨ずい機き變量へんりょう的てき均ひとし值（即そく期き望もち）就是這個分布ぶんぷ產さん生せい的てき信しん息いき量的りょうてき平均へいきん值（即そく熵）。熵的單位たんい通常つうじょう為ため比ひ特とく，但ただし也用Sh、nat、Hart計量けいりょう，取と決けつ於定義ていぎ用よう到いた對數たいすう的てき底そこ。

採用さいよう概がい率りつ分布ぶんぷ的てき對數たいすう作為さくい信しん息いき的てき量りょう度ど的てき原因げんいん是ぜ其可加か性せい。例れい如，投擲とうてき一次硬幣提供了1 Sh的てき信しん息いき，而擲m次じ就為m位い。更さら一般いっぱん地ち，你需要用ようようlog₂(n)位い來らい表示ひょうじ一いち個こ可か以取n個こ值的變量へんりょう。

在ざい1948年ねん，克かつ勞ろう德とく·艾もぐさ爾なんじ伍ご德とく·香が農のう將はた熱ねつ力學りきがく的てき熵，引入到いた信しん息いき論ろん，因いん此它又また被ひ稱しょう為ため香こう農のう熵（Shannon entropy）。

簡介

熵的概念がいねん最早もはや起源きげん於物理ぶつり學がく，用よう於度量りょう一いち個こ熱ねつ力學りきがく系統けいとう的てき無む序じょ程度ていど。在ざい信しん息いき論ろん裡うら面めん，熵是對たい不ふ確かく定性的ていせいてき測量そくりょう。但ただし是ぜ在ざい信しん息いき世界せかい，熵越高だか，則のり能のう傳でん輸越多た的てき信しん息いき，熵越低てい，則のり意味いみ着ぎ傳でん輸的信しん息いき越えつ少しょう。

英語えいご文ぶん本數ほんすう據よりどころ流りゅう的てき熵比較低，因いん為ため英語えいご很容易ようい讀懂，也就是ぜ說せつ很容易ようい被ひ預あずか測はか。即そく便びん我わが們不知道ともみち下か一段英語文字是什麼內容，但ただし是ぜ我わが們能很容易ようい地ち預あずか測はか，比ひ如，字母じぼe總そう是ぜ比ひ字母じぼz多た，或ある者ものqu字母じぼ組合くみあい的てき可能かのう性せい總そう是ぜ超過ちょうかq與あずか任にん何なん其它字母じぼ的てき組合くみあい。如果未み經けい壓縮あっしゅく，一段英文文本的每個字母需要8個こ比ひ特とく來らい編へん碼，但ただし是ぜ實際じっさい上じょう英文えいぶん文ぶん本ほん的てき熵大概がい只ただ有ゆう4.7比ひ特とく。這是由よし於英文えいぶん的てき編へん碼包含ほうがん了りょう各かく式しき符號ふごう，如逗號ごう、引號等とう。因よし此英文えいぶん輸入ゆにゅう法ほう使用しよう了りょう8個こ位い元來がんらい表ひょう達たち一いち共ども256個こ字母じぼ及符號ごう。

如果壓縮あっしゅく是ぜ無む損そん的てき，即そく通過つうか解かい壓縮あっしゅく可か以百分之百地恢復初始的消息內容，那な麼壓縮あっしゅく後ご的てき消息しょうそく攜帶的てき信しん息いき和わ未み壓縮あっしゅく的てき原始げんし消息しょうそく是ぜ一いち樣よう的てき多た。而壓縮あっしゅく後ご的てき消息しょうそく可か以通過つうか較少的てき比ひ特とく傳でん遞，因いん此壓縮あっしゅく消息しょうそく的てき每まい個こ比ひ特とく能のう攜帶更さら多た的てき信しん息いき，也就是ぜ說せつ壓縮あっしゅく信しん息いき的てき熵更加か高だか。熵更高だか意味いみ着ぎ比較ひかく難なん於預測はか壓縮あっしゅく消息しょうそく攜帶的てき信しん息いき，原因げんいん在ざい於壓縮あっしゅく消息しょうそく裡うら面めん沒ぼつ有ゆう冗餘，即そく每まい個こ比ひ特とく的てき消息しょうそく攜帶了りょう一個比特的信息。香こう農のう的てき信しん源げん編へん碼定理ていり揭示けいじ了りょう，任にん何なん無む損そん壓縮あっしゅく技術ぎじゅつ不可能ふかのう讓ゆず一比特的消息攜帶超過一比特的信息。消息しょうそく的てき熵乘以消息いき的てき長ちょう度ど決定けってい了りょう消息しょうそく可か以攜帶たい多少たしょう信しんじ息いき。

香こう農のう的てき信しん源げん編へん碼定理ていり同時どうじ揭示けいじ了りょう，任にん何なん無む損そん壓縮あっしゅく技術ぎじゅつ不可能ふかのう縮ちぢみ短たん任にん何なん消息しょうそく。根據こんきょ鴿どばと籠かご原理げんり，如果有ゆう一些消息變短，則のり至いたり少しょう有ゆう一いち條じょう消息しょうそく變へん長ちょう。在ざい實際じっさい使用しよう中ちゅう，由ゆかり於我們通常つうじょう只ただ關せき注ちゅう於壓縮あっしゅく特定とくてい的てき某ぼう一類いちるい消息しょうそく，所しょ以這通常つうじょう不ふ是ぜ問題もんだい。例れい如英語ご文ぶん檔和隨ずい機き文字もじ，數字すうじ照あきら片かた和わ噪音，都みやこ是ただし不ふ同類どうるい型がた的てき。所以ゆえん如果一個壓縮算法會將某些不太可能出現的，或ある者もの非ひ目標もくひょう類型るいけい的てき消息しょうそく變へん得どく更さら大だい，通常つうじょう是ぜ無關むせき緊要きんよう的てき。但ただし是ぜ，在ざい我わが們的日常にちじょう使用しよう中ちゅう，如果去さ壓縮あっしゅく已やめ經けい壓縮あっしゅく過か的てき數すう據よりどころ，仍會出現しゅつげん問題もんだい。例れい如，將はた一いち個こ已やめ經けい是ぜFLAC格式かくしき的てき音樂おんがく文ぶん件けん壓縮あっしゅく為ためZIP文ぶん件けん很難使し它占用よう的てき空間くうかん變へん小しょう。

熵的計算けいさん

如果有ゆう一いち枚まい理想りそう的てき硬かた幣ぬさ，其出現しゅつげん正面しょうめん和わ反面はんめん的てき機會きかい相等そうとう，則のり拋硬幣ぬさ事件じけん的てき熵等於其能のう夠達到いた的てき最大さいだい值。我わが們無法ほう知道ともみち下か一個硬幣拋擲的結果是什麼，因いん此每一次拋硬幣都是不可預測的。因よし此，使用しよう一枚正常硬幣進行若干次拋擲，這個事件じけん的てき熵是一いち比ひ特とく，因いん為ため結果けっか不ふ外そと乎兩個りゃんこ——正面しょうめん或ある者もの反面はんめん，可か以表示ひょうじ為ため0, 1編へん碼，而且兩個りゃんこ結果けっか彼此ひし之の間あいだ相互そうご獨立どくりつ。若わか進行しんこうn次つぎ獨立どくりつ實驗じっけん，則のり熵為n，因いん為ため可か以用長ちょう度ど為ためn的てき比ひ特とく流りゅう表示ひょうじ。但ただし是ぜ如果一枚硬幣的兩面完全相同，那な個こ這個系列けいれつ拋硬幣ぬさ事件じけん的てき熵等於零，因いん為ため結果けっか能のう被ひ準じゅん確かく預あずか測はか。現實げんじつ世界せかい裡うら，我わが們收集しゅうしゅう到いた的てき數すう據よりどころ的てき熵介於上面めん兩りょう種たね情況じょうきょう之の間あいだ。

另一個稍微複雜的例子是假設一個隨ずい機き變量へんりょうX，取と三種さんしゅ可能かのう值${\begin{smallmatrix}x_{1},x_{2},x_{3}\end{smallmatrix}}$，概がい率りつ分別ふんべつ為ため${\begin{smallmatrix}{\frac {1}{2}},{\frac {1}{4}},{\frac {1}{4}}\end{smallmatrix}}$，那な麼編碼平均へいきん比ひ特長とくちょう度ど是ぜ：${\begin{smallmatrix}{\frac {1}{2}}\times 1+{\frac {1}{4}}\times 2+{\frac {1}{4}}\times 2={\frac {3}{2}}\end{smallmatrix}}$。其熵為ため3/2。

因いん此熵實際じっさい是ぜ對たい隨ずい機き變量へんりょう的てき比ひ特とく量りょう和わ順次じゅんじ發生はっせい概がい率りつ相乘そうじょう再さい總和そうわ的てき數學すうがく期き望もち。

定義ていぎ

依據いきょBoltzmann's H-theorem，香こう農のう把わ隨ずい機き變量へんりょうX的てき熵值 Ηいーた（希まれ臘字母ははEta）定義ていぎ如下，其值域いき為ため{x₁, ..., x_n}：

$\mathrm {H} (X)=\mathrm {E} [\mathrm {I} (X)]=\mathrm {E} [-\ln(\mathrm {P} (X))]$。

其中，P為ためX的てき機き率りつ質量しつりょう函數かんすう（probability mass function），E為ため期き望もち函數かんすう，而I(X)是これX的てき資し訊量（又また稱たたえ為ため資し訊本體ほんたい）。I(X)本身ほんみ是ぜ個こ隨ずい機き變數へんすう。

當とう取と自じ有限ゆうげん的てき樣さま本ほん時じ，熵的公式こうしき可か以表示ひょうじ為ため：

$\mathrm {H} (X)=\sum _{i}{\mathrm {P} (x_{i})\,\mathrm {I} (x_{i})}=-\sum _{i}{\mathrm {P} (x_{i})\log _{b}\mathrm {P} (x_{i})},$

在ざい這裏b是これ對數たいすう所ところ使用しよう的てき底そこ，通常つうじょう是ぜ2，自然しぜん常數じょうすうe，或ある是ぜ10。當とうb = 2，熵的單位たんい是ぜbit；當とうb = e，熵的單位たんい是ぜnat；而當b = 10,熵的單位たんい是ぜHart。

p_i = 0時じ，對たい於一些i值，對應たいおう的てき被加數ひかすう0 log_b 0的てき值將會かい是ぜ0，這與極限きょくげん一致いっち。

$\lim _{p\to 0+}p\log p=0$。

還かえ可か以定義ていぎ事件じけん X 與あずか Y 分別ふんべつ取と x_i 和わ y_j 時どき的てき條件じょうけん熵為ため

$\mathrm {H} (X|Y)=-\sum _{i,j}p(x_{i},y_{j})\log {\frac {p(x_{i},y_{j})}{p(y_{j})}}$

其中p(x_i, y_j)為ため X = x_i 且 Y = y_j 時どき的てき概がい率りつ。這個量りょう應おう當とう理解りかい為ため你知道どうY的てき值前提ぜんてい下か隨ずい機き變量へんりょう X 的てき隨ずい機き性的せいてき量りょう。

範はん例れい

拋硬幣ぬさ的てき熵H(X)（即そく期き望もち自信じしん息いき），以位い元もと度量どりょう，與あずか之これ相對そうたい的てき是ぜ硬かた幣ぬさ的てき公正こうせい度どPr(X=1).

注意ちゅうい圖ず的てき最大さいだい值取決けつ於分布ぶんぷ；在ざい這裡，要よう傳達でんたつ一個公正的拋硬幣結果至多需要1位い元もと，但ただし要よう傳達でんたつ一いち個こ公正こうせい的てき拋骰子さいころ結果けっか至いたり多た需要じゅようlog2(6)位い元もと。

如果有ゆう一いち個こ系統けいとうS內存在そんざい多た個こ事件じけんS = {E₁,...,E_n}，每まい個こ事件じけん的てき機き率りつ分布ぶんぷP = {p₁, ..., p_n}，則のり每ごと個こ事件じけん本身ほんみ的てき訊息（資し訊本體ほんたい）為ため：

$I_{e}=-\log _{2}{p_{i}}$（對數たいすう以2為ため底そこ，單位たんい是ぜ位い元もと（bit））

$I_{e}=-\ln {p_{i}}$（對數たいすう以$e$為ため底そこ，單位たんい是ぜ納おさめ特とく/nats）

如英語ご有ゆう26個こ字母じぼ，假かり如每個こ字母じぼ在ざい文章ぶんしょう中ちゅう出現しゅつげん次數じすう平均へいきん的てき話ばなし，每まい個こ字母じぼ的てき訊息量りょう為ため：

$I_{e}=-\log _{2}{1 \over 26}=4.7$

以日文ぶん五十音平假名作為相對範例，假設かせつ每ごと個こ平假名ひらがな日び語ご文字もじ在ざい文章ぶんしょう中ちゅう出現しゅつげん的てき機き率りつ相等そうとう，每まい個こ平假名ひらがな日び語ご文字もじ可か攜帶的てき資し訊量為ため：

$I_{e}=-\log _{2}{1 \over 50}=5.64$

而漢字かんじ常用じょうよう的てき有ゆう2500個こ，假かり如每個こ漢字かんじ在ざい文章ぶんしょう中ちゅう出現しゅつげん次數じすう平均へいきん的てき話ばなし，每まい個こ漢字かんじ的てき信しん息いき量りょう為ため：

$I_{e}=-\log _{2}{1 \over 2500}=11.3$

實際じっさい上じょう每まい個こ字母じぼ和わ每ごと個こ漢字かんじ在ざい文章ぶんしょう中ちゅう出現しゅつげん的てき次數じすう並なみ不ふ平均へいきん，比ひ方かた說せつ較少見み字母じぼ（如z）和かず罕用漢字かんじ就具有ぐゆう相對そうたい高だか的てき信しん息いき量りょう。但ただし上述じょうじゅつ計算けいさん提供ていきょう了りょう以下いか概念がいねん：使用しよう書寫しょしゃ單元たんげん越えつ多た的てき文字もじ，每まい個こ單元たんげん所しょ包含ほうがん的てき訊息量りょう越えつ大だい。

熵是整せい個こ系統けいとう的てき平均へいきん消息しょうそく量りょう，即そく：

$H_{s}=\sum _{i=1}^{n}p_{i}I_{e}=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}$

因いん為ため和わ熱ねつ力學りきがく中ちゅう描述熱ねつ力學りきがく熵的てき玻爾茲曼公式こうしき本質ほんしつ相しょう同どう（僅僅きんきん單位たんい不同ふどう，一いち納おさめ特とく的てき信しん息いき量りょう即そく相當そうとう於k焦こげ耳みみ每まい開ひらき爾なんじ文ぶん的まと熱ねつ力學りきがく熵），所以ゆえん也稱為ため「熵」。

如果兩個りゃんこ系統けいとう具有ぐゆう同樣どうよう大だい的てき消息しょうそく量りょう，如一篇用不同文字寫的同一文章，由よし於漢字かんじ的てき信しん息いき量りょう較大，中ちゅう文ぶん文章ぶんしょう應用おうよう的てき漢字かんじ就比英文えいぶん文章ぶんしょう使用しよう的てき字母じぼ要よう少しょう。所以ゆえん漢字かんじ印刷いんさつ的てき文章ぶんしょう要よう比ひ其他應用おうよう總體そうたい數量すうりょう少しょう的てき字母じぼ印刷いんさつ的てき文章ぶんしょう要よう短たん。即そく使つかい一個漢字占用兩個字母的空間，漢字かんじ印刷いんさつ的てき文章ぶんしょう也要比ひ英文えいぶん字母じぼ印刷いんさつ的てき用紙ようし少しょう。

熵的特性とくせい

可か以用很少的てき標準ひょうじゅん來らい描述香が農のう熵的特性とくせい，將はた在ざい下面かめん列れつ出で。任にん何なん滿足まんぞく這些假設かせつ的てき熵的定義ていぎ均ひとし正せい比ひ以下いか形式けいしき

$-K\sum _{i=1}^{n}p_{i}\log(p_{i})$

其中，K是ぜ與あずか選擇せんたく的てき度量どりょう單位たんい相對そうたい應おう的てき一いち個こ正せい比ひ常數じょうすう。

下しも文中ぶんちゅう，p_i = Pr(X = x_i)且$\mathrm {H} _{n}(p_{1},\ldots ,p_{n})=\mathrm {H} (X)$

連續れんぞく性せい

該量度ど應おう連續れんぞく，概がい率りつ值小幅はば變化へんか只ただ能のう引起熵的微小びしょう變化へんか。

對稱たいしょう性せい

符號ふごうx_i重じゅう新しん排はい序じょ後ご，該量度ど應おう不變ふへん。

$\mathrm {H} _{n}\left(p_{1},p_{2},\ldots \right)=\mathrm {H} _{n}\left(p_{2},p_{1},\ldots \right)$等ひとし。

極ごく值性

當とう所有しょゆう符號ふごう有ゆう同等どうとう機會きかい出現しゅつげん的てき情況じょうきょう下か，熵達到いた最大さいだい值（所有しょゆう可能かのう的てき事件じけん同等どうとう概がい率りつ時じ不ふ確定かくてい性せい最高さいこう）。

$\mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)=\log _{b}(n)$。

等とう概がい率りつ事件じけん的てき熵應隨ずい符號ふごう的てき數量すうりょう增加ぞうか。

$\mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}=\log _{b}(n)<\log _{b}(n+1)=\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.$

可か加か性せい

熵的量りょう與あずか該過程ほど如何いか被ひ劃分無關むせき。

最後さいご給きゅう出で的てき這個函數かんすう關係かんけい刻こく畫が了りょう一個系統與其子系統的熵的關係。如果子こ系統けいとう之の間あいだ的てき相互そうご作用さよう是ぜ已やめ知的ちてき，則のり可か以通過つうか子こ系統けいとう的てき熵來計算けいさん一いち個こ系統けいとう的てき熵。

給きゅう定じょうn個こ均ひとし勻分布ぶんぷ元素げんそ的てき集合しゅうごう，分ふん為ためk個こ箱ばこ（子こ系統けいとう），每まい個こ裡うら面めん有ゆう b₁, ..., b_k 個こ元素げんそ，合ごう起おこり來らい的てき熵應等とう於系統けいとう的てき熵與各個かっこ箱ばこ子こ的てき熵的和わ，每まい個こ箱ばこ子こ的てき權けん重じゅう為ため在ざい該箱中ちゅう的てき概がい率りつ。

對たい於正せい整數せいすうb_i其中b₁ + ... + b_k = n來き說せつ，

$\mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)=\mathrm {H} _{k}\left({\frac {b_{1}}{n}},\ldots ,{\frac {b_{k}}{n}}\right)+\sum _{i=1}^{k}{\frac {b_{i}}{n}}\,\mathrm {H} _{b_{i}}\left({\frac {1}{b_{i}}},\ldots ,{\frac {1}{b_{i}}}\right)$。

選えらべ取どk = n，b₁ = ... = b_n = 1，這意味いみ着ぎ確定かくてい符號ふごう的てき熵為零れい：Ηいーた₁(1) = 0。這就是ぜ說せつ可か以用n進すすむ制せい熵來定義ていぎn個こ符號ふごう的てき信しん源げん符號ふごう集しゅう的てき效率こうりつ。參まいり見み信しん息いき冗餘。

進一しんいち步ふ性質せいしつ

香こう農のう熵滿足まんぞく以下いか性質せいしつ，藉由將はた熵看成なり「在ざい揭示けいじ隨ずい機き變量へんりょうX的てき值後，從したがえ中ちゅう得え到いた的てき信しん息いき量りょう（或ある消しょう除じょ的てき不ふ確定かくてい性せい量りょう）」，可か來らい幫助理解りかい其中一いち些性質しつ。

• 增減ぞうげん一概率為零的事件不改變熵：

$\mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})$

• 可用かよう琴きん生せい不等式ふとうしき證明しょうめい

$\mathrm {H} (X)=\operatorname {E} \left[\log _{b}\left({\frac {1}{p(X)}}\right)\right]\leq \log _{b}\left(\operatorname {E} \left[{\frac {1}{p(X)}}\right]\right)=\log _{b}(n)$

具有ぐゆう均ひとし勻概率りつ分布ぶんぷ的てき信しん源げん符號ふごう集しゅう可か以有效ゆうこう地ち達たち到いた最大さいだい熵log_b(n)：所有しょゆう可能かのう的てき事件じけん是ぜ等とう概がい率りつ的てき時候じこう，不ふ確定かくてい性せい最大さいだい。

• 計算けいさん (X,Y)得とく到いた的てき熵或信しん息いき量りょう（即そく同時どうじ計算けいさんX和わY）等とう於通過つうか進行しんこう兩個りゃんこ連續れんぞく實驗じっけん得え到いた的てき信しん息いき：先さき計算けいさんY的てき值，然しか後ご在ざい你知道どうY的てき值條件下じょうけんか得とく出でX的てき值。寫うつし作さく

$\mathrm {H} (X,Y)=\mathrm {H} (X|Y)+\mathrm {H} (Y)=\mathrm {H} (Y|X)+\mathrm {H} (X)$。

• 如果Y=f(X)，其中f是ぜ確かく定性的ていせいてき，那な麼Ηいーた(f(X)|X) = 0。應用おうよう前まえ一いち公式こうしきΗいーた(X, f(X))就會產さん生せい

$\mathrm {H} (X)+\mathrm {H} (f(X)|X)=\mathrm {H} (f(X))+\mathrm {H} (X|f(X)),$

所以ゆえんΗいーた(f(X)) ≤ Ηいーた(X)，因いん此當後者こうしゃ是ぜ通過つうか確定かくてい性せい函數かんすう傳でん遞時，變量へんりょう的てき熵只能のう降くだ低てい。

• 如果X和わY是ぜ兩個りゃんこ獨立どくりつ實驗じっけん，那な麼知道どうY的てき值不影響えいきょう我わが們對X值的認知にんち（因いん為ため兩者りょうしゃ獨立どくりつ，所以ゆえん互不影響えいきょう）：

$\mathrm {H} (X|Y)=\mathrm {H} (X)$。

• 兩個りゃんこ事件じけん同時どうじ發生はっせい的てき熵不大だい於每個こ事件じけん單獨たんどく發生はっせい的てき熵的總和そうわ，且僅當とう兩個りゃんこ事件じけん是ぜ獨立どくりつ的てき情況じょうきょう下か相等そうとう。更さら具體ぐたい地ち說せつ，如果X和わY是ぜ同どう一概率空間的兩個隨機變量，而 (X,Y)表示ひょうじ它們的てき笛ふえ卡爾積せき，則のり

$\mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)$。

在ざい前ぜん兩りょう條じょう熵的性質せいしつ基礎きそ上じょう，很容易ようい用よう數學すうがく證明しょうめい這一いち點てん。

和わ熱ねつ力學りきがく熵的聯れん繫

物理ぶつり學がく家か和わ化學かがく家か對たい一個系統自發地從初始狀態向前演進過程中，遵循熱ねつ力學りきがく第だい二定律而發生的熵的變化更感興趣。在ざい傳統でんとう熱ねつ力學りきがく中ちゅう，熵被定義ていぎ為ため對たい系統けいとう的てき宏ひろし觀かん測定そくてい，並なみ沒ぼつ有ゆう涉わたる及概率りつ分布ぶんぷ，而概率りつ分布ぶんぷ是ぜ信しん息いき熵的核心かくしん定義ていぎ。

根據こんきょJaynes（1957）的てき觀點かんてん，熱ねつ力學りきがく熵可以被視し為ため香が農のう信しん息いき理論りろん的てき一いち個こ應用おうよう： 熱ねつ力學りきがく熵被解釋かいしゃく成なり與あずか定義ていぎ系統けいとう的てき微ほろ態たい細ほそ節ぶし所しょ需的進しん一步香農資訊量成正比，波なみ茲曼常數じょうすう為ため比例ひれい系けい數すう，其中系統けいとう與あずか外界がいかい無む交流こうりゅう，只ただ靠もたれ古典こてん熱ねつ力學りきがく的てき巨きょ觀かん變數へんすう所しょ描述。加熱かねつ系統けいとう會かい提ひさげ高だか其熱力學りきがく熵，是ぜ因いん為ため此行為こうい增加ぞうか了りょう符合ふごう可か測はか巨きょ觀かん變數へんすう 的てき系統けいとう微ほろ態たい的てき數すう目もく，也使得とく所有しょゆう系統けいとう的てき的てき完かん整せい敘述變へん得どく更さら長ちょう。（假想かそう的てき）麥むぎ克かつ斯韋妖可か利用りよう每ごと個こ分子ぶんし的てき狀態じょうたい信しん息いき，來き降ぶ低てい熱ねつ力學りきがく熵，但ただし是これ羅ら夫おっと·蘭らん道どう爾なんじ（於1961年ねん）和かず及其同どう事こと則そく證明しょうめい了りょう，讓ゆずる小しょう妖精ようせい行使こうし職責しょくせき本身ほんみ——即そく便びん只ただ是ぜ了解りょうかい和わ儲もうか存そん每ごと個こ分子ぶんし最初さいしょ的てき香こう農のう信しん息いき——就會給きゅう系統けいとう帶たい來らい熱ねつ力學りきがく熵的增加ぞうか，因いん此總的てき來らい說せつ，系統けいとう的てき熵的總量そうりょう沒ぼつ有ゆう減少げんしょう。這就解決かいけつ了りょうMaxwell思想しそう實驗じっけん引發的てき悖もと論ろん。蘭らん道どう爾しか原理げんり也為現代げんだい計算けいさん機き處理しょり大量たいりょう資し訊時所產しょさん生せい的てき熱量ねつりょう給きゅう出で了りょう下限かげん，雖然現在げんざい計算けいさん機き的てき廢はい熱ねつ遠とお遠とお比ひ這個限げん制せい高だか。

逸聞いつぶん

貝かい爾なんじ實驗じっけん室しつ曾流傳りゅうでん一則可信度不高的傳聞：馮諾依よ曼建議けんぎ香が農のう為ため這個概念がいねん取と名めい為ため「熵」，理由りゆう是ぜ這個熱ねつ力學りきがく名詞めいし別人べつじん不ふ懂，容易ようい被ひ唬住。

參まいり見み

• 熵 (生態せいたい學がく)
• 熵 (熱ねつ力學りきがく)
• 熵編碼
• 麥むぎ克かつ斯韋妖

外部がいぶ連結れんけつ

• Hazewinkel, Michiel (編へん), Entropy, 数学すうがく百科ひゃっか全ぜん书, Springer, 2001, ISBN 978-1-55608-010-4