ある長さの時間を任意に定め、
X をその時間に送信される信号、Y を同じ時間に通信路を介して受信される信号をそれぞれあらわす確率変数とする。通信路のノイズの性質などをすべてまとめて、X が与えられたときの Y の条件付き確率分布関数
-
によって通信路の入出力特性が完全に記述されるものとする。すると、X と Y の同時分布
-
は、通信路 と、その通信路を介して送信される信号の周辺分布 とによって決定される:
-
以上の条件の下で、通信路を介して伝送することのできる情報の量をなるべく大きくすることを考える。伝送情報量に対する尺度として相互情報量 を用いることができる。相互情報量の上限が通信路容量であり、以下のように定義される。
-
エントロピー関数を H(p) とすると、2元対称通信路の通信路容量 C は C = 1 − H(p) に等しい。
2元消失通信路の通信路容量 C は C = 1 − p に等しい。
通信路符号化定理によれば、任意の ε > 0 と通信路容量 C より小さい任意のレート R に対して、符号長を十分大きくすれば、ブロック誤り率を ε 未満にする符号化、復号方法が存在する。また、レートが通信路容量より大きい場合、ブロック長が無限大に近づくと共に受信側のブロック誤り率は 1 に近づいていく。ただし、通信路容量には他の定義もある。