联合熵

联合熵是一集变量之间不确定性的衡量手段。

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

定义

两个变量$X$ 和 $Y$ 的联合信息熵定义为：

$\mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!$

其中 $x$ 和 $y$ 是 $X$ 和 $Y$的特定值, 相应地, $P(x,y)$ 是这些值一起出现的联合概率, 若$P(x,y)=0$ 为0，则$P(x,y)\log _{2}[P(x,y)]$ 定义为0。

对于两个以上的变量 $X_{1},...,X_{n}$ ，该式的一般形式为：

$\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!$

其中 $x_{1},...,x_{n}$ 是 $X_{1},...,X_{n}$ 的特定值，相应地，$P(x_{1},...,x_{n})$ 是这些变量同时出现的概率，若$P(x_{1},...,x_{n})=0$为0，则 $P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ 被定义为0.

性质

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

$\mathrm {H} (X,Y)\geq \max[\mathrm {H} (X),\mathrm {H} (Y)]$

$\mathrm {H} (X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]$

少于或等于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在$X$和$Y$均为统计独立的时候相等。

$\mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)$

$\mathrm {H} (X_{1},...,X_{n})\leq \mathrm {H} (X_{1})+...+\mathrm {H} (X_{n})$

与其他熵测量手段的关系

在条件熵的定义中，使用了联合熵

$\mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,$

互信息的定义中也出现了联合熵的身影：

$I(X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,$

在量子信息理论中， 联合熵被扩展到联合量子熵。