考虑一个二元删除信道
P(X=0)=13,P(X=1)=23
P(Y=0|X=0)=23,P(Y=?|X=0)=16,P(Y=1|X=0)=16
P(Y=0|X=1)=16,P(Y=?|X=1)=16,P(Y=1|X=1)=23
试求H(X),H(Y),损失熵H(X|Y),噪声熵H(Y|X)和平均互信息量I(X;Y)。
该回答引用chatgpt:
根据二元删除信道的定义，可以列出如下的概率转移矩阵：
Y=0 ? Y=1
X=0 2/3 1/6 1/6
X=1 1/6 1/6 2/3
根据概率论的基本公式，可以计算出各个信息熵和互信息量的值：
首先计算输入随机变量X的熵H(X)：
H(X) = -13*log2(1/3) - 23*log2(2/3) ≈ 0.934 bits
接下来计算输出随机变量Y的熵H(Y)：
H(Y) = -13*log2(2/3) - 23*log2(1/3) ≈ 0.876 bits
然后计算损失熵H(X|Y)：
H(X|Y) = H(XY) - H(Y) = (-13*log2(2/3*2/3) - 23*log2(1/6*2/3) - 13*log2(1/6*2/3) - 23*log2(2/3*2/3)) - (-13*log2(2/3) - 23*log2(1/3)) ≈ 0.234 bits
接着计算噪声熵H(Y|X)：
H(Y|X) = H(XY) - H(X) = (-13*log2(2/3*2/3) - 23*log2(1/6*2/3) - 13*log2(1/6*2/3) - 23*log2(2/3*2/3)) - (-13*log2(1/3) - 23*log2(2/3)) ≈ 0.696 bits
最后计算平均互信息量I(X;Y)：
I(X;Y) = H(X) - H(X|Y) = 0.934 - 0.234 ≈ 0.7 bits
因此，该二元删除信道的输入熵为0.934 bits，输出熵为0.876 bits，损失熵为0.234 bits，噪声熵为0.696 bits，平均互信息量为0.7 bits。