在学习信息论的过程中，课后习题是检验我们对理论知识掌握程度的重要环节。通过解答这些问题，我们可以更好地理解信息论的核心概念，如熵、互信息、信道容量等。下面我们将针对一些典型的课后习题进行详细的解答。
例题1：计算离散随机变量的熵
假设有一个离散随机变量X，其概率分布为P(X) = {0.5, 0.3, 0.2}。求X的熵H(X)。
解答：
根据熵的定义公式：
\[ H(X) = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i) \]
将给定的概率值代入公式：
\[ H(X) = -[0.5 \log_2(0.5) + 0.3 \log_2(0.3) + 0.2 \log_2(0.2)] \]
计算每一项的对数值：
- \( 0.5 \log_2(0.5) = 0.5 \times (-1) = -0.5 \)
- \( 0.3 \log_2(0.3) \approx 0.3 \times (-1.73697) \approx -0.521091 \)
- \( 0.2 \log_2(0.2) \approx 0.2 \times (-2.32193) \approx -0.464386 \)
将这些结果相加：
\[ H(X) \approx -(-0.5 - 0.521091 - 0.464386) = 1.485477 \]
因此，X的熵约为1.485比特。
例题2：计算两个随机变量的互信息
假设有两个离散随机变量X和Y，它们的联合概率分布为：
| X\Y | Y1 | Y2 | Y3 |
|------|-------|-------|-------|
| X1 | 0.1 | 0.2 | 0.1 |
| X2 | 0.2 | 0.1 | 0.1 |
分别求出X和Y的边缘概率分布，并计算它们的互信息I(X;Y)。
解答：
首先计算边缘概率分布：
- \( P(X=x_1) = 0.1 + 0.2 + 0.1 = 0.4 \)
- \( P(X=x_2) = 0.2 + 0.1 + 0.1 = 0.4 \)
- \( P(Y=y_1) = 0.1 + 0.2 = 0.3 \)
- \( P(Y=y_2) = 0.2 + 0.1 = 0.3 \)
- \( P(Y=y_3) = 0.1 + 0.1 = 0.2 \)
接下来计算互信息I(X;Y)：
\[ I(X;Y) = \sum_{x \in X} \sum_{y \in Y} P(x,y) \log_2 \frac{P(x,y)}{P(x)P(y)} \]
逐项计算每一项的贡献：
- 对于\( x_1, y_1 \): \( 0.1 \log_2 \frac{0.1}{0.4 \times 0.3} \approx 0.1 \times (-1.73697) \approx -0.173697 \)
- 对于\( x_1, y_2 \): \( 0.2 \log_2 \frac{0.2}{0.4 \times 0.3} \approx 0.2 \times (-0.73697) \approx -0.147394 \)
- 对于\( x_1, y_3 \): \( 0.1 \log_2 \frac{0.1}{0.4 \times 0.2} \approx 0.1 \times (-2.32193) \approx -0.232193 \)
- 对于\( x_2, y_1 \): \( 0.2 \log_2 \frac{0.2}{0.4 \times 0.3} \approx 0.2 \times (-0.73697) \approx -0.147394 \)
- 对于\( x_2, y_2 \): \( 0.1 \log_2 \frac{0.1}{0.4 \times 0.3} \approx 0.1 \times (-1.73697) \approx -0.173697 \)
- 对于\( x_2, y_3 \): \( 0.1 \log_2 \frac{0.1}{0.4 \times 0.2} \approx 0.1 \times (-2.32193) \approx -0.232193 \)
将所有项相加：
\[ I(X;Y) \approx -(-0.173697 - 0.147394 - 0.232193 - 0.147394 - 0.173697 - 0.232193) = 1.106568 \]
因此，X和Y的互信息约为1.107比特。
通过以上两道典型习题的解答，我们可以看到信息论中的基本概念是如何应用到实际问题中的。希望这些解答能帮助大家更好地理解和掌握信息论的相关知识。
