【信息论与编码第二版第2章习题答案】在信息论与编码课程中，第二章通常围绕信息的基本概念、熵的定义及其性质展开。这一章是整个课程的基础，理解好这些内容对于后续学习信源编码、信道编码等知识具有重要意义。以下是对《信息论与编码（第二版）》第二章部分典型习题的详细解答与分析，旨在帮助学习者更好地掌握相关知识点。
一、熵的概念与计算
例题1：
设一个离散信源有三个符号 $ a_1, a_2, a_3 $，其概率分布为 $ P(a_1) = 0.5, P(a_2) = 0.25, P(a_3) = 0.25 $，求该信源的熵。
解：
根据熵的定义，信源的熵 $ H(X) $ 为：
$$
H(X) = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i)
$$
代入数据：
$$
H(X) = -[0.5 \log_2 0.5 + 0.25 \log_2 0.25 + 0.25 \log_2 0.25]
$$
计算每一项：
- $ 0.5 \log_2 0.5 = 0.5 \times (-1) = -0.5 $
- $ 0.25 \log_2 0.25 = 0.25 \times (-2) = -0.5 $
因此，
$$
H(X) = -[ -0.5 -0.5 -0.5 ] = 1.5 \text{ bit}
$$
二、联合熵与条件熵
例题2：
已知两个随机变量 $ X $ 和 $ Y $ 的联合概率分布如下表所示：
| | $ y_1 $ | $ y_2 $ |
|-------|-----------|-----------|
| $ x_1 $ | 0.1 | 0.2 |
| $ x_2 $ | 0.3 | 0.4 |
求 $ H(X,Y) $ 和 $ H(Y|X) $。
解：
首先计算联合熵 $ H(X,Y) $：
$$
H(X,Y) = -\sum_{x,y} P(x,y) \log_2 P(x,y)
$$
代入数值：
$$
H(X,Y) = -[0.1 \log_2 0.1 + 0.2 \log_2 0.2 + 0.3 \log_2 0.3 + 0.4 \log_2 0.4]
$$
计算各项：
- $ 0.1 \log_2 0.1 \approx 0.1 \times (-3.3219) = -0.3322 $
- $ 0.2 \log_2 0.2 \approx 0.2 \times (-2.3219) = -0.4644 $
- $ 0.3 \log_2 0.3 \approx 0.3 \times (-1.7369) = -0.5211 $
- $ 0.4 \log_2 0.4 \approx 0.4 \times (-1.3219) = -0.5288 $
总和：
$$
H(X,Y) = -(-0.3322 -0.4644 -0.5211 -0.5288) = 1.8465 \text{ bit}
$$
接下来计算条件熵 $ H(Y|X) $，其公式为：
$$
H(Y|X) = \sum_x P(x) H(Y|x)
$$
先计算边缘分布 $ P(x_1), P(x_2) $：
- $ P(x_1) = 0.1 + 0.2 = 0.3 $
- $ P(x_2) = 0.3 + 0.4 = 0.7 $
再计算每个条件熵 $ H(Y|x_1) $ 和 $ H(Y|x_2) $：
- $ H(Y|x_1) = -[0.1/0.3 \log_2 (0.1/0.3) + 0.2/0.3 \log_2 (0.2/0.3)] $
- $ H(Y|x_2) = -[0.3/0.7 \log_2 (0.3/0.7) + 0.4/0.7 \log_2 (0.4/0.7)] $
分别计算后，得到：
- $ H(Y|x_1) \approx 0.9183 $
- $ H(Y|x_2) \approx 0.9852 $
最终：
$$
H(Y|X) = 0.3 \times 0.9183 + 0.7 \times 0.9852 \approx 0.964 \text{ bit}
$$
三、互信息与信息增益
例题3：
设 $ X $ 和 $ Y $ 是两个相互独立的随机变量，证明 $ I(X;Y) = 0 $。
证明：
根据互信息的定义：
$$
I(X;Y) = H(X) - H(X|Y)
$$
由于 $ X $ 和 $ Y $ 独立，所以 $ H(X|Y) = H(X) $，因此：
$$
I(X;Y) = H(X) - H(X) = 0
$$
同样地，也可以用对称性说明：
$$
I(X;Y) = H(Y) - H(Y|X) = 0
$$
这表明，当两个变量独立时，它们之间没有共享的信息。
四、总结
第二章的内容主要围绕信息量、熵、联合熵、条件熵以及互信息展开。通过本章的学习，我们能够理解信息的不确定性如何量化，并掌握如何利用这些度量来分析通信系统中的信息传输效率。
在实际应用中，这些概念是设计高效编码方案、评估信道容量以及优化信息传输策略的基础。希望以上习题解析能帮助读者加深对信息论核心概念的理解，为进一步学习打下坚实基础。
