(a) 四個結果等可能：\(H = \log_2 4 = 2\) bit。

(b) 逐項計算： \[H = -0.7 \log_2 0.7 - 0.2 \log_2 0.2 - 0.1 \log_2 0.1 = 0.3602 + 0.4644 + 0.3322 \approx 1.157 \text{ bit}.\]

(c) 三結果均勻分布的熵為 \(\log_2 3 \approx 1.585\) bit。\(1.157 < 1.585\)：偏斜的分布更可預測，熵必然更低——定理 12.3「均勻最大」的內容。

(d) \(H_{\mathrm{nat}} = 1.157 \times \ln 2 \approx 0.802\) nat。

(e) \(I = -\log_2 \tfrac{1}{64} = 6\) bit：機率每減半，驚訝度加一位元。

(f) \(\mathrm{PPL} = 2^{4.2} \approx 18.4\)：每步等效於在 \(18\) 個等可能選項中亂猜。單位驗證：\(2.9110 / \ln 2 \approx 4.20\) bit 一致，且 \(e^{2.9110} \approx 18.4 = 2^{4.2}\)：底數與單位配對，兩條路同一個答案。

(a) \[H(p) = -\tfrac14 \log_2 \tfrac14 - \tfrac34 \log_2 \tfrac34 = 0.25 \times 2 + 0.75 \times 0.4150 \approx 0.811 \text{ bit}.\]

(b) 模型均勻，每個結果的碼長都是 \(-\log_2 0.5 = 1\) bit，無論真相如何：\(H(p, q) = 1\) bit。KL 直接算： \[\KL(p \| q) = 0.25 \log_2 \frac{0.25}{0.5} + 0.75 \log_2 \frac{0.75}{0.5} = -0.25 + 0.75 \times 0.5850 \approx 0.189 \text{ bit}.\] 驗證：\(H(p) + \KL(p\|q) = 0.811 + 0.189 = 1.000 = H(p,q)\)。

(c) 設和取遍 \(p(x) > 0\) 的 \(x\)（其餘項按約定為零）， \[\KL(p \| q) = \sum_x p(x) \log \frac{p(x)}{q(x)} = \sum_x p(x) \log p(x) - \sum_x p(x) \log q(x) = -H(p) + H(p, q). \qquad \blacksquare\]

(a) one-hot 下損失只看正確類的機率：\(L_A = -\ln 0.7 \approx 0.357\) nat、\(L_B = -\ln 0.34 \approx 1.079\) nat。B 的損失約為 A 的三倍——即使 B「排序」也對了（\(0.34\) 是最大分量）：交叉熵看的是機率本身，不是排名。

(b) \(\dfrac{\dd L}{\dd q_c} = -\dfrac{1}{q_c}\)：在 \(q_c = 0.7\) 處為 \(-1.43\)、\(q_c = 0.1\) 處為 \(-10\)、\(q_c \to 0\) 時發散。模型給正確答案的機率越低（錯得越自信），損失曲面越陡、修正越猛。

(c) \(L = -\ln q_c = -z_c + \ln \sum_k e^{z_k}\)，對任意 \(j\) 微分： \[\frac{\partial L}{\partial z_j} = -\mathbf{1}\{j = c\} + \frac{e^{z_j}}{\sum_k e^{z_k}} = q_j - p_j. \qquad \blacksquare\] 梯度恰是預測分布減目標分布：正確類 \(q_c - 1 < 0\)（logit 抬高）、錯誤類 \(q_j > 0\)（logit 壓低）。

(a) 前向： \[\KL(p \| q) = 0.5 \ln \frac{0.5}{0.75} + 0.5 \ln \frac{0.5}{0.25} = 0.5 \bigl(\ln \tfrac23 + \ln 2\bigr) = 0.5 \ln \tfrac43 \approx 0.144 \text{ nat}.\] 反向： \[\KL(q \| p) = 0.75 \ln \tfrac32 - 0.25 \ln 2 \approx 0.304 - 0.173 = 0.131 \text{ nat}.\] \(0.144 \neq 0.131\)：不對稱。

(b) \(\KL(p \| r)\)：在 \(x = 2\) 處 \(p = 0.5 > 0\) 而 \(r = 0\)，該項為 \(0.5 \ln(0.5/0) = \infty\)，故 \(\KL(p \| r) = \infty\)。反方向： \[\KL(r \| p) = 1 \times \ln \frac{1}{0.5} + 0 = \ln 2 \approx 0.693 \text{ nat}\] （第二項按約定 \(0 \log 0 = 0\)）。同一對分布，一個方向無窮、另一方向 \(0.693\) nat——不對稱可以極端到這個程度，根源是支撐不匹配。

(c) 前向 KL（最大概似訓練）對「模型漏掉真相會出現的模式」施以無限重罰，MLE 訓練的生成模型因此傾向覆蓋所有資料模式、甚至過度平滑；反向 KL（變分推論）允許棄守部分眾數，變分近似後驗因此偏窄、低估不確定性（圖 2）。

(a) 利用 \(p(x, y) = p(x)\, p(y|x)\)： \[H(X, Y) = -\sum_{x,y} p(x,y) \bigl[\log p(x) + \log p(y|x)\bigr] = -\sum_{x} p(x) \log p(x) - \sum_{x,y} p(x,y) \log p(y|x),\] 即 \(H(X) + H(Y|X)\)（第一項用了 \(\sum_y p(x,y) = p(x)\)）。對稱論證給出 \(H(Y) + H(X|Y)\)。\(\blacksquare\)

(b) 展開定義中的對數： \[I(X;Y) = \sum_{x,y} p(x,y) \bigl[\log p(x,y) - \log p(x) - \log p(y)\bigr] = -H(X,Y) + H(X) + H(Y). \qquad \blacksquare\]

(c) 由 (b) 與 \(I(X;Y) \ge 0\)（定理 12.8 套用於 \(\KL(p_{X,Y} \| p_X \otimes p_Y)\)）： \[H(X,Y) = H(X) + H(Y) - I(X;Y) \le H(X) + H(Y),\] 再以 (a) 代換得 \(H(Y|X) \le H(Y)\)。兩式等號皆成立若且唯若 \(I(X;Y) = 0\)，即獨立（練習 12.7）。

(a) 列和與行和： \[p_X = \bigl(\tfrac12 + \tfrac18,\; \tfrac18 + \tfrac14\bigr) = \bigl(\tfrac58, \tfrac38\bigr), \qquad p_Y = \bigl(\tfrac58, \tfrac38\bigr).\]

(b) 邊際熵（兩者相同）： \[H(X) = H(Y) = -\tfrac58 \log_2 \tfrac58 - \tfrac38 \log_2 \tfrac38 = 0.625 \times 0.6781 + 0.375 \times 1.4150 \approx 0.954 \text{ bit}.\] 聯合熵（四格驚訝度為 \(1, 3, 3, 2\) bit）： \[H(X,Y) = \tfrac12(1) + \tfrac18(3) + \tfrac18(3) + \tfrac14(2) = 1.75 \text{ bit}.\]

(c) \(I(X;Y) = H(X) + H(Y) - H(X,Y) = 0.954 + 0.954 - 1.75 \approx 0.159\) bit。

(d) 四格的比值 \(p(x,y)/\bigl(p_X(x) p_Y(y)\bigr)\) 為 \[\frac{1/2}{25/64} = \frac{32}{25}, \qquad \frac{1/8}{15/64} = \frac{8}{15}\ (\times 2), \qquad \frac{1/4}{9/64} = \frac{16}{9},\] 代入： \[I = \tfrac12 \log_2 \tfrac{32}{25} + 2 \times \tfrac18 \log_2 \tfrac{8}{15} + \tfrac14 \log_2 \tfrac{16}{9} \approx 0.1781 - 0.1134 - 0.1134 + 0.2075 = 0.159 \text{ bit}. \checkmark\]

互資訊即 \(I(X;Y) = \KL\bigl(p_{X,Y} \,\|\, p_X \otimes p_Y\bigr)\)，其中 \(p_X \otimes p_Y\) 是合法分布（各格非負，總和 \(\bigl(\sum_x p_X\bigr)\bigl(\sum_y p_Y\bigr) = 1\)）。

（\(\Leftarrow\)）若獨立，\(p(x,y) = p_X(x) p_Y(y)\) 處處成立，每項的對數為 \(\log 1 = 0\)，故 \(I = 0\)。

（\(\Rightarrow\)）若 \(I = 0\)，由定理 12.8（Gibbs）的等號條件，KL 為零僅當兩分布完全相等： \[p(x, y) = p_X(x)\, p_Y(y) \quad \text{對所有 } (x, y),\] 正是獨立的定義。\(\blacksquare\)

以 nat 計（結論對任何底數成立）。目標：在 \(\sum_i p_i = 1\)、\(p_i > 0\) 的內部區域最大化 \(H(p) = -\sum_i p_i \ln p_i\)。

駐點。Lagrange 函數 \[\mathcal{L}(p, \lambda) = -\sum_{i=1}^{K} p_i \ln p_i + \lambda \Bigl(\sum_{i=1}^{K} p_i - 1\Bigr), \qquad \frac{\partial \mathcal{L}}{\partial p_i} = -\ln p_i - 1 + \lambda = 0 \;\Longrightarrow\; p_i = e^{\lambda - 1}.\] 右邊與 \(i\) 無關：所有 \(p_i\) 相等，由約束得 \(p_i = 1/K\)（均勻分布），此時 \(H = \ln K\)。

全域性（凹性）。\(\varphi(t) = -t \ln t\) 的二階導 \(\varphi''(t) = -1/t < 0\)，故每項嚴格凹，\(H\) 為凹函數之和；可行域（機率單體）是凸集。凹函數在凸集內部的駐點即全域最大，且由嚴格凹性唯一。

邊界。若某些 \(p_i = 0\)，問題退化為 \(K' < K\) 個結果上的同型問題，最大值 \(\ln K' < \ln K\)，不可能超越內部解。故均勻分布是唯一的最大熵分布，\(H_{\max} = \ln K\) nat \(= \log_2 K\) bit，與定理 12.3 的 Jensen 證明一致。\(\blacksquare\)

(a) 令 \(g(t) = \ln t - t + 1\)（\(t > 0\)）。\(g'(t) = \tfrac1t - 1\)：\(t < 1\) 時遞增、\(t > 1\) 時遞減，故 \(t = 1\) 是唯一極大點且 \(g(1) = 0\)。於是 \(\ln t \le t - 1\)，等號若且唯若 \(t = 1\)。\(\blacksquare\)

(b) 設 \(S = \{x : p(x) > 0\}\)。若 \(S\) 上某處 \(q(x) = 0\)，則 \(\KL(p\|q) = \infty \ge 0\)；以下設 \(q > 0\) 於 \(S\)。對每個 \(x \in S\) 取 \(t = q(x)/p(x)\) 套用 (a)： \[-\KL(p \| q) = \sum_{x \in S} p(x) \ln \frac{q(x)}{p(x)} \le \sum_{x \in S} p(x) \Bigl(\frac{q(x)}{p(x)} - 1\Bigr) = \sum_{x \in S} q(x) - 1 \le 0,\] 最後一步因 \(\sum_{x \in S} q(x) \le 1\)。故 \(\KL(p\|q) \ge 0\)。等號需兩處同時取等：(i) 每個 \(x \in S\) 上 \(q(x)/p(x) = 1\)；(ii) \(\sum_{x \in S} q(x) = 1\)，即 \(q\) 在 \(S\) 外無質量——合併得 \(q = p\) 處處成立。\(\blacksquare\)

entropy、cross_entropy、kl 三個函數沿用 12.5 節的實作（該版本已以遮罩正確處理 \(0 \log 0\)），以下列出三個驗證段：

(a) 每輪 assert 都通過：恆等式在浮點精度內成立；印出的兩欄（前向、反向 KL）每輪皆不同，展示不對稱性。(b) 輸出 \(0.5108, 0.5752, 0.6396, 0.7684\) nat：\(\varepsilon\) 越大、損失越高（\(\varepsilon = 0.1\) 與例 12.5 的手算一致）——不是變差，是損失地板從 \(0\) 抬升到 \(H(p^{\mathrm{ls}})\)。(c) 輸出 \(0.1589\) bit，與練習 12.6 的手算 \(0.159\) bit 一致。