(a) \(\bar{x} = 2\)、\(\bar{y} = 20/5 = 4\)。離差為 \(x_i - \bar{x} = (-2, -1, 0, 1, 2)\)、\(y_i - \bar{y} = (-3, -1, 0, 0, 4)\)，故 \[S_{xy} = 6 + 1 + 0 + 0 + 8 = 15, \qquad S_{xx} = 4 + 1 + 0 + 1 + 4 = 10,\] 得 \(\hat{w} = 15/10 = 1.5\)，\(\hat{b} = 4 - 1.5 \times 2 = 1\)，\(\hat{y} = 1.5x + 1\)。

(b) 每多讀一小時，分數平均提高 \(1.5\) 分；完全不讀書的預期分數為 \(1\) 分（截距）。

(c) \(\hat{y}(2.5) = 1.5 \times 2.5 + 1 = 4.75\) 分——落在資料範圍 \([0,4]\) 內，屬內插，可信。\(x = 40\) 給出 \(\hat{y} = 61\) 分，遠超滿分 10 分：資料範圍外的外插毫無根據，線性關係（且分數有上限）早已失效。

(a) 擬合值 \(\hat{y} = 1.5x + 1\) 依序為 \(1, 2.5, 4, 5.5, 7\)；殘差 \(e_i = y_i - \hat{y}_i\) 為 \[0,\quad 0.5,\quad 0,\quad -1.5,\quad 1,\] 總和 \(0 + 0.5 + 0 - 1.5 + 1 = 0\)，驗證通過（含截距的最小平方必然如此）。

(b) \[\mathrm{SSE} = 0 + 0.25 + 0 + 2.25 + 1 = 3.5,\qquad \mathrm{SST} = 9 + 1 + 0 + 0 + 16 = 26,\] \[R^2 = 1 - \frac{3.5}{26} = \frac{22.5}{26} \approx 0.865.\]

(c) 分數變異的約 \(86.5\%\) 可由讀書時數的線性關係解釋。但 \(R^2\) 只度量關聯不度量因果：可能是「本來就擅長此科的人讀得更起勁」，或有第三變數（睡眠、興趣）同時驅動兩者。要談因果需要實驗設計或因果推論工具，迴歸本身給不了。

(a) \(z = 2(1) - 1 - 0.5 = 0.5\)， \[p = \sigma(0.5) = \frac{1}{1 + e^{-0.5}} = \frac{1}{1 + 0.6065} \approx 0.622 > 0.5,\] 判為盜刷。（對數勝算 \(0.5\)，勝算 \(e^{0.5} \approx 1.65\)。）

(b) \(z = 2(0.5) - 2 - 0.5 = -1.5\)，\(p = \sigma(-1.5) = 1 - \sigma(1.5) \approx 1 - 0.818 = 0.182 < 0.5\)，判為正常。

(c) 決策邊界為 \(z = 0\)：\(2x_1 - x_2 - 0.5 = 0\)，即直線 \(x_2 = 2x_1 - 0.5\)。直線上方（\(x_2\) 較大，老帳戶）判為正常、下方判為盜刷——邏輯斯迴歸是線性分類器。

(d) \(\sigma(z) \ge 0.9 \iff z \ge \log\dfrac{0.9}{0.1} = \log 9 \approx 2.197\)。

(a) 配對結果：

(b) 理由一：卜瓦松均值必須為正，\(\mu = e^{\eta}\) 對任何 \(\eta \in \mathbb{R}\) 自動保證 \(\mu > 0\)；恆等連結 \(\mu = \eta\) 可能給出負的均值，模型自相矛盾。理由二：對數連結給出乘法效應的自然解讀（每單位 \(x\) 讓均值乘上 \(e^{w}\)），符合計數現象常見的倍增結構；此外它是卜瓦松的典型連結，使 NLL 對參數為凸、梯度呈「預測減實際」的乾淨形式。

(a) 各筆獨立且 \(y_i \mid \bm{x}_i \sim \mathcal{N}(\bm{w}^{\top}\bm{x}_i + b, \sigma^2)\)： \[\ell(\bm{w}, b, \sigma^2) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}\bigl(y_i - \bm{w}^{\top}\bm{x}_i - b\bigr)^2.\] 固定 \(\sigma^2\) 時，第一項是常數、第二項係數為負，最大化 \(\ell\) 等價於最小化 \(\mathrm{SSE}(\bm{w}, b)\)——MLE 即最小平方解。

(b) 記最小化後的殘差平方和為 \(\widehat{\mathrm{SSE}}\)，令 \(\partial\ell/\partial\sigma^2 = -\dfrac{n}{2\sigma^2} + \dfrac{\widehat{\mathrm{SSE}}}{2\sigma^4} = 0\)，解得 \(\hat{\sigma}^2 = \widehat{\mathrm{SSE}}/n\)（可驗證是最大值點）。

(c) 損失是「負對數雜訊密度」的化身。Laplace 密度 \(\propto e^{-|t|/s}\) 的負對數是 \(|t|/s\) 加常數，故 MLE 等價於最小化絕對誤差和 \(\sum_i |y_i - \bm{w}^{\top}\bm{x}_i - b|\)（最小絕對偏差迴歸，對離群點更穩健）。高斯給 \(L^2\)、Laplace 給 \(L^1\)：換分布就換損失，正是「機率模型與損失函數是同一件事的兩面」。

(a) 取負對數： \[-\log L = -\sum_{i=1}^{n}\Bigl[y_i \log p_i + (1 - y_i)\log(1 - p_i)\Bigr],\] 即二元交叉熵。最大化概似＝最小化交叉熵。

(b) \(y = 1\) 時只剩 \(-\log p\)。若模型自信地答錯（\(p \to 0\) 但 \(y = 1\)），\(-\log p \to \infty\)：交叉熵對「過度自信的錯誤」施以無上限的懲罰，逼模型輸出誠實的機率。

(c) 平方損失 \(\ell = (p - y)^2\) 經 \(p = \sigma(z)\) 的連鎖法則： \[\frac{\partial \ell}{\partial z} = 2(p - y)\,\sigma'(z) = 2(p - y)\,p(1 - p).\] 在 \(p \approx 0\)、\(y = 1\)（大錯特錯）時，因子 \(p(1-p) \approx 0\) 使梯度趨近 \(0\)——模型「站在錯誤裡動彈不得」（梯度消失），且此損失對 \(z\) 非凸。交叉熵的梯度是 \(p - y\)，此時約為 \(-1\)：錯得越離譜、修正力道越大，而且目標函數是凸的。這就是分類問題採用交叉熵而非平方損失的核心理由。

(a) \(x = 0\) 時 \(\mu = e^{0.8} \approx 2.2255\)。 \[\Prob(Y = 3) = e^{-\mu}\frac{\mu^3}{3!} = e^{-2.2255} \times \frac{11.02}{6} \approx 0.1080 \times 1.837 \approx 0.198.\]

(b) \(x\) 每增加 \(1\)，\(\log\mu\) 增加 \(0.3\)，故 \(\mu\) 乘上 \(e^{0.3} \approx 1.3499\)——增加約 \(35\%\)。對數連結把「線性的加法」翻譯成「均值的乘法」。

(c) 以 \(\mu = e^{z}\)、\(z = b + wx\) 代入單筆 NLL（略去與參數無關的 \(\log(y!)\)）： \[\mathrm{NLL}(z) = e^{z} - y z \quad\Longrightarrow\quad \frac{\partial \mathrm{NLL}}{\partial z} = e^{z} - y = \mu - y,\] 再乘上 \(\partial z/\partial w = x\) 得 \((\mu - y)x\)。全體資料相加即 \(\sum_i(\mu_i - y_i)x_i\)。

(d) 恆等連結 \(\mu = b + wx\) 無法保證 \(\mu > 0\)：只要 \(x\) 落在某個範圍，模型就宣稱「平均來電數為負」，概似（含 \(\log\mu\)）直接未定義；優化時必須加約束，凸性與數值穩定性也一併惡化。對數連結一勞永逸地解決這些問題。

(a) 訓練與驗證誤差幾乎相同、皆遠高於目標：高偏差（欠擬合）。處方：加大模型容量、增加特徵或非線性轉換、減弱正則化、訓練更久。

(b) 訓練近乎完美、驗證落後 15 個百分點：高變異數（過度擬合）。處方：更多資料、資料增強、加強正則化（調大 \(\lambda\)、dropout）、縮小模型、early stopping。

(c) 兩個誤差都低於目標 \(1\%\)：已達標。收工部署，之後監控資料飄移即可；再堆容量只是徒增過度擬合風險。

(d) 訓練誤差暴升且與驗證誤差貼近：正則化過強，被推入欠擬合。處方：把 \(\lambda\) 調回中間值——用交叉驗證在 \(\lambda\) 網格上掃描，找 U 形谷底。

「蒐集更多資料」只對 (b) 有效：更多資料壓低變異數，但對偏差無能為力——(a)、(d) 的瓶頸是模型太僵硬（或被懲罰得太僵硬），資料再多也學不出它表達不了的模式。

(a) 第一式：\(\dfrac{\partial}{\partial w_j}\sum_k a_k w_k = a_j\)，收集所有分量即 \(\nabla_{\bm{w}}(\bm{w}^{\top}\bm{a}) = \bm{a}\)。第二式： \[\frac{\partial}{\partial w_j}\sum_{k,l} A_{kl} w_k w_l = \sum_{l} A_{jl} w_l + \sum_{k} A_{kj} w_k = (A\bm{w})_j + (A^{\top}\bm{w})_j,\] 即 \(\nabla = (A + A^{\top})\bm{w}\)；\(A\) 對稱時為 \(2A\bm{w}\)。

(b) 展開 \[L(\bm{w}) = (\bm{y} - X\bm{w})^{\top}(\bm{y} - X\bm{w}) = \bm{y}^{\top}\bm{y} - 2\bm{w}^{\top}X^{\top}\bm{y} + \bm{w}^{\top}(X^{\top}X)\bm{w}.\] 以 (a) 求梯度（\(X^{\top}X\) 對稱）：\(\nabla L = -2X^{\top}\bm{y} + 2X^{\top}X\bm{w}\)；設為零即 \(X^{\top}X\bm{w} = X^{\top}\bm{y}\)。

(c) 對任意 \(\bm{v}\)：\(\bm{v}^{\top}(2X^{\top}X)\bm{v} = 2\|X\bm{v}\|^2 \ge 0\)，Hessian 半正定，\(L\) 為凸函數，故駐點是全域最小值。

(d) \(X^{\top}X\) 不可逆 \(\iff\) \(X\) 的行（特徵）線性相依。具體例：同一溫度以攝氏、華氏各放一欄（\(x_F = 1.8\,x_C + 32\)，與截距欄合成線性相依）。此時解不唯一：沿 \(X^{\top}X\) 零空間平移，擬合值與訓練誤差完全不變，解集是仿射子空間。lstsq 以最小範數解回應；脊迴歸加上 \(\lambda I\) 後恢復唯一性。

(a) \(J(\bm{w}) = \|\bm{y} - X\bm{w}\|^2 + \lambda\bm{w}^{\top}\bm{w}\)。梯度為 \[\nabla J = -2X^{\top}\bm{y} + 2X^{\top}X\bm{w} + 2\lambda\bm{w} = \bm{0} \quad\Longrightarrow\quad (X^{\top}X + \lambda I)\,\bm{w} = X^{\top}\bm{y},\] 故 \(\hat{\bm{w}}_{\lambda} = (X^{\top}X + \lambda I)^{-1}X^{\top}\bm{y}\)。Hessian \(2(X^{\top}X + \lambda I)\) 正定（見 (b)），故為唯一全域最小。

(b) 對任意 \(\bm{v} \ne \bm{0}\)： \[\bm{v}^{\top}(X^{\top}X + \lambda I)\bm{v} = \|X\bm{v}\|^2 + \lambda\|\bm{v}\|^2 \ge \lambda\|\bm{v}\|^2 > 0,\] 矩陣正定故可逆——不論 \(X\) 是否共線。這就是脊迴歸「治好」共線性的原因。

(c) 中心化單特徵時 \(X^{\top}X = S_{xx}\)、\(X^{\top}\bm{y} = S_{xy}\)（皆為純量），故 \[\hat{w}_{\lambda} = \frac{S_{xy}}{S_{xx} + \lambda} = \frac{S_{xx}}{S_{xx} + \lambda}\cdot\frac{S_{xy}}{S_{xx}} = \frac{S_{xx}}{S_{xx} + \lambda}\,\hat{w}_{\mathrm{OLS}},\] 縮小因子 \(S_{xx}/(S_{xx}+\lambda) \in (0, 1]\)。

(d) 後驗 \(\propto\) 概似 \(\times\) 先驗： \[p(\bm{w} \mid \text{資料}) \propto \exp\Bigl(-\frac{\|\bm{y} - X\bm{w}\|^2}{2\sigma^2}\Bigr) \exp\Bigl(-\frac{\|\bm{w}\|^2}{2\tau^2}\Bigr).\] 取負對數並乘以 \(2\sigma^2\)（不影響最小化位置）： \[\hat{\bm{w}}_{\mathrm{MAP}} = \arg\min_{\bm{w}}\ \|\bm{y} - X\bm{w}\|^2 + \frac{\sigma^2}{\tau^2}\|\bm{w}\|^2,\] 正是脊迴歸，且 \(\lambda = \sigma^2/\tau^2\)：雜訊越大或先驗越緊（\(\tau^2\) 越小），懲罰越重。「正則化＝先驗」由此坐實。

(a) 古典圖像：複雜度低時偏差高（欠擬合）、高時變異數高（過度擬合），期望測試誤差呈 U 形，最佳點在中間（圖 10.4）。

(b) 參數量跨過內插門檻（恰能把訓練資料背到零誤差）時，測試誤差先衝到峰值，隨後在超大參數化區再度下降——曲線出現第二次下降，故名 double descent。

(c) 不矛盾。分解式 \(\E[(y-\hat{f})^2] = \text{偏差}^2 + \text{變異數} + \sigma^2\) 是代數恆等式，在任何複雜度都成立；會變的是偏差與變異數隨複雜度變化的形狀。古典 U 形假設「變異數單調上升」，這在超大參數化區失效：內插解有無窮多個，訓練演算法（如 SGD、最小範數解）隱性偏好平滑的那一個，這種隱式正則化使變異數在門檻後反而回落。

(d) 實務準則：不要用「參數多寡」推斷泛化好壞，永遠用驗證集或交叉驗證直接測量泛化誤差；在資源允許下，「加大模型＋適當正則化＋early stopping」常是安全的預設。

參考程式與輸出：

(a) 印出約 \([1.0,\ 2.0,\ -0.5]\)：最小平方精準恢復真實權重。(b) 隨 \(\lambda\) 增大，三個係數同步縮向 \(0\)、範數單調下降。(c) 梯度下降收斂到約 \((3.0, -1.0)\)，親證例 10.3 的「預測減實際」梯度。