寫出離散與連續的聯合分布，以邊際化與條件化回答機率問題，並判斷獨立性。
計算並詮釋共變異數與相關係數，說清楚「相關不是因果」與「零相關不是獨立」。
建構共變異數矩陣並證明其對稱半正定；用特徵分解找出主軸，連結 PCA 與白化。
寫出多元常態密度，解讀橢圓輪廓與馬氏距離；用封閉性與條件分布公式做預測。
用 NumPy 抽樣多元常態、估計共變異數矩陣與主軸，以模擬驗證本章公式。
到目前為止，我們一次只研究一個隨機變數。但幾乎所有有趣的問題都涉及多個變數之間的關係：身高與體重、廣告支出與銷售額、一封郵件的用詞與它是否為垃圾郵件。描述多個隨機變數的工具，就是聯合分布。
設 \(X, Y\) 是同一個隨機試驗中的兩個隨機變數。
離散情形：聯合機率質量函數（joint probability mass function）給出每一對取值同時發生的機率： \[p(x, y) = \Prob(X = x,\ Y = y), \qquad \sum_{x}\sum_{y} p(x,y) = 1.\]
連續情形：聯合機率密度函數（joint probability density function）\(f(x,y) \ge 0\) 滿足 \(\iint f(x,y)\dd x \dd y = 1\)，且對平面上任何區域 \(A\)， \[\Prob\bigl((X, Y) \in A\bigr) = \iint_{A} f(x, y) \dd x \dd y.\]
兩者都可以推廣到 \(n\) 個變數：\(p(x_1, \dots, x_n)\) 或 \(f(x_1, \dots, x_n)\)。
離散的聯合分布就是一張表格，連續的聯合密度則是一座曲面（機率是曲面下方的體積）；兩者都是「這組變數同時如何行為」的完整描述——邊際、條件、共變異數，一切都能從它算出來。從聯合分布讀出資訊的基本操作恰有兩種：
由聯合分布可以恢復出兩種「衍生」分布：
邊際分布（marginal distribution）：把不關心的變數加總（或積分）掉， \[p_X(x) = \sum_{y} p(x, y), \qquad f_X(x) = \int f(x, y) \dd y.\] 這個操作稱為邊際化（marginalization）。
條件分布（conditional distribution）：固定一個變數的值，再重新正規化， \[p_{Y \mid X}(y \mid x) = \frac{p(x, y)}{p_X(x)}, \qquad f_{Y \mid X}(y \mid x) = \frac{f(x, y)}{f_X(x)},\] （分母須為正）。這個操作稱為條件化（conditioning）。
把條件分布的定義移項，就得到第 2 章乘法法則的雙變數版本：\(p(x, y) = p_X(x)\, p_{Y\mid X}(y \mid x)\)。
隨機變數 \(X\) 與 \(Y\) 獨立（independent），若聯合分布在每一點都拆成邊際的乘積： \[p(x, y) = p_X(x)\, p_Y(y) \quad \text{對所有 } x, y\] （連續情形為 \(f(x,y) = f_X(x) f_Y(y)\)）。等價地，\(p_{Y \mid X}(y \mid x) = p_Y(y)\)：知道 \(X\) 完全不改變對 \(Y\) 的看法。只要有一格不滿足乘積關係，兩變數就相依（dependent）。
令 \(X \in \{0, 1\}\) 表示郵件是否為垃圾郵件（\(1\) = 垃圾），\(Y \in \{0, 1, 2\}\) 為「免費」一詞出現的次數（超過 2 次以 2 計）。歷史郵件統計出的聯合分布為：
| \(y=0\) | \(y=1\) | \(y=2\) | |
|---|---|---|---|
| \(x=0\)（正常信） | \(0.42\) | \(0.12\) | \(0.06\) |
| \(x=1\)（垃圾信） | \(0.08\) | \(0.12\) | \(0.20\) |
(a) 求兩個邊際分布。(b) 求垃圾信與正常信中 \(Y\) 的條件分布。(c) 看到「免費」出現 2 次，這封信是垃圾信的機率多大？(d) \(X\) 與 \(Y\) 獨立嗎？
(a) 六格加總為 \(1\)，合法。橫列相加得 \(p_X = (0.60, 0.40)\)——四成郵件是垃圾信；直行相加得 \(p_Y = (0.50, 0.24, 0.26)\)。邊際分布寫在表格「邊緣」，名稱由此而來。
(b) 固定 \(x\) 的橫列、除以該列總和： \[p_{Y\mid X}(y \mid 1) = \frac{(0.08, 0.12, 0.20)}{0.40} = (0.20,\ 0.30,\ 0.50), \qquad p_{Y\mid X}(y \mid 0) = (0.70,\ 0.20,\ 0.10).\] 垃圾信有五成機會出現兩次以上「免費」；正常信只有一成。
(c) 這次固定 \(y = 2\) 這一直行，除以 \(p_Y(2) = 0.26\)： \[\Prob(X = 1 \mid Y = 2) = \frac{0.20}{0.26} = \frac{10}{13} \approx 0.769.\] 沒讀信之前垃圾機率是 \(0.40\)，看到兩次「免費」後跳到 \(0.77\)——這正是第 2 章的貝氏定理：手上有聯合分布時，貝氏更新只是「換個方向切表格」。
(d) 檢查任何一格：\(p(1, 2) = 0.20 \ne p_X(1)\, p_Y(2) = 0.40 \times 0.26 = 0.104\)，故相依——這是好事，正因相依，字詞才對分類有資訊量。
設 \((X, Y)\) 的聯合密度為 \[f(x, y) = 2, \qquad 0 \le y \le x \le 1\] （三角形之外為 \(0\)；由面積 \(\tfrac12\) 可驗證總積分為 1）。求邊際密度、條件密度並判斷獨立性。
邊際化時要小心積分範圍：固定 \(x\) 時 \(y\) 只能在 \([0, x]\)，固定 \(y\) 時 \(x\) 只能在 \([y, 1]\)，故 \[f_X(x) = \int_{0}^{x} 2 \dd y = 2x, \qquad f_Y(y) = \int_{y}^{1} 2 \dd x = 2(1 - y).\] 聯合密度是「平的」，兩個邊際卻都不均勻：\(X\) 偏大、\(Y\) 偏小。條件化：\(f_{Y \mid X}(y \mid x) = 2/(2x) = 1/x\)（\(0 \le y \le x\)），即 \(Y \mid X = x \sim \mathrm{Uniform}(0, x)\)，故 \(\E[Y \mid X = x] = x/2\)——條件期望值是 \(x\) 的函數，這正是「迴歸函數」的雛形。獨立性：\(f(x,y) = 2 \ne f_X(x) f_Y(y) = 4x(1-y)\)，相依；更快的觀察是支撐（support）為三角形而非長方形——\(Y\) 的活動範圍隨 \(X\) 改變，變數幾乎注定相依。
把聯合分布想成一張表（離散）或一座山丘（連續）。邊際化是「壓扁」：沿著不關心的方向把整張表壓成一條，質量全部保留、細節全部犧牲。條件化是「切片」：沿著已知資訊切一刀，取出剖面，再放大到總機率為 1（除以邊際機率就是放大倍率）。一壓一切，是對聯合分布僅有的兩種查詢。最後一個提醒：邊際不足以決定聯合——「兩枚硬幣完全同步」與「兩枚硬幣獨立」的邊際一模一樣，耦合方式卻天差地遠；變數「如何綁在一起」的資訊只住在聯合分布裡。
每個機率模型終究是一張聯合分布的配方。拆解多變數聯合分布的萬用工具是連鎖律（chain rule）： \[p(x_1, x_2, \dots, x_n) = p(x_1)\, p(x_2 \mid x_1)\, p(x_3 \mid x_1, x_2) \cdots p(x_n \mid x_1, \dots, x_{n-1}).\] 大型語言模型逐字生成文字，正是沿著這條公式抽樣：每一步從「給定前文的條件分布」取一個 token。而若不做任何假設，\(n\) 個二元變數的聯合表有 \(2^n - 1\) 個自由參數——\(n = 300\) 就超過宇宙原子數。機器學習的核心技藝，正是用獨立性假設、條件分布的參數化（神經網路）或本章的高斯結構，把這張天文數字的表壓縮成學得動的形式。
共變異數與相關係數
聯合分布是完整的描述，但它是一整張表或一座曲面。實務上我們常想要一個單一數字來回答：「\(X\) 偏大時，\(Y\) 是傾向偏大還是偏小？」這個數字就是共變異數。
隨機變數 \(X, Y\) 的共變異數（covariance）定義為 \[\Cov(X, Y) = \E\bigl[(X - \E X)(Y - \E Y)\bigr] = \E[XY] - \E[X]\,\E[Y],\] 第二個等號是計算捷徑，把乘積展開、用期望值的線性即得。特別地，\(\Cov(X, X) = \Var(X)\)：變異數是共變異數的對角特例。
定義的幾何讀法：以均值點 \((\E X, \E Y)\) 為原點劃分四個象限，右上、左下象限的乘積 \((X - \E X)(Y - \E Y)\) 為正，另外兩象限為負；共變異數是這些貢獻的加權平均——正表示傾向同漲同跌、負表示一漲一跌、零表示沒有線性趨勢。
不過共變異數有單位的困擾：把身高從公分改成公尺，\(\Cov\) 立刻縮小 \(100\) 倍，關聯的強度卻沒變。解法是除以兩個標準差，把尺度歸一：
\(X, Y\) 的相關係數（correlation coefficient）為 \[\Corr(X, Y) = \rho_{XY} = \frac{\Cov(X, Y)}{\sigma_X\, \sigma_Y},\] 其中 \(\sigma_X, \sigma_Y\) 為標準差。相關係數無單位、對線性尺度變換不變，且恆有 \[-1 \le \rho_{XY} \le 1\] （證明見練習 5.9）。\(\rho = \pm 1\) 若且唯若 \(Y\) 是 \(X\) 的完美線性函數（斜率正負對應 \(\rho\) 的正負）；\(\rho = 0\) 稱為不相關（uncorrelated）。
用例 5.1 的垃圾郵件聯合表，計算 \(\Cov(X, Y)\) 與 \(\Corr(X, Y)\)。
由邊際分布： \[\E[X] = 0 \times 0.60 + 1 \times 0.40 = 0.40, \qquad \E[Y] = 0 \times 0.50 + 1 \times 0.24 + 2 \times 0.26 = 0.76.\] \(\E[XY]\) 要用聯合表——只有 \(x = 1\) 的橫列有貢獻： \[\E[XY] = 1 \cdot 0 \cdot 0.08 + 1 \cdot 1 \cdot 0.12 + 1 \cdot 2 \cdot 0.20 = 0.52.\] 代入捷徑公式： \[\Cov(X, Y) = 0.52 - 0.40 \times 0.76 = 0.52 - 0.304 = 0.216 > 0,\] 垃圾信與「免費」次數正相關，符合直覺。接著算兩個變異數： \[\Var(X) = 0.4 \times 0.6 = 0.24, \qquad \E[Y^2] = 0 \times 0.50 + 1 \times 0.24 + 4 \times 0.26 = 1.28,\] \[\Var(Y) = 1.28 - 0.76^2 = 0.7024.\] 因此 \[\Corr(X, Y) = \frac{0.216}{\sqrt{0.24}\,\sqrt{0.7024}} = \frac{0.216}{0.4899 \times 0.8381} \approx 0.526,\] 中等強度的正相關——而且這個數字不依賴 \(Y\) 的計數單位。
對任何隨機變數與常數 \(a, b, c, d\)：
對稱性：\(\Cov(X, Y) = \Cov(Y, X)\)。
雙線性：\(\Cov(aX + b,\ cY + d) = ac\,\Cov(X, Y)\)（平移不影響、尺度成倍進出）。
和的變異數： \[\Var(X + Y) = \Var(X) + \Var(Y) + 2\Cov(X, Y).\]
獨立 \(\Rightarrow\) 不相關：若 \(X, Y\) 獨立，則 \(\Cov(X, Y) = 0\)，且 \(\Var(X + Y) = \Var(X) + \Var(Y)\)。
證明 (1) 由定義顯然。(2)、(3) 留作練習 5.2（把定義展開即得）。(4) 若獨立，離散情形下 \[\E[XY] = \sum_x \sum_y x y\, p_X(x) p_Y(y) = \Bigl(\sum_x x\, p_X(x)\Bigr)\Bigl(\sum_y y\, p_Y(y)\Bigr) = \E[X]\,\E[Y],\] （連續情形把和換成積分），故 \(\Cov(X,Y) = \E[XY] - \E[X]\E[Y] = 0\)；代入 (3) 即得變異數可加。\(\blacksquare\)
性質 (4) 的箭頭方向至關重要：獨立保證不相關，但反過來不成立。下面是最著名的反例。
設 \(X\) 在 \(\{-1, 0, 1\}\) 上均勻取值，\(Y = X^2\)。證明 \(\Cov(X, Y) = 0\)，但 \(X, Y\) 相依。
先算需要的期望值： \[\E[X] = \frac{-1 + 0 + 1}{3} = 0, \qquad \E[XY] = \E[X^3] = \frac{(-1)^3 + 0^3 + 1^3}{3} = 0.\] 因此 \[\Cov(X, Y) = \E[XY] - \E[X]\,\E[Y] = 0 - 0 \cdot \E[Y] = 0,\] 相關係數也是 \(0\)。但 \(Y\) 完全由 \(X\) 決定——這是最強烈的相依！形式驗證：\(Y \in \{0, 1\}\) 且 \(\Prob(Y = 1) = \tfrac23\)，而 \[\Prob(Y = 1 \mid X = 1) = 1 \ne \tfrac23 = \Prob(Y = 1),\] 知道 \(X\) 徹底改變了對 \(Y\) 的看法。原因：\(X\) 增加時 \(Y\) 先降後升，正負貢獻在對稱之下恰好抵消——共變異數只偵測線性趨勢，對 U 形關係完全失明。
兩個必須刻在腦中的警告。 (1) 相關不是因果。冰淇淋銷量與溺水人數高度正相關，但禁售冰淇淋救不了任何人——共同的原因是夏天。強相關可能來自 \(X\) 影響 \(Y\)、\(Y\) 影響 \(X\)，或隱藏的共同原因（confounder）推動兩者；分辨因果需要隨機對照試驗或因果推論工具，光看相關永遠不夠。 (2) 零相關不是獨立。共變異數只量測線性關聯；例 5.4 的 \(Y = X^2\) 相關為零卻完全相依。正確的蘊涵鏈是：獨立 \(\Rightarrow\) 不相關，僅此一個方向。唯一例外在第 5.5 節：若 \((X, Y)\) 聯合服從多元常態，不相關與獨立等價。
共變異數矩陣：通往線性代數的橋
三個以上的變數怎麼辦？\(n\) 個變數有 \(n\) 個變異數、\(\binom{n}{2}\) 個兩兩共變異數，最自然的收納方式是一個矩陣。從這一節開始，機率論正式與線性代數會師。
把 \(n\) 個隨機變數疊成隨機向量（random vector）\(\bm{x} = (X_1, X_2, \dots, X_n)^{\top}\)。其均值向量為 \(\bm{\mu} = \E[\bm{x}] = (\E X_1, \dots, \E X_n)^{\top}\)，共變異數矩陣（covariance matrix）為 \[\Sigma = \E\bigl[(\bm{x} - \bm{\mu})(\bm{x} - \bm{\mu})^{\top}\bigr], \qquad \Sigma_{ij} = \Cov(X_i, X_j).\] 對角線元素 \(\Sigma_{ii} = \Var(X_i)\) 是各變數的變異數；非對角線元素記錄每一對變數的共動。
\(\Sigma\) 恆為對稱（symmetric）且半正定（positive semidefinite）矩陣： \[\Sigma = \Sigma^{\top}, \qquad \bm{a}^{\top} \Sigma\, \bm{a} \ge 0 \quad \text{對所有 } \bm{a} \in \mathbb{R}^n.\] 此外，對任何矩陣 \(A\) 與向量 \(\bm{b}\)，線性變換 \(\bm{y} = A\bm{x} + \bm{b}\) 的共變異數矩陣為 \[\Cov(A\bm{x} + \bm{b}) = A\, \Sigma\, A^{\top}.\]
證明 對稱性來自 \(\Cov(X_i, X_j) = \Cov(X_j, X_i)\)。半正定性有一個漂亮的一行證明： \[\bm{a}^{\top} \Sigma \bm{a} = \E\bigl[\bm{a}^{\top}(\bm{x}-\bm{\mu})(\bm{x}-\bm{\mu})^{\top}\bm{a}\bigr] = \E\bigl[\bigl((\bm{x}-\bm{\mu})^{\top}\bm{a}\bigr)^2\bigr] = \Var(\bm{a}^{\top}\bm{x}) \ge 0,\] 換句話說：任何投資組合（任何線性組合）的變異數都不可能是負的。線性變換公式同樣是定義的直接展開：\(\bm{y} - \E\bm{y} = A(\bm{x} - \bm{\mu})\)，故 \(\Cov(\bm{y}) = \E[A(\bm{x}-\bm{\mu})(\bm{x}-\bm{\mu})^{\top}A^{\top}] = A \Sigma A^{\top}\)。\(\blacksquare\)
對稱半正定矩陣正是線性代數中性質最好的一類矩陣。姊妹冊的譜定理（spectral theorem）告訴我們：
任何共變異數矩陣可分解為 \[\Sigma = Q \Lambda Q^{\top} = \sum_{i=1}^{n} \lambda_i\, \bm{v}_i \bm{v}_i^{\top},\] 其中 \(Q = [\bm{v}_1\ \cdots\ \bm{v}_n]\) 的直行是互相垂直的單位特徵向量（eigenvector），\(\Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_n)\) 收納對應的特徵值（eigenvalue），半正定保證 \(\lambda_i \ge 0\)。機率的詮釋：特徵向量是資料雲的主軸方向，且 \(\Var(\bm{v}_i^{\top}\bm{x}) = \bm{v}_i^{\top}\Sigma\bm{v}_i = \lambda_i\)——特徵值就是沿主軸的變異數；\(\bm{v}_1\)（最大特徵值的方向）是所有方向中變異最大的一個，即主成分分析（principal component analysis, PCA）的第一主成分。
把資料投影到前 \(k\) 個特徵向量上，就以最小的資訊犧牲把 \(n\) 維壓到 \(k\) 維——PCA 是最常用的降維方法，而它整件事就是對 \(\Sigma\) 做特徵分解。
求 \[\Sigma = \begin{pmatrix} 3 & 1.5 \\ 1.5 & 1 \end{pmatrix}\] 的特徵值、特徵向量，以及第一主成分解釋的變異比例。
特徵值：解特徵方程式 \(\det(\Sigma - \lambda I) = (3-\lambda)(1-\lambda) - 1.5^2 = \lambda^2 - 4\lambda + 0.75 = 0\)，得 \[\lambda = \frac{4 \pm \sqrt{16 - 3}}{2} = \frac{4 \pm \sqrt{13}}{2} \quad\Longrightarrow\quad \lambda_1 \approx 3.8028, \qquad \lambda_2 \approx 0.1972.\] 驗算：\(\lambda_1 + \lambda_2 = 4 = \operatorname{tr}\Sigma\)、\(\lambda_1 \lambda_2 = 0.75 = \det\Sigma\)，正確。
特徵向量：對 \(\lambda_1\)，解 \((\Sigma - \lambda_1 I)\bm{v} = \bm{0}\) 的第一列 \((3 - 3.8028)v_1 + 1.5 v_2 = 0\)，得 \(v_2 = 0.5352\, v_1\)，故 \[\bm{v}_1 \propto (1,\ 0.5352)^{\top} \quad\Longrightarrow\quad \hat{\bm{v}}_1 = (0.8817,\ 0.4719)^{\top},\] 方向角 \(\theta = \arctan(0.5352) \approx 28.2^{\circ}\)。\(\bm{v}_2\) 與之垂直：\(\hat{\bm{v}}_2 = (-0.4719,\ 0.8817)^{\top}\)（可驗證 \(\Sigma \hat{\bm{v}}_2 = \lambda_2 \hat{\bm{v}}_2\)）。
變異比例：第一主成分解釋 \(\lambda_1 / (\lambda_1 + \lambda_2) = 3.8028/4 \approx 95.1\%\) 的總變異。也就是說，把二維資料投影到 \(\hat{\bm{v}}_1\) 這條線上，只丟失約 \(4.9\%\) 的變異——降維幾乎是免費的。
特徵分解還送我們一個常用的預處理技術：白化（whitening）。定義 \(\bm{z} = \Lambda^{-1/2} Q^{\top} (\bm{x} - \bm{\mu})\)，即「先旋轉到主軸座標、再把每一軸除以自己的標準差」。由線性變換公式， \[\Cov(\bm{z}) = \Lambda^{-1/2} Q^{\top}\, \Sigma\, Q \Lambda^{-1/2} = \Lambda^{-1/2} \Lambda \Lambda^{-1/2} = I:\] 白化後的資料各分量變異數為 1、兩兩不相關，像「白雜訊」一樣沒有方向偏好；許多演算法以它作為預處理的第一步。
把 \(\Sigma\) 讀成資料雲的形狀說明書：對角線說「每個軸各自伸展多寬」，非對角線說「雲往哪個斜方向傾」；特徵分解把說明書翻譯成最直白的語言——「長軸朝 \(\bm{v}_1\)、伸展 \(\sqrt{\lambda_1}\)；短軸朝 \(\bm{v}_2\)、伸展 \(\sqrt{\lambda_2}\)」。也別忘了成本：\(\Sigma\) 有 \(n(n+1)/2\) 個參數，高維時往往估不動，實務上常用對角近似（忽略相關）或低秩近似（只留前幾個主成分）。
多元常態分布
單變數世界的主角是常態分布 \(\mathcal{N}(\mu, \sigma^2)\)（第 4 章）；向量世界的主角是它的推廣——多元常態：「均值」升級成均值向量、「變異數」升級成共變異數矩陣。
隨機向量 \(\bm{x} \in \mathbb{R}^n\) 服從多元常態分布（multivariate normal / Gaussian distribution）\(\mathcal{N}(\bm{\mu}, \Sigma)\)（\(\Sigma\) 為正定矩陣），若其密度為 \[f(\bm{x}) = \frac{1}{(2\pi)^{n/2}\, |\Sigma|^{1/2}} \exp\!\Bigl(-\tfrac{1}{2}\, (\bm{x} - \bm{\mu})^{\top} \Sigma^{-1} (\bm{x} - \bm{\mu})\Bigr),\] 其中 \(|\Sigma|\) 是行列式。\(n = 1\) 時退回熟悉的 \(\mathcal{N}(\mu, \sigma^2)\)。
\(n = 2\) 時把 \(\Sigma = \begin{pmatrix}\sigma_1^2 & \rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2 & \sigma_2^2\end{pmatrix}\) 代入，可展開成常用的二維常態形式： \[f(x_1, x_2) = \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}} \exp\!\left(-\frac{z_1^2 - 2\rho z_1 z_2 + z_2^2}{2(1 - \rho^2)}\right), \qquad z_i = \frac{x_i - \mu_i}{\sigma_i}.\] 從這條式子立刻看出一件單變數世界看不到的事：當 \(\rho = 0\) 時，密度拆成 \(z_1\) 的函數乘 \(z_2\) 的函數——對聯合常態而言，不相關就等於獨立。這是第 5.2 節警告「零相關 \(\ne\) 獨立」的唯一著名例外，成立的關鍵是「聯合」二字。
密度的幾何全部藏在指數裡的二次式。集合 \(\{\bm{x} : (\bm{x}-\bm{\mu})^{\top}\Sigma^{-1}(\bm{x}-\bm{\mu}) = c^2\}\) 是以 \(\bm{\mu}\) 為中心的橢圓（橢球）：代入 \(\Sigma = Q\Lambda Q^{\top}\) 可知它沿特徵向量 \(\bm{v}_i\) 定向、半軸長為 \(c\sqrt{\lambda_i}\)。三種特例值得記住——球形 \(\Sigma = \sigma^2 I\)：正圓輪廓，密度只依賴歐氏距離；對角 \(\Sigma\)：與座標軸對齊的橢圓，各分量獨立；一般 \(\Sigma\)：橢圓被拉伸並旋轉，方向由特徵向量決定（圖 5.3）。
多元常態完全由兩個物件決定：均值向量 \(\bm{\mu}\)（中心在哪）與共變異數矩陣 \(\Sigma\)（雲長什麼形狀）。指數中的二次式是馬氏距離的平方——沿各主軸「以標準差為單位」度量的距離，密度沿其等高線遞減。它是唯一在邊際化、條件化、線性變換下都能完全解析求解的向量連續分布——在機器學習中無所不在，不是因為世界都是高斯的，而是因為高斯算得動、又足夠有表達力。
點 \(\bm{x}\) 到中心 \(\bm{\mu}\)（相對於共變異數 \(\Sigma\)）的馬氏距離（Mahalanobis distance）為 \[d_{\Sigma}(\bm{x}, \bm{\mu}) = \sqrt{(\bm{x} - \bm{\mu})^{\top} \Sigma^{-1} (\bm{x} - \bm{\mu})}.\] 當 \(\Sigma = \sigma^2 I\) 時退化為 \(\lVert \bm{x} - \bm{\mu} \rVert / \sigma\)：以標準差為單位的歐氏距離。更漂亮的觀點：馬氏距離就是白化後的歐氏距離——令 \(\bm{z} = \Lambda^{-1/2}Q^{\top}(\bm{x} - \bm{\mu})\)，即有 \(\lVert \bm{z} \rVert = d_{\Sigma}(\bm{x}, \bm{\mu})\)。
設 \(\bm{\mu} = \bm{0}\)、\(\Sigma = \begin{pmatrix} 1 & 0.9 \\ 0.9 & 1 \end{pmatrix}\)（兩變數高度正相關）。比較點 \(\bm{a} = (1, 1)^{\top}\) 與 \(\bm{b} = (1, -1)^{\top}\) 到中心的兩種距離。
兩點的歐氏距離相同：\(\lVert \bm{a} \rVert = \lVert \bm{b} \rVert = \sqrt{2} \approx 1.414\)。馬氏距離則需要 \[\Sigma^{-1} = \frac{1}{1 - 0.9^2}\begin{pmatrix} 1 & -0.9 \\ -0.9 & 1 \end{pmatrix} = \frac{1}{0.19}\begin{pmatrix} 1 & -0.9 \\ -0.9 & 1 \end{pmatrix}.\] 對 \(\bm{a} = (1,1)^{\top}\)，二次式為 \((1 - 2 \times 0.9 + 1)/0.19 = 0.2/0.19 \approx 1.053\)；對 \(\bm{b} = (1,-1)^{\top}\) 則是 \((1 + 2 \times 0.9 + 1)/0.19 = 3.8/0.19 = 20\)。故 \[d_{\Sigma}(\bm{a}, \bm{0}) = \sqrt{1.053} \approx 1.026, \qquad d_{\Sigma}(\bm{b}, \bm{0}) = \sqrt{20} \approx 4.472.\] 歐氏眼中等距的兩點，馬氏眼中差了 \(4.4\) 倍！\(\rho = 0.9\) 的資料雲沿 \((1,1)\) 方向拉得很長（變異數 \(1 + \rho = 1.9\)）、沿 \((1,-1)\) 方向極窄（\(1 - \rho = 0.1\)）：\(\bm{a}\) 順著雲走是尋常樣本，\(\bm{b}\) 逆著雲走是重大異常。距離必須用資料自己的尺度來量——這正是馬氏距離驅動異常偵測的原理。
「每個分量各自是常態」並不保證整個向量是多元常態——「聯合高斯」是比「邊際高斯」強得多的條件。經典反例：\(X \sim \mathcal{N}(0,1)\)，\(S\) 為與 \(X\) 獨立的隨機正負號，令 \(Y = SX\)。可驗證 \(Y \sim \mathcal{N}(0,1)\) 且 \(\Cov(X, Y) = \E[S]\,\E[X^2] = 0\)，但 \(|Y| = |X|\) 永遠成立——強烈相依，且 \(X + Y\) 有一半機率恰等於 \(0\)，根本不是常態。「不相關 \(\Rightarrow\) 獨立」只適用於聯合常態；看到兩個邊際都是鐘形就套用高斯性質，是真實發生過的建模事故。
封閉性：邊際、條件與線性變換
多元常態之所以是機器學習的主力，關鍵不只是密度公式，而是它的封閉性（closure）：對聯合分布做我們關心的每一種操作，結果仍是多元常態。
設 \(\bm{x} \sim \mathcal{N}(\bm{\mu}, \Sigma)\)。
線性變換：對任何矩陣 \(A\) 與向量 \(\bm{b}\)， \[A\bm{x} + \bm{b} \sim \mathcal{N}\bigl(A\bm{\mu} + \bm{b},\ A \Sigma A^{\top}\bigr).\] 特例：任何線性組合 \(\bm{a}^{\top}\bm{x}\) 都是一維常態；兩個獨立常態向量之和仍是常態。
邊際化：任何子向量仍是多元常態，參數就是 \(\bm{\mu}\) 與 \(\Sigma\) 中對應的區塊。
條件化：給定部分分量的值，其餘分量的條件分布仍是多元常態（公式見定理 5.13）。
不相關 \(\iff\) 獨立：聯合常態的兩個分量若共變異數為零，則它們獨立。
封閉性 (1) 也解釋了電腦如何抽樣多元常態：取 \(\bm{z} \sim \mathcal{N}(\bm{0}, I)\)，找任何滿足 \(LL^{\top} = \Sigma\) 的 \(L\)（如 Cholesky 分解），則 \(\bm{\mu} + L\bm{z} \sim \mathcal{N}(\bm{\mu}, \Sigma)\)——VAE 的重參數化技巧（reparameterization trick）用的正是這條式子。
把 \(\bm{x} \sim \mathcal{N}(\bm{\mu}, \Sigma)\) 分割成兩塊： \[\bm{x} = \begin{pmatrix} \bm{x}_1 \\ \bm{x}_2 \end{pmatrix}, \qquad \bm{\mu} = \begin{pmatrix} \bm{\mu}_1 \\ \bm{\mu}_2 \end{pmatrix}, \qquad \Sigma = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}.\] 則觀測到 \(\bm{x}_2\) 之後， \[\bm{x}_1 \mid \bm{x}_2 \sim \mathcal{N}\bigl(\bm{\mu}_{1|2},\ \Sigma_{1|2}\bigr), \qquad \bm{\mu}_{1|2} = \bm{\mu}_1 + \Sigma_{12} \Sigma_{22}^{-1} (\bm{x}_2 - \bm{\mu}_2), \qquad \Sigma_{1|2} = \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.\] 二維特例（\(X_1, X_2\) 聯合常態、相關係數 \(\rho\)）： \[X_1 \mid X_2 = x_2 \ \sim\ \mathcal{N}\!\Bigl(\mu_1 + \rho \frac{\sigma_1}{\sigma_2}(x_2 - \mu_2),\ \ \sigma_1^2 (1 - \rho^2)\Bigr).\]
（證明用配方法把聯合密度整理成「條件 \(\times\) 邊際」，冗長但直接，此處省略。）三個值得咀嚼的讀法：條件均值是 \(x_2\) 的線性函數，觀測值高於均值多少，預測就按比例 \(\rho\sigma_1/\sigma_2\)（迴歸係數 \(\Sigma_{12}\Sigma_{22}^{-1}\)）調整——這是線性迴歸的分布論起源；條件變異數不依賴觀測值且 \(\sigma_1^2(1-\rho^2) \le \sigma_1^2\)——資訊永不增加不確定性，\(\rho^2\) 正是「被解釋掉」的變異比例；\(\rho = 0\) 時條件分布退回邊際分布——再次印證聯合常態下不相關即獨立。
假設父親身高 \(F \sim \mathcal{N}(172, 6^2)\)、兒子身高 \(S \sim \mathcal{N}(174, 6^2)\)（單位 cm），兩者聯合常態、相關係數 \(\rho = 0.5\)。(a) 已知父親身高 \(190\)，預測兒子身高。(b) 兒子超過 \(190\) 的機率多大？
(a) 套用條件公式： \[\E[S \mid F = 190] = 174 + 0.5 \times \frac{6}{6} \times (190 - 172) = 174 + 9 = 183,\] 而 \(\Var(S \mid F = 190) = 36(1 - 0.25) = 27\)，標準差 \(\sqrt{27} \approx 5.2\)。注意這裡的驚奇：父親比平均高了 \(18\) cm，兒子卻預期只比平均高 \(9\) cm——極端的父親傾向生出沒那麼極端的兒子。這個現象稱為迴歸向平均（regression to the mean），是 Galton 在 1886 年研究身高遺傳時發現的，「迴歸」一詞就從這裡進入統計學。
(b) 標準化：\(\Prob(S > 190 \mid F = 190) = \Prob\bigl(Z > (190 - 183)/5.2\bigr) = \Prob(Z > 1.35) \approx 0.089\)——即使父親身高 \(190\)，兒子超過 \(190\) 的機率也不到一成。
常見誤解：迴歸向平均不是「身高一代代收斂到平均」——條件化是雙向的（兒子很高時，父親的條件期望同樣較靠近平均），收縮只發生在條件預測裡。
封閉性是高斯的超能力。取邊際、取條件、疊加雜訊、線性投影——只要從高斯出發，結果永遠留在高斯家族，參數更新只需線性代數。高斯過程把函數視為無限維高斯向量，觀測幾點後直接用條件公式給出預測曲線與不確定帶；卡爾曼濾波器每個時刻用線性變換封閉性做預測、用條件公式吸收新觀測。這些方法能精確求解、不需近似，全靠封閉性；一旦離開高斯家族，貝氏更新幾乎都得動用近似推論。
共變異數矩陣與多元常態位居古典與現代機器學習的心臟。PCA——最常用的降維方法——就是 \(\Sigma\) 的特徵分解：保留頂部特徵向量，把上千維的特徵壓到幾十維；白化把資料變換到 \(\Sigma = I\)，是標準預處理。VAE 的潛在先驗是 \(\mathcal{N}(\bm{0}, I)\)，訓練用 \(\bm{z} = \bm{\mu} + \bm{\sigma} \odot \bm{\varepsilon}\) 重參數化——正是線性變換封閉性；擴散模型的前向過程反覆疊加高斯雜訊，把圖片分布推向 \(\mathcal{N}(\bm{0}, I)\)，再學習逆轉。高斯過程以多元常態作為函數的先驗、卡爾曼濾波器以它追蹤動態系統、高斯判別分析假設每類是一個高斯。馬氏距離驅動異常偵測：對正常資料擬合 \((\bm{\mu}, \Sigma)\)，新樣本馬氏距離過大即報警。當模型回報「預測的共變異數」，它正是在用本章的語言表達相關的不確定性：哪些量會一起錯、往哪個方向錯。
Python 實作
理論之後，動手驗證。以下程式示範：抽樣相關的二維高斯並恢復 \(\Sigma\) 與主軸、零相關但相依的反例，以及條件常態的「迴歸向平均」。
import numpy as np
rng = np.random.default_rng(42)
# — 1. 抽樣相關二維高斯，恢復共變異數矩陣與主軸 — mu = np.array([0.0, 0.0]) Sigma = np.array([[3.0, 1.5], [1.5, 1.0]]) X = rng.multivariate_normal(mu, Sigma, size=100_000)
S = np.cov(X.T) # 樣本共變異數矩陣 print(np.round(S, 3)) # 接近 [[3, 1.5], [1.5, 1]]
lam, Q = np.linalg.eigh(S) # 特徵分解（特徵值由小到大） print(np.round(lam, 3)) # 約 [0.197, 3.803] = (4 -+ sqrt(13))/2 print(np.round(Q[:, 1], 3)) # 第一主軸 [0.882, 0.472]（符號可翻轉）
# — 2. 零相關但不獨立：Y = X^2 — x = rng.uniform(-1.0, 1.0, size=1_000_000) y = x ** 2 print(np.corrcoef(x, y)[0, 1]) # 約 0：相關係數看不見 print(np.corrcoef(np.abs(x), y)[0, 1]) # 約 0.97：關聯其實極強
# — 3. 條件常態＝迴歸向平均：父高 190，兒子平均約 183 — C = np.array([[36.0, 18.0], [18.0, 36.0]]) # Cov = 0.5 * 6 * 6 = 18 FS = rng.multivariate_normal([172.0, 174.0], C, size=2_000_000) sel = np.abs(FS[:, 0] - 190.0) < 0.5 # 父親身高約 190 的家庭 print(FS[sel, 1].mean()) # 約 183 = 174 + 0.5*(190-172)
幾個輸出值得對照理論：區塊 1 的樣本特徵值 \(\approx (0.197, 3.803)\) 與例 5.5 的 \((4 \mp \sqrt{13})/2\) 吻合（特徵向量正負號可整體翻轉，屬正常現象）；區塊 2 並列了本章的核心教訓——同一組資料，\(\Corr(X, Y) \approx 0\) 而 \(\Corr(|X|, Y) \approx 0.97\)，「零相關」與「無關聯」是兩回事；區塊 3 用模擬驗證條件公式：父親約 190 cm 的家庭，兒子平均正是理論值 183 cm，而非天真的 192 cm。
聯合分布（表格或密度曲面）是多變數行為的完整描述；對它只有兩種基本查詢：邊際化（把不關心的變數加總／積分掉）與條件化（切片再重新正規化）。邊際分布不足以決定聯合分布。
共變異數 \(\Cov(X,Y) = \E[XY] - \E[X]\E[Y]\) 度量線性共動；相關係數把它正規化到 \([-1, 1]\)。獨立 \(\Rightarrow\) 不相關，但反之不成立（\(Y = X^2\) 反例）；相關也不是因果（共同原因）。
共變異數矩陣 \(\Sigma = \E[(\bm{x}-\bm{\mu})(\bm{x}-\bm{\mu})^{\top}]\) 對稱、半正定（\(\bm{a}^{\top}\Sigma\bm{a} = \Var(\bm{a}^{\top}\bm{x}) \ge 0\)）；其特徵向量是資料雲的主軸、特徵值是沿主軸的變異數——特徵分解就是 PCA，\(\Lambda^{-1/2}Q^{\top}\) 就是白化。
多元常態 \(\mathcal{N}(\bm{\mu}, \Sigma)\) 完全由中心與形狀兩個參數決定；等密度輪廓是沿特徵向量定向的橢球，半軸長 \(\propto \sqrt{\lambda_i}\)；指數中的二次式是馬氏距離的平方——白化後的歐氏距離。
多元常態的封閉性：線性變換、邊際、條件之後仍是高斯；條件公式 \(\bm{\mu}_{1|2} = \bm{\mu}_1 + \Sigma_{12}\Sigma_{22}^{-1}(\bm{x}_2 - \bm{\mu}_2)\) 是高斯過程與卡爾曼濾波器可精確求解的引擎，也帶出迴歸向平均。
聯合常態下不相關 \(\iff\) 獨立——但「邊際皆常態」不等於「聯合常態」。這套語言支撐 PCA、白化、VAE 與擴散模型的先驗、高斯過程、卡爾曼濾波器與馬氏距離異常偵測。
練習題
建議先獨立完成再對照詳解；最後一題為程式實作。
某網路商店統計顧客「是否使用折價券」（\(X = 1\) 表示使用）與「單筆購買件數」\(Y \in \{1, 2, 3\}\) 的聯合分布：
| \(y=1\) | \(y=2\) | \(y=3\) | |
|---|---|---|---|
| \(x=0\) | \(0.15\) | \(0.25\) | \(0.10\) |
| \(x=1\) | \(0.05\) | \(0.15\) | \(0.30\) |
(a) 求兩個邊際分布。(b) 求條件分布 \(p_{Y\mid X}(y \mid 1)\) 與 \(p_{Y \mid X}(y \mid 0)\)，並計算 \(\E[Y \mid X = 1]\) 與 \(\E[Y \mid X = 0]\)。(c) \(X\) 與 \(Y\) 獨立嗎？(d) 計算 \(\E[XY]\)、\(\Cov(X, Y)\) 與 \(\Corr(X, Y)\)。(e) 由 (d) 的正號能否斷言「使用折價券導致顧客多買」？
證明共變異數的兩條代數性質：(a) \(\Cov(aX + b,\ cY + d) = ac\,\Cov(X, Y)\)；(b) \(\Var(X + Y) = \Var(X) + \Var(Y) + 2\Cov(X, Y)\)。(c) 由 (a) 推論：相關係數在正尺度變換（\(a, c > 0\)）下不變；並說明 \(\Var(X+Y) = \Var(X) + \Var(Y)\) 成立的充要條件是「不相關」而非「獨立」。
設 \((X, Y)\) 的聯合密度為 \(f(x, y) = x + y\)（\(0 \le x, y \le 1\)）。(a) 驗證 \(f\) 是合法的聯合密度。(b) 求邊際密度 \(f_X, f_Y\)。(c) 求條件密度 \(f_{Y \mid X}(y \mid x)\)，並寫出 \(x = 0\) 時的特例。(d) 判斷 \(X, Y\) 是否獨立。(e) 計算 \(\Cov(X, Y)\) 與 \(\Corr(X, Y)\)。
對共變異數矩陣 \(\Sigma = \begin{psmallmatrix} 5 & 2 \\ 2 & 2 \end{psmallmatrix}\)：(a) 求特徵值與單位特徵向量。(b) 驗證兩特徵向量互相垂直，並驗證 \(\Sigma = \lambda_1 \bm{v}_1\bm{v}_1^{\top} + \lambda_2 \bm{v}_2\bm{v}_2^{\top}\)。(c) 第一主成分方向為何？它解釋總變異的多少比例？
(a) 設 \(\bm{\mu} = \bm{0}\)、\(\Sigma = \operatorname{diag}(9, 1)\)。計算點 \((3, 0)\) 與 \((0, 3)\) 的歐氏距離與馬氏距離，並解釋兩者排序為何不同。(b) 改取 \(\Sigma = \begin{psmallmatrix} 1 & 0.8 \\ 0.8 & 1 \end{psmallmatrix}\)，計算點 \((1, 1)\) 與 \((1, -1)\) 的馬氏距離。(c) 證明當 \(\Sigma = \sigma^2 I\) 時，馬氏距離退化為 \(\lVert \bm{x} - \bm{\mu} \rVert / \sigma\)。
某課程期中考 \(X_2 \sim \mathcal{N}(65, 8^2)\)、期末考 \(X_1 \sim \mathcal{N}(70, 10^2)\)，兩者聯合常態、\(\rho = 0.6\)。一位學生期中考得 \(81\) 分。(a) 求期末成績的條件分布。(b) 求該生期末超過 \(90\) 分的機率。(c) 若完全不知道期中成績，期末超過 \(90\) 分的機率是多少？比較兩者。(d) 條件標準差與非條件標準差的比值是多少？它依賴觀測到的分數嗎？
對 \(\Sigma = \begin{psmallmatrix} 3 & 1 \\ 1 & 3 \end{psmallmatrix}\)：(a) 求特徵分解 \(\Sigma = Q \Lambda Q^{\top}\)。(b) 寫出白化矩陣 \(W = \Lambda^{-1/2} Q^{\top}\)。(c) 驗證 \(W \Sigma W^{\top} = I\)。(d) 白化矩陣唯一嗎？請說明。
概念題。(a) 「各縣市的冰淇淋銷量與溺水人數正相關」與「小學生的鞋號與識字量正相關」各隱藏著什麼共同原因？若據此禁售冰淇淋或給孩子買大鞋，會發生什麼事？(b) 為什麼隨機對照試驗能夠切斷共同原因的影響、讓相關反映因果？(c) 「\(\Corr(X,Y) = 0\)」能否推出「\(X, Y\) 無關聯」？請舉反例。(d) 在哪一類分布家族中，零相關確實蘊涵獨立？
證明 \(-1 \le \Corr(X, Y) \le 1\)。提示：考慮標準化變數 \(X^* = (X - \E X)/\sigma_X\)、\(Y^* = (Y - \E Y)/\sigma_Y\)，並利用 \(\Var(X^* \pm Y^*) \ge 0\)。並證明：\(\rho = \pm 1\) 若且唯若 \(Y\) 幾乎必然是 \(X\) 的線性函數（斜率符號與 \(\rho\) 一致）。
(a) 證明任何共變異數矩陣 \(\Sigma\) 都是半正定的：對所有 \(\bm{a} \in \mathbb{R}^n\)，\(\bm{a}^{\top}\Sigma\bm{a} \ge 0\)。(b) 證明 \(\Sigma\) 奇異（存在 \(\bm{a} \ne \bm{0}\) 使 \(\bm{a}^{\top}\Sigma\bm{a} = 0\)）若且唯若某個非平凡線性組合 \(\bm{a}^{\top}\bm{x}\) 幾乎必然是常數，並舉一個具體例子。(c) 說明奇異的 \(\Sigma\) 對馬氏距離與多元常態密度造成什麼麻煩，實務上如何補救。
用 NumPy 完成：(a) 從 \(\mathcal{N}\bigl(\bm{0}, \begin{psmallmatrix} 3 & 1.5 \\ 1.5 & 1 \end{psmallmatrix}\bigr)\) 抽取 \(200{,}000\) 個樣本，用 np.cov 估計共變異數矩陣、np.linalg.eigh 求特徵值，並與例 5.5 的理論值 \((4 \pm \sqrt{13})/2\) 比較。(b) 讓 \(X\) 均勻取值於 \(\{-1, 0, 1\}\)、\(Y = X^2\)，用 np.corrcoef 驗證相關約為 \(0\)，再用條件比例（例如 \(\Prob(Y = 1 \mid X = 1)\) 與 \(\Prob(Y = 1)\)）驗證兩者相依。
練習題詳解
(a) 橫列相加：\(p_X(0) = 0.15 + 0.25 + 0.10 = 0.50\)，\(p_X(1) = 0.05 + 0.15 + 0.30 = 0.50\)。直行相加：\(p_Y(1) = 0.20\)、\(p_Y(2) = 0.40\)、\(p_Y(3) = 0.40\)。（檢查：各自總和為 1。）
(b) 用折價券的顧客： \[p_{Y\mid X}(y \mid 1) = \frac{(0.05, 0.15, 0.30)}{0.50} = (0.1,\ 0.3,\ 0.6), \qquad \E[Y \mid X = 1] = 0.1 + 0.6 + 1.8 = 2.5.\] 不用折價券的顧客： \[p_{Y\mid X}(y \mid 0) = \frac{(0.15, 0.25, 0.10)}{0.50} = (0.3,\ 0.5,\ 0.2), \qquad \E[Y \mid X = 0] = 0.3 + 1.0 + 0.6 = 1.9.\] 用券顧客平均多買 \(0.6\) 件。
(c) 檢查一格即可：\(p(1, 3) = 0.30\)，而 \(p_X(1)\, p_Y(3) = 0.50 \times 0.40 = 0.20 \ne 0.30\)，故不獨立（獨立需要每一格都等於乘積，一格反例即可否定）。
(d) \(\E[X] = 0.5\)，\(\E[Y] = 1 \times 0.2 + 2 \times 0.4 + 3 \times 0.4 = 2.2\)；\(\E[XY]\) 只有 \(x = 1\) 橫列有貢獻： \[\E[XY] = 1 \times 0.05 + 2 \times 0.15 + 3 \times 0.30 = 1.25, \qquad \Cov(X, Y) = 1.25 - 0.5 \times 2.2 = 0.15 > 0.\] 變異數：\(\Var(X) = 0.5 \times 0.5 = 0.25\)；\(\E[Y^2] = 1 \times 0.2 + 4 \times 0.4 + 9 \times 0.4 = 5.4\)，故 \(\Var(Y) = 5.4 - 2.2^2 = 0.56\)。因此 \[\Corr(X, Y) = \frac{0.15}{\sqrt{0.25}\sqrt{0.56}} = \frac{0.15}{0.5 \times 0.7483} \approx 0.401.\]
(e) 不能。正號只說明「使用折價券」與「多買」同向出現：可能是折價券刺激購買，也可能本來就打算大買的顧客更會去找折價券（自我選擇），或兩者同受促銷檔期驅動。區分這些解釋需要隨機對照試驗（隨機發放折價券），見練習 5.8。
(a) 記 \(\mu_X = \E X\)、\(\mu_Y = \E Y\)。則 \(\E[aX + b] = a\mu_X + b\)，故 \[\begin{align*} \Cov(aX + b,\ cY + d) &= \E\bigl[(aX + b - a\mu_X - b)(cY + d - c\mu_Y - d)\bigr] \\ &= \E\bigl[ac (X - \mu_X)(Y - \mu_Y)\bigr] = ac\,\Cov(X, Y). \end{align*}\] 平移常數 \(b, d\) 完全消失；尺度 \(a, c\) 各自提出一次。
(b) 展開平方： \[\begin{align*} \Var(X + Y) &= \E\bigl[\bigl((X - \mu_X) + (Y - \mu_Y)\bigr)^2\bigr] \\ &= \E[(X-\mu_X)^2] + \E[(Y-\mu_Y)^2] + 2\,\E[(X-\mu_X)(Y-\mu_Y)] \\ &= \Var(X) + \Var(Y) + 2\Cov(X, Y). \end{align*}\]
(c) 由 (a)，當 \(a, c > 0\)： \[\Corr(aX+b,\ cY+d) = \frac{ac\,\Cov(X,Y)}{(a\sigma_X)(c\sigma_Y)} = \Corr(X, Y),\] （若 \(ac < 0\) 則變號）——相關係數量的是「關聯的形狀」，與單位無關。由 (b)，\(\Var(X+Y) = \Var(X) + \Var(Y)\) 若且唯若 \(\Cov(X, Y) = 0\)：不相關就夠了，獨立是充分但非必要條件。
(a) 在 \([0,1]^2\) 上 \(f = x + y \ge 0\)，且 \(\int_0^1\!\!\int_0^1 (x + y) \dd y \dd x = \int_0^1 (x + \tfrac12) \dd x = 1\)。
(b) \(f_X(x) = \int_0^1 (x + y)\dd y = x + \tfrac12\)（\(0 \le x \le 1\)）；由對稱性 \(f_Y(y) = y + \tfrac12\)。
(c) \(f_{Y \mid X}(y \mid x) = \dfrac{x + y}{x + \tfrac12}\)（\(0 \le y \le 1\)）。特例 \(x = 0\)：\(f_{Y\mid X}(y \mid 0) = 2y\)——一條往右上傾的三角形密度（檢查 \(\int_0^1 2y \dd y = 1\)）。
(d) \(f_X(x) f_Y(y) = (x + \tfrac12)(y + \tfrac12) \ne x + y\)（例如在 \((0,0)\)：左邊 \(= \tfrac14\)、右邊 \(= 0\)），故相依。
(e) 先算各期望值：\(\E[X] = \int_0^1 x(x + \tfrac12)\dd x = \tfrac13 + \tfrac14 = \tfrac{7}{12} = \E[Y]\)， \[\E[XY] = \int_0^1\!\!\int_0^1 xy(x + y) \dd x \dd y = \int\! x^2 \dd x \int\! y \dd y + \int\! x \dd x \int\! y^2 \dd y = \tfrac13 \cdot \tfrac12 + \tfrac12 \cdot \tfrac13 = \tfrac13,\] 故 \(\Cov(X, Y) = \tfrac13 - (\tfrac{7}{12})^2 = \tfrac{48}{144} - \tfrac{49}{144} = -\tfrac{1}{144}\)。再算 \(\E[X^2] = \int_0^1 x^2(x + \tfrac12)\dd x = \tfrac14 + \tfrac16 = \tfrac{5}{12}\)，得 \(\Var(X) = \tfrac{5}{12} - \tfrac{49}{144} = \tfrac{11}{144} = \Var(Y)\)。因此 \[\Corr(X, Y) = \frac{-1/144}{11/144} = -\frac{1}{11} \approx -0.091.\] 負號說得通：密度偏好 \(x + y\) 大的角落，一個變數大時另一個可以稍小。驗證：\(\E[Y \mid X = x] = (3x + 2)/(6x + 3)\) 是 \(x\) 的遞減函數，與負相關一致。
(a) 特徵方程式： \[\det\begin{pmatrix} 5 - \lambda & 2 \\ 2 & 2 - \lambda \end{pmatrix} = \lambda^2 - 7\lambda + (10 - 4) = (\lambda - 6)(\lambda - 1) = 0,\] 得 \(\lambda_1 = 6\)、\(\lambda_2 = 1\)。對 \(\lambda_1 = 6\)：\((5-6)v_1 + 2v_2 = 0 \Rightarrow v_1 = 2v_2\)，取 \[\bm{v}_1 = \frac{1}{\sqrt5}\begin{pmatrix} 2 \\ 1 \end{pmatrix}; \qquad \text{對 } \lambda_2 = 1:\ 4v_1 + 2v_2 = 0 \Rightarrow \bm{v}_2 = \frac{1}{\sqrt5}\begin{pmatrix} 1 \\ -2 \end{pmatrix}.\]
(b) \(\bm{v}_1^{\top}\bm{v}_2 = \tfrac{1}{5}(2 \times 1 + 1 \times (-2)) = 0\)，垂直。重建： \[6\,\bm{v}_1\bm{v}_1^{\top} + 1\,\bm{v}_2\bm{v}_2^{\top} = \frac{6}{5}\begin{pmatrix} 4 & 2 \\ 2 & 1 \end{pmatrix} + \frac{1}{5}\begin{pmatrix} 1 & -2 \\ -2 & 4 \end{pmatrix} = \frac{1}{5}\begin{pmatrix} 25 & 10 \\ 10 & 10 \end{pmatrix} = \begin{pmatrix} 5 & 2 \\ 2 & 2 \end{pmatrix}. \checkmark\]
(c) 第一主成分方向是 \(\bm{v}_1 = (2, 1)^{\top}/\sqrt5\)（斜率 \(\tfrac12\) 的直線方向），解釋比例 \(\lambda_1/(\lambda_1 + \lambda_2) = 6/7 \approx 85.7\%\)：投影到這條線上保留約六分之五的變異。
(a) 兩點的歐氏距離都是 \(3\)。馬氏距離：\(d\bigl((3,0)\bigr) = \sqrt{3^2/9} = 1\)、\(d\bigl((0,3)\bigr) = \sqrt{3^2/1} = 3\)。第一軸標準差是 \(3\)，\((3, 0)\) 只是「一個標準差」的尋常波動；第二軸標準差是 \(1\)，\((0,3)\) 是三個標準差的稀有事件——馬氏距離用「每個方向自己的尺度」重新量距離。
(b) \(\det \Sigma = 1 - 0.64 = 0.36\)， \[\Sigma^{-1} = \frac{1}{0.36}\begin{pmatrix} 1 & -0.8 \\ -0.8 & 1 \end{pmatrix}.\] 對 \((1,1)\)：\(d^2 = \dfrac{1 - 1.6 + 1}{0.36} = \dfrac{0.4}{0.36} = \dfrac{10}{9}\)，故 \(d = \sqrt{10}/3 \approx 1.054\)。 對 \((1,-1)\)：\(d^2 = \dfrac{1 + 1.6 + 1}{0.36} = \dfrac{3.6}{0.36} = 10\)，故 \(d = \sqrt{10} \approx 3.162\)。 兩點歐氏距離同為 \(\sqrt2\)，馬氏距離卻差 \(3\) 倍：\((1,1)\) 順著正相關的資料雲、\((1,-1)\) 逆著雲。
(c) \(\Sigma = \sigma^2 I\) 時 \(\Sigma^{-1} = I/\sigma^2\)，故 \[d_{\Sigma}(\bm{x}, \bm{\mu}) = \sqrt{\frac{(\bm{x}-\bm{\mu})^{\top}(\bm{x}-\bm{\mu})}{\sigma^2}} = \frac{\lVert \bm{x} - \bm{\mu} \rVert}{\sigma}.\]
(a) 套用條件公式（定理 5.13 的二維特例）： \[\E[X_1 \mid X_2 = 81] = 70 + 0.6 \times \frac{10}{8} \times (81 - 65) = 70 + 0.75 \times 16 = 82,\] 而 \(\Var(X_1 \mid X_2 = 81) = 10^2(1 - 0.6^2) = 64\)，即 \(X_1 \mid X_2 = 81 \sim \mathcal{N}(82, 8^2)\)。
(b) \(\Prob(X_1 > 90 \mid X_2 = 81) = \Prob\bigl(Z > (90 - 82)/8\bigr) = \Prob(Z > 1) \approx 0.159\)。
(c) 無條件時 \(X_1 \sim \mathcal{N}(70, 10^2)\)，故 \(\Prob(X_1 > 90) = \Prob(Z > 2) \approx 0.023\)。知道期中考得好，把「期末破 90」的機率從 \(2.3\%\) 拉到 \(15.9\%\)——條件化就是吸收資訊。
(d) 比值 \(= \sqrt{1 - \rho^2} = \sqrt{0.64} = 0.8\)，與觀測到的分數無關：不論期中幾分，不確定性都縮小同樣比例——高斯世界的特色，一般分布未必如此。
(a) 特徵方程式 \(\det(\Sigma - \lambda I) = (3-\lambda)^2 - 1 = 0\)，得 \(\lambda_1 = 4\)、\(\lambda_2 = 2\)；特徵向量分別為 \((1,1)^{\top}/\sqrt2\) 與 \((1,-1)^{\top}/\sqrt2\)（驗證：\(\Sigma(1,1)^{\top} = (4,4)^{\top}\)、\(\Sigma(1,-1)^{\top} = (2,-2)^{\top}\)）。故 \(Q = \frac{1}{\sqrt2}\begin{psmallmatrix} 1 & 1 \\ 1 & -1 \end{psmallmatrix}\)、\(\Lambda = \begin{psmallmatrix} 4 & 0 \\ 0 & 2 \end{psmallmatrix}\)。
(b) \[W = \Lambda^{-1/2} Q^{\top} = \begin{pmatrix} \tfrac12 & 0 \\ 0 & \tfrac{1}{\sqrt2} \end{pmatrix} \frac{1}{\sqrt2}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} \tfrac{1}{2\sqrt2} & \tfrac{1}{2\sqrt2} \\[2pt] \tfrac12 & -\tfrac12 \end{pmatrix}.\]
(c) 利用 \(Q^{\top} \Sigma Q = \Lambda\)：\(W \Sigma W^{\top} = \Lambda^{-1/2} (Q^{\top} \Sigma Q) \Lambda^{-1/2} = \Lambda^{-1/2} \Lambda \Lambda^{-1/2} = I\)。（也可數值驗算：\(\bm{w}_1^{\top}\Sigma\bm{w}_1 = \tfrac18 (1,1)\Sigma(1,1)^{\top} = \tfrac18 \times 8 = 1\)。）
(d) 不唯一：若 \(W\) 是白化矩陣、\(U\) 是任意正交矩陣，則 \((UW)\Sigma(UW)^{\top} = UIU^{\top} = I\)——白化後的資料再怎麼旋轉仍是白的。常見選擇：PCA 白化（本題的 \(\Lambda^{-1/2}Q^{\top}\)）與 ZCA 白化（\(\Sigma^{-1/2} = Q\Lambda^{-1/2}Q^{\top}\)）。
(a) 冰淇淋與溺水的共同原因是夏季高溫：天氣熱，吃冰與玩水的人同時變多。鞋號與識字量的共同原因是年齡：孩子越大，腳越大、識字也越多。介入下游變數不會改變共同原因——禁售冰淇淋不會讓夏天消失，買大鞋不會讓孩子早慧；相關照舊，因果從未存在。
(b) 隨機對照試驗把「誰接受處理」交給隨機化決定，處理組與對照組在其他所有因素（含看不見的共同原因）上分布相同，兩組結果的差異只能來自處理本身——隨機化切斷了「共同原因 \(\to\) 處理」這條路。
(c) 不能。零相關只排除線性關聯：例 5.4 的 \(Y = X^2\) 相關為零，但 \(Y\) 由 \(X\) 完全決定；改算 \(|X|\) 與 \(Y\) 的相關，會發現關聯極強。
(d) 聯合多元常態家族：其密度在 \(\rho = 0\) 時剛好因式分解，零相關即獨立。前提是「聯合」常態——邊際皆常態但聯合非常態時（第 5.4 節陷阱框的 \(Y = SX\)），零相關仍可能高度相依。
標準化 \(X^* = (X - \E X)/\sigma_X\)、\(Y^* = (Y - \E Y)/\sigma_Y\)，則 \(\Var(X^*) = \Var(Y^*) = 1\)，且 \(\Cov(X^*, Y^*) = \rho\)（用練習 5.2 的雙線性）。由變異數非負與和的公式： \[0 \le \Var(X^* \pm Y^*) = 1 + 1 \pm 2\rho = 2(1 \pm \rho) \quad\Longrightarrow\quad \rho \ge -1 \text{ 且 } \rho \le 1.\] （這其實是 Cauchy–Schwarz 不等式 \(|\E[UV]| \le \sqrt{\E[U^2]\E[V^2]}\) 取 \(U = X - \E X\)、\(V = Y - \E Y\) 的機率版本。）
等號條件：\(\rho = 1\) 時 \(\Var(X^* - Y^*) = 0\)，而變異數為零的隨機變數幾乎必然等於其均值（此處為 \(0\)），故 \(Y^* = X^*\) 幾乎必然，展開得 \(Y = \E Y + \frac{\sigma_Y}{\sigma_X}(X - \E X)\)：一條斜率為正的直線；同理 \(\rho = -1\) 給出斜率為負的直線。反之若 \(Y = aX + b\)（\(a \ne 0\)），由雙線性 \(\rho = a\sigma_X^2 / (\sigma_X \cdot |a|\sigma_X) = \operatorname{sign}(a)\)。故 \(|\rho| = 1\) 恰好刻畫完美線性關係。
(a) 對任意 \(\bm{a}\)： \[\bm{a}^{\top} \Sigma \bm{a} = \bm{a}^{\top} \E\bigl[(\bm{x}-\bm{\mu})(\bm{x}-\bm{\mu})^{\top}\bigr] \bm{a} = \E\bigl[\bigl(\bm{a}^{\top}(\bm{x}-\bm{\mu})\bigr)^2\bigr] \ge 0,\] 中間把常數向量 \(\bm{a}\) 移進期望值（線性），平方項非負故期望值非負。又 \(\E[\bm{a}^{\top}(\bm{x}-\bm{\mu})] = 0\)，所以這個量正是 \(\Var(\bm{a}^{\top}\bm{x})\)：任何線性組合的變異數都非負。
(b) 由 (a) 的等式，\(\bm{a}^{\top}\Sigma\bm{a} = 0 \iff \Var(\bm{a}^{\top}\bm{x}) = 0 \iff \bm{a}^{\top}\bm{x}\) 幾乎必然等於常數——資料被線性等式束縛、整團躺在低維超平面上。例：\(X_2 = 2X_1\)、\(\Var(X_1) = 1\)，則 \(\Sigma = \begin{psmallmatrix} 1 & 2 \\ 2 & 4 \end{psmallmatrix}\) 奇異，取 \(\bm{a} = (2, -1)^{\top}\) 得 \(\Var(2X_1 - X_2) = 0\)。
(c) 奇異時 \(\Sigma^{-1}\) 不存在：馬氏距離與多元常態密度都無法定義。補救：刪除共線的冗餘特徵、用偽逆（pseudo-inverse），或正則化——以 \(\Sigma + \varepsilon I\) 取代 \(\Sigma\)；樣本數少於維度時樣本共變異數必然奇異，正則化幾乎是標準動作。
參考程式與輸出：
import numpy as np rng = np.random.default_rng(0)
# (a) 抽樣、估計共變異數、特徵分解 Sigma = np.array([[3.0, 1.5], [1.5, 1.0]]) X = rng.multivariate_normal([0.0, 0.0], Sigma, size=200_000) S = np.cov(X.T) lam, Q = np.linalg.eigh(S) print(np.round(S, 3)) # 約 [[3.003, 1.500], [1.500, 0.999]] print(np.round(lam, 4)) # 約 [0.1972, 3.8028] = (4 -+ sqrt(13))/2
# (b) 零相關但相依 x = rng.choice([-1, 0, 1], size=1_000_000) y = x ** 2 print(round(float(np.corrcoef(x, y)[0, 1]), 4)) # 約 0.00x print(y[x == 1].mean(), y.mean()) # P(Y=1|X=1) = 1.0，P(Y=1) 約 0.667
(a) 樣本共變異數與真值偏差約 \(10^{-2}\) 量級（以 \(1/\sqrt{N}\) 收斂）；特徵值與 \((4 \pm \sqrt{13})/2\) 一致。(b) 樣本相關約 \(0\)，但 \(\Prob(Y{=}1 \mid X{=}1) = 1 \ne \Prob(Y{=}1) \approx \tfrac23\)，鐵證相依——相關係數的沉默，不代表變數之間沒有故事。
下一章：極限定理——大數法則與中央極限定理，「平均」為何是統計學最可靠的武器。