Toán học và Thống kê
Xác suất, thống kê, lý thuyết trò chơi và toán học đằng sau học máy, kèm ví dụ giải chi tiết.
隨機試驗、樣本空間與事件
機率理論的第一步,是替「不確定的事情」建立一套精確的詞彙。日常語言說「擲骰子可能出現很多情況」,數學語言則把「所有可能情況」整理成一個集合,並把「我們關心的情況」定義為它的子集合。
Đọc bài viết →條件機率:資訊如何改變機率
本章開頭要問一個實際的問題:機率會變嗎?會——只要你知道的事情變了。骰子還沒擲,出現 6 的機率是 1/6;若有人偷看後告訴你「點數是偶數」,同一次投擲出現 6 的機率立刻變成 1/3。骰子沒有變,變的是你所知道的事:機率不是事件的固有屬性,而是事件與資訊共同決定的量。條件機率(conditional probability)就是這件事的精確語言。
Đọc bài viết →隨機變數:把結果變成數字
第 1 章的樣本空間可以收納任何東西:正反面的序列、撲克牌的花色、明天的天氣。這些結果本身不是數字——你沒辦法把 HT 與 TH 相加,也沒辦法對「紅心」取平均。但幾乎所有定量工作都需要數字:計數、平均、比大小。連接兩個世界的橋樑,就是隨機變數——一條把每個結果標上數字的規則。
Đọc bài viết →離散分布:從一次擲硬幣到罕見事件的計數
第 3 章教我們用機率質量函數(PMF)描述離散隨機變數;本節的五位主角共用同一個基本零件——白努利試驗——並依「問什麼問題」而分化:問成功幾次是二項、問等多久是幾何、把試驗切到無窮細是卜瓦松、把兩類推廣成 K 類是類別分布。
Đọc bài viết →聯合、邊際與條件分布
到目前為止,我們一次只研究一個隨機變數。但幾乎所有有趣的問題都涉及多個變數之間的關係:身高與體重、廣告支出與銷售額、一封郵件的用詞與它是否為垃圾郵件。描述多個隨機變數的工具,就是聯合分布。
Đọc bài viết →機率不等式:馬可夫、柴比雪夫與 Jensen
本章的主角是極限定理,但在抵達「n 」之前,先介紹三個在有限樣本就能使用的不等式。它們的共同精神是:即使對分布幾乎一無所知——只知道均值,或再加上變異數——我們仍然能對機率下保證。這種「用最少的資訊換一個界」的思想,待會兒會直接用來證明大數法則,也是統計學習理論的起手式。
Đọc bài viết →估計量與其品質
先把舞台佈置清楚:假設資料由某個機率模型產生,X_1, …, X_n p(x ),分布的形式已知(例如「這是白努利分布」),但參數 未知(正面機率是多少?)。統計的第一個任務,是設計「從資料算出 的猜測值」的程序。前六章固定 、對資料做推理;本章固定資料、對 做推理——方向相反,用的仍是同一套機率語言。
Đọc bài viết →抽樣分布與標準誤
第 7 章教我們從資料計算點估計(point estimate):樣本平均 X 估計母體均值 、樣本比例 p 估計真實比例 p。但想像把整個實驗重做一次——同一個母體、重新抽 n 筆資料——你會得到不同的 X。估計量本身是隨機變數,它有自己的分布。這個分布是本章一切工具的地基。
Đọc bài viết →貝氏配方:用資料更新信念
第 7 章的最大概似估計(maximum likelihood estimation, MLE)問的是:「哪一個參數值讓觀察到的資料最不令人意外?」它交出一個點 _MLE;第 8 章再用抽樣分布替這個點掛上誤差條。整套流程的世界觀是頻率學派的: 是固定未知的常數,隨機的是資料。
Đọc bài viết →統計模型與線性迴歸
前幾章的主角是「分布」:給定一個機率模型,資料會長什麼樣?從本章起我們把方向反過來:給定資料,哪個模型能夠預測?監督式學習(supervised learning)的舞台上有一組成對資料 (x_1, y_1), …, (x_n, y_n),其中 x_i R^d 是特徵(feature),y_i 是想預測的目標(target)。統計模型就是對「y 如何依賴 x」的機率式描述。
Đọc bài viết →隨機過程:把時間加進機率
之前各章的主角是「一個」隨機變數,或一組彼此獨立的樣本。可是許多最有趣的隨機現象是隨時間持續演化的,而且「現在」與「過去」糾纏在一起:今天下雨,明天放晴的機會有多大?這類問題的共同數學骨架,就是隨機過程。
Đọc bài viết →熵:不確定性的度量
資訊理論的第一步,是替「資訊」找一個不依賴語意的度量。Shannon 的洞見是:一則訊息的資訊量,不在於它說了什麼,而在於你收到它時有多驚訝。「明天太陽會升起」幾乎沒有資訊;「明天會有日全食」資訊量巨大。差別不在字數,在機率。
Đọc bài viết →學習就是統計推論
把任何深度學習教學影片靜音重播,你會看到同一組動作反覆出現:定義模型、選損失、加正則化、跑梯度下降、用驗證集調參、報告測試分數。本章的任務是逐一揭露:每個動作都是統計學的化名。第一步,先把「模型」與「訓練」翻譯成機率的語言。
Đọc bài viết →為什麼不能連做很多次 t 檢定
第 8 章比較兩組均值用雙樣本 t 檢定。現在有 k 組——三種教學法、五個推薦演算法、十種超參數組合——直覺是「每兩組做一次 t」。k 組有
Đọc bài viết →符號總表
常態分布經驗法則(68–95–99.7): (|X - | ) 0.683、 (|X - | 2 ) 0.954、 (|X - | 3 ) 0.997。 常用臨界值:90% 對應 z = 1.645、95% 對應 z = 1.960、99% 對應 z = 2.576。
Đọc bài viết →