第12章 資訊理論
⬇ 下载機率與統計：從入門到精通 第 12 章 資訊理論 Information Theory 難度：專家 1948 年，Claude Shannon 在貝爾實驗室發表《通訊的數學理論》 ，以一篇論文獨力創立了一門 學科︒它的出發點樸素得驚人：把「一則訊息帶來多少資訊」定義為「它讓你多驚訝」 ，再用機 率把驚訝變成可以計算的數字︒由此誕生的幾個量——熵︑交叉熵︑KL 散度︑互資訊——並不 是機器學習課本裡的異國點綴：它們就是機器學習的損失函數與
相关文章
Calculus
Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f Z dy dx limh→0 ∇f CALCULUS FROM BEGINNER TO EXPERT A compl
阅读文章 →Linear Algebra
a00 a01 a02 a03 a04 a05 a06 a07 a08 a09 a010 a011 a012 a013 a014 a015 a016 a017 a018 a019 a020 a10 a11 a12 a13 a14 a15 a16 a17 a18 a19 a110 a111 a112 a113 a114 a115 a116 a117 a118 a119 a120 a20 a21 a22 a23 a24 a25 a26 a2
阅读文章 →Probability & Statistics
P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] P (A | B) µ, σ2 E[X] PROBABILITY & STATISTICS FROM B
阅读文章 →第01章 什麼是機率
機率與統計：從入門到精通 第 1 章 什麼是機率？ What Is Probability? 難度：入門 機率是 「不確定性的數學」 ——一套讓我們能夠精確推理 「無法確定之事」 的語言︒擲一枚硬幣︑ 明天的天氣︑一封電子郵件是否為垃圾郵件︑句子中的下一個詞是什麼：這些都充滿不確定性， 而機率讓我們得以量化這種不確定性，並且對它進行計算︒本章奠定整個學科的地基：結果與事 件的詞彙︑支配所有機率運算的三條公理︑計數的技藝，以及關於「機率究
阅读文章 →第02章 條件機率與貝氏定理
機率與統計：從入門到精通 第 2 章 條件機率與貝氏定理 Conditional Probability and Bayes’ Theorem 難度：入門 幾乎所有真正有用的機率，都是 條件機率——在「已經知道某些事」的前提下，問另一件事發 生的可能性︒檢測結果呈陽性，患病的機率是多少？郵件裡出現「 free」這個詞，它是垃圾郵件 的機率是多少？給定前面的文字，下一個詞會是什麼？第 1 章的機率像一張靜態快照；本章要 讓它動起來：條件化
阅读文章 →第03章 隨機變數與期望值
機率與統計：從入門到精通 第 3 章 隨機變數與期望值 Random Variables and Expectation 難度：核心 到目前為止，我們談論不確定性的方式都是「定性」的：事件要麼發生︑要麼不發生——「下雨 了」 ︑ 「抽到紅心」 ︑ 「這封郵件是垃圾郵件」 ︒但科學︑工程與機器學習真正要處理的，幾乎都是 數字：下了幾毫米的雨？模型在這筆資料上的損失是多少？投資組合明天的報酬率是多少？隨機 變數把數字附到隨機結果上，讓我們第
阅读文章 →