worldexplorer

資訊理論重點筆記1點我

資訊理論重點筆記2點我

資料來源：Information Theory (James V Stone)

在看過前兩篇充滿公式的複雜計算後，我們不妨回過頭來審視一個最簡單的問題，究竟什麼是 Entropy熵。在前兩篇筆記中，我們定義 Entropy 為 Shannon Information 的平均值，而 Shannon Information 又是衡量「驚訝程度」的一項指標。那麼為何用「驚訝程度」來代表資訊呢? 

想像有朋友忽然告訴你「他中樂透頭獎了」，這時你會驚訝不已。那麼如果他忽然告訴你「地球會自轉呢」? 沒什麼好驚訝的對吧? 因為這是大家都知道的常識，也就是說，「地球會自轉這件事」並沒有提供你任何新的資訊量，而「朋友樂透中了頭獎這件事」則會令人訝異，因為你獲知了一項新的資訊，而這件事發生的機率非常之低。Entropy 熵就是「事情的不確定性」，和熱力學當中的「混亂程度」是同一種概念。當我們獲知資訊時，我們對一件事情的不確定性就降低了，因此熵就流失了。

總結來說，熵和資訊是一體兩面的東西，當我們獲得資訊時，我們便流失等量的熵。

想像我們丟一顆骰子，第一次丟出來的結果並不會影響第二次丟的結果，這就叫 Indepedent (獨立)。我們說丟骰子得到的結果為 Independent and identically distributed (簡稱iid)。每次得到的結果都和前面得到的結果無關，所以 Independent。每次得到的結果都來自同一個機率分布，所以 Identically distributed。