worldexplorer

資訊理論重點筆記1點我

資料來源：Information Theory (James V Stone)

在資訊理論重點筆記1的最後，我們定義了 Shannon Information，而通常我們不太在乎某個特定值的 Shannon Information，我們比較想知道在這個集合中所有可能性的平均Shannon Information。因此，我們定義 Entropy 熵為 Shannon Information 的平均值，其數學定義如下

假設丟一枚公正硬幣(人頭和數字出現的機率各半)，則出現人頭和數字的驚訝程度皆為

此外，熵=(1+1)/2=1bit/coin flip。因為硬幣正反面出現的驚訝程度都為1，因此其平均值也會是1。若把硬幣的兩種的例子加以延伸，考慮一個產生m種機率相同的結果的事件，熵就是

以剛剛硬幣的例子而言，m是2，H(x)是1。反過來說，我們也可以用 H(x) 來判斷可能出現的結果有幾種如下

看到這裡大家可能會想，既然 Entropy 熵的定義會把 Shannon Information 的值做平均，那麼把硬幣正反面的出現機率調整後，Entropy 熵會有影響嗎? 答案是有，而且還不小。假設出現人頭的機率為 0.9 而出現數字的機率為 0.1，因為兩種情況出現的機率不一致，因此我們假設丟了100次硬幣，其中出現了90次的人頭以及10次的數字，這時 Entropy 為

可以發現，當我們讓機率偏向其中一邊時，熵(不確定性的平均)會減少。