worldexplorer

資訊理論重點筆記一點我

資訊理論重點筆記二點我

資訊理論重點筆記三點我

資料來源：Information Theory (James V Stone)

在一個通訊通道當中，我們想知道輸出有多少的 Entropy 提供了輸入的資訊，有多少是沒有意義的雜訊。為了瞭解這個問題，我們首先要知道這件事情和哪些東西有關。若把傳輸通道的輸入用X代表而輸出用Y代表，則X的熵H(X)、Y的熵H(Y)以及XY之間的關係都會影響到這件事。舉例來說，如果要有效率的傳送資訊的話，H(X)、H(Y)都要高，而雜訊的 Entropy 則要低。我們定義 Mutual Information 為

這個式子可以化簡成平均值/期望值的形式

接著把 log 裡面的分數拆開

再把 log 當中的乘積拆開，並把 E 裡面的每一項都單獨拉出來用 E 表示

在前面的筆記中已知 Entropy熵是 E[ 機率倒數 ] ，因此為了把Mutual Information 以 Entropy 的形式表示，我們把每項的正負號顛倒以製造出倒數

而 E[] 再用 Entropy熵 表示即大功告成

我們接下來要介紹另外一種 Entropy 熵，叫做 Conditional Entropy 條件熵，以 H(Y|X) 的形式表示。Conditional Entropy 代表我們已經觀察完X以後，對Y的不確定性。也就是和X關連不大的Y

以傳輸通道為例，已知輸入為X，輸出為Y，輸出 Y 是輸入 X 加上雜訊

以上面的推導來看，X和Y的 Mutul Information相互訊息

當我們已知 X，相互訊息就可以簡化成下面的式子

雜訊和X相互獨立，因此知道X並不會對知道雜訊有幫助

和下面式子比較

就可以知道

此結果也非常合理，已知X的情況下對Y的不確定性即為雜訊。