worldexplorer

資料來源：Information Theory (James V Stone)

資訊通常以位元為單位，舉例而言，一個走到岔路的人可以選擇走左邊的路或是右邊的路，這兩條路可以用一個位元來代表(0是左邊的路，1是右邊的路)，如果這個人收到指示走左邊的路，則我們說他有一位元的資訊(one bit of information)。換句話說，如果今天有三個位元，此人就可以在八條岔路中(2X2X2)選出正確的一條。一位元的資訊可以決定兩個機率相同的選擇。

若有8條路，我們可以分別給每條路0~7的編號，然後用3個位元來代表他們。舉例來說 5 = 101 (1X2^2+0X2^1+1X2^0)。反過來說，若已知有8個終點，那麼總共有多少次分岔呢? 答案是log28=3條。如此一來我們就知道了位元數量和終點數量的轉換關係。

離散變數 (Discrete Variables) : 如果不連續，就叫做離散變數。舉例來說，骰子的點數是離散的、整數是離散的，而這些離散變數的機率分布狀況叫做機率函數。

連續變數 (Continuous Variables) : 如果連續，就叫連續變數。舉例來說，氣壓、溫度。而連續變數的機率機率分布狀況叫做機率密度函數。

隨機變數 (Random Variables) : 可以是離散也可以連續，注意隨機變數並不是方程式中的變數，而是把樣本空間中的各種結果和值匹配的函數，用X表示。舉例來說，丟一枚硬幣的結果可能是正面 (head) 或反面 (tail) ，那麼就可以用X(xt)=1, X(xh)=0。

假設丟一枚硬幣有90%的機率正面朝上，10%的機率反面朝上。那麼當我們丟出正面朝上時，我們的驚訝程度就會很低。反之，當我們丟出反面朝上時，我們的驚訝程度就會比較高。那麼該如何把「驚訝程度」量化呢? 我們可以定義驚訝程度是1/p(x)，其中p(x)是事件發生的機率。舉例來說，機率為90%的事件發生時的驚訝程度=1/0.9=1.111，而機率為10%的事件發生時的驚訝程度=1/0.1=10。換言之，一個事件發生的機率越高，我們的驚訝程度就越低，此驚訝程度又叫Shannon information。

我們正式定義 Shannon Information 如下 (也就是驚訝程度的指標)