離散型隨機變量的平均自信息量（熵）講義(ppt 14頁)
離散型隨機變量的平均自信息量（熵）講義(ppt 14頁)內容簡介
離散型隨機變量的平均自信息量（熵）講義內容提要：
離散型隨機變量X有兩個事件x1和x2，
P(X=x1)=p，P(X=x2)=1-p。
則X的平均自信息量（熵）為
H(X)=ploga(1/p)+(1-p)loga(1/(1-p)) 。
觀察H(X)（它是p的函數，圖2.2.1給出了函數圖象，該圖象具有某種對稱性），有
當p=0或p=1時，H(X)=0。（隨機變量X退化為常數時，熵為0）
當00。p越靠近1/2， H(X)越大。 （X是真正的隨機變量時，總有正的熵。隨機性越大，熵越大）
當p=1/2時，H(X)達到最大。（隨機變量X的隨機性最大時，熵最大。特別如果底數a=2，則H(X)=1比特）
熵、條件熵、聯合熵之間的關係：
（1）H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。（由定義容易證明）
（2）當X與Y相互獨立時，H(Y|X)=H(Y)，因此此時H(XY)=H(X)+H(Y)。
…………
..............................
離散型隨機變量X有兩個事件x1和x2，
P(X=x1)=p，P(X=x2)=1-p。
則X的平均自信息量（熵）為
H(X)=ploga(1/p)+(1-p)loga(1/(1-p)) 。
觀察H(X)（它是p的函數，圖2.2.1給出了函數圖象，該圖象具有某種對稱性），有
當p=0或p=1時，H(X)=0。（隨機變量X退化為常數時，熵為0）
當0
當p=1/2時，H(X)達到最大。（隨機變量X的隨機性最大時，熵最大。特別如果底數a=2，則H(X)=1比特）
熵、條件熵、聯合熵之間的關係：
（1）H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。（由定義容易證明）
（2）當X與Y相互獨立時，H(Y|X)=H(Y)，因此此時H(XY)=H(X)+H(Y)。
…………
..............................
用戶登陸
文體教育熱門資料
文體教育相關下載