※ 引述《Ohwil ( )》之銘言： : ※ [本文轉錄自 Math 看板] : 作者: Ohwil ( ) 看板: Math : 標題: [分析] information : 時間: Sun Nov 9 00:37:47 2008 : 假設 P(x)= 1/2 x=0 : 1/4 x=1 : 1/16 x=2,3,4,5 : 0 other : 求 entropy時 : H(X)=E[-log(P(x))] : =1/2*1 + 1/4*2 +( 1/16*4 )*4 : =2 (bits) : 這個2bits是說描述X的分佈要用到的個數?! : 有沒有更精確的講解可以說明一下的... 上篇的推文有問題吧.... 基本上entropy是一個描述一個R.V.的不確定性之多寡 單位就看你log是取什麼樣的數字當底，一般常用是e或2.... 公式原來的推演大概是這樣，我就隨便舉個例... 有個袋子裡有五個，3白2黑～ 有一個R.V.，x=0表示選到黑球 機率2/5，x=1表示選到白球 機率3/5 2/5表示的意思是說，平均選5次球會出現2次黑球 那如果以2次的選取，表示為一種事件發生的可能 則5次選取則表示可能有5/2種發生的可能 若要描述這5/2種事情發生的可能 以Bits來表示的話，就需要log2(5/2)個Bits..... 同理可推得白球的部份～log2(5/3)... 然而，以3次的選取或2次的選取為一種事件發生的可能，都會有其出現的機率 這個機率就是選到白球或黑球的機率，所以平均上來說... 若要描述這個R.V.的不確定性，最終是需要2/5*log2(5/2)+3/5*log2(5/3) Bits 所以Entopy的公式才會變成E_x[log2(1/p(x)] = E_x[-log2(p(x))] -- 現代人普遍的現象： 「小學而大遺」、「捨本而逐末」、「以偏而概全」、「因噎而廢食」 --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.113.144.28 ※ 編輯: lovewa 來自: 140.113.144.28 (11/10 09:57)