※ 引述《Ohwil ( )》之铭言： : ※ [本文转录自 Math 看板] : 作者: Ohwil ( ) 看板: Math : 标题: [分析] information : 时间: Sun Nov 9 00:37:47 2008 : 假设 P(x)= 1/2 x=0 : 1/4 x=1 : 1/16 x=2,3,4,5 : 0 other : 求 entropy时 : H(X)=E[-log(P(x))] : =1/2*1 + 1/4*2 +( 1/16*4 )*4 : =2 (bits) : 这个2bits是说描述X的分布要用到的个数?! : 有没有更精确的讲解可以说明一下的... 上篇的推文有问题吧.... 基本上entropy是一个描述一个R.V.的不确定性之多寡 单位就看你log是取什麽样的数字当底，一般常用是e或2.... 公式原来的推演大概是这样，我就随便举个例... 有个袋子里有五个，3白2黑～ 有一个R.V.，x=0表示选到黑球 机率2/5，x=1表示选到白球 机率3/5 2/5表示的意思是说，平均选5次球会出现2次黑球 那如果以2次的选取，表示为一种事件发生的可能 则5次选取则表示可能有5/2种发生的可能 若要描述这5/2种事情发生的可能 以Bits来表示的话，就需要log2(5/2)个Bits..... 同理可推得白球的部份～log2(5/3)... 然而，以3次的选取或2次的选取为一种事件发生的可能，都会有其出现的机率 这个机率就是选到白球或黑球的机率，所以平均上来说... 若要描述这个R.V.的不确定性，最终是需要2/5*log2(5/2)+3/5*log2(5/3) Bits 所以Entopy的公式才会变成E_x[log2(1/p(x)] = E_x[-log2(p(x))] -- 现代人普遍的现象： 「小学而大遗」、「舍本而逐末」、「以偏而概全」、「因噎而废食」 --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 140.113.144.28 ※ 编辑: lovewa 来自: 140.113.144.28 (11/10 09:57)