作者lovewa (On my way)
看板comm_and_RF
标题Re: [分析] information
时间Mon Nov 10 00:29:13 2008
※ 引述《Ohwil ( )》之铭言:
: ※ [本文转录自 Math 看板]
: 作者: Ohwil ( ) 看板: Math
: 标题: [分析] information
: 时间: Sun Nov 9 00:37:47 2008
: 假设 P(x)= 1/2 x=0
: 1/4 x=1
: 1/16 x=2,3,4,5
: 0 other
: 求 entropy时
: H(X)=E[-log(P(x))]
: =1/2*1 + 1/4*2 +( 1/16*4 )*4
: =2 (bits)
: 这个2bits是说描述X的分布要用到的个数?!
: 有没有更精确的讲解可以说明一下的...
上篇的推文有问题吧....
基本上entropy是一个描述一个R.V.的不确定性之多寡
单位就看你log是取什麽样的数字当底,一般常用是e或2....
公式原来的推演大概是这样,我就随便举个例...
有个袋子里有五个,3白2黑~
有一个R.V.,x=0表示选到黑球 机率2/5,x=1表示选到白球 机率3/5
2/5表示的意思是说,平均选5次球会出现2次黑球
那如果以2次的选取,表示为一种事件发生的可能
则5次选取则表示可能有5/2种发生的可能
若要描述这5/2种事情发生的可能
以Bits来表示的话,就需要log2(5/2)个Bits.....
同理可推得白球的部份~log2(5/3)...
然而,以3次的选取或2次的选取为一种事件发生的可能,都会有其出现的机率
这个机率就是选到白球或黑球的机率,所以平均上来说...
若要描述这个R.V.的不确定性,最终是需要2/5*log2(5/2)+3/5*log2(5/3) Bits
所以Entopy的公式才会变成E_x[log2(1/p(x)] = E_x[-log2(p(x))]
--
现代人普遍的现象:
「小学而大遗」、「舍本而逐末」、「以偏而概全」、「因噎而废食」
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.113.144.28
1F:推 magier:^_^ 122.116.84.40 11/10 01:19
※ 编辑: lovewa 来自: 140.113.144.28 (11/10 09:57)
2F:→ lovewa:楼上的,好久不见...XD 140.113.144.28 11/10 09:57
3F:推 hotfamily:这位大大讲得好详细啊!! 受教了 140.114.15.164 09/24 14:51