看板Physics
标 题entropy是指乱度的意思 也可说是"不确定性"
发信站Your Organization (Sun Jan 4 09:40:03 2004)
转信站ptt!ctu-reader!ctu-peer!news.nctu!freebsd.ntu!news.ntu!feeder.seed.net
entropy是指乱度的意思 也可说是"不确定性"
1
H_i=P_i*log-----
P_i
我们先想一下力较极端的例子 当机率P=1(如明天太阳当然会升起)
则P*log1/P=0 无不确定性可言
又P=0时 亦无"不确定性"可言 (P*log1/p=0)
当p=1/2时 entropy是最大的 (例如掷一fair coin)
H(x)是Shannon定义的 我记得数学传播有讲到
要满足Shannon定义资讯理论方面的一些特性 最後一定要用到上述公式
你可以去找看看!!