作者sonico (索尼克)
看板Statistics
标题[问题] mutual information的物理意义?
时间Tue Dec 9 11:16:09 2008
各位好,小弟最近在看一个有关mutual information应用的文章,里面定义mutual
information为:
P(x,y)
I(X,Y)= - Σ P(x,y)log(-----------) ...(1)
x,yEAx,Ay P(x)P(y)
I(X,Y)=H(X)+H(Y)-H(X,Y) ...(2)
I(X,Y)=H(X)-H(X|Y) ...(3)
无奈却百思不得 mutual information 的物理意义(为什麽要这样定义?)
由文章的内容看来只知道它能判断某两个资料(文章内用的是影像)的相关程度
(dependecy)
可以请知道的人麻烦给我一点方针或是指点吗,谢谢.
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 134.208.3.194
1F：推 s3011:H的定义是? 12/09 11:31
2F：推 s3011:indep.时取log = 0 => information=0 12/09 11:35
3F：→ sonico:你好,是entropy. H(X)=-ΣP(x)logP(x) 12/09 11:47
4F：→ sonico:sigma下为 x E Ax ... 注:E 是属於 12/09 11:48
5F：推 jangwei:=== 请查 information theory的书................... === 12/09 12:10
6F：→ jangwei:=== 这不太算统计学的范畴, 虽然统计界有人拿来用.... === 12/09 12:10
7F：→ jangwei:=== 你可以以 Shannon entropy等关键字去查询........ === 12/09 12:13
9F：→ sonico:感谢楼上两位的回答,最主要我是兜不太起来为什麽它可以用来 12/09 12:25
10F：→ sonico:表示两组资料的相关度(or相依度) 12/09 12:26
12F：→ jangwei:=== 这有一本online的information theory的书, 看看吧 === 12/09 14:28
13F：→ sonico:收下了,感谢j大 12/09 14:44
14F：推 s3011:真是便宜又大碗 12/10 07:24