作者sonico (索尼克)
看板Statistics
標題[問題] mutual information的物理意義?
時間Tue Dec 9 11:16:09 2008
各位好,小弟最近在看一個有關mutual information應用的文章,裡面定義mutual
information為:
P(x,y)
I(X,Y)= - Σ P(x,y)log(-----------) ...(1)
x,yEAx,Ay P(x)P(y)
I(X,Y)=H(X)+H(Y)-H(X,Y) ...(2)
I(X,Y)=H(X)-H(X|Y) ...(3)
無奈卻百思不得 mutual information 的物理意義(為什麼要這樣定義?)
由文章的內容看來只知道它能判斷某兩個資料(文章內用的是影像)的相關程度
(dependecy)
可以請知道的人麻煩給我一點方針或是指點嗎,謝謝.
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 134.208.3.194
1F：推 s3011:H的定義是? 12/09 11:31
2F：推 s3011:indep.時取log = 0 => information=0 12/09 11:35
3F：→ sonico:你好,是entropy. H(X)=-ΣP(x)logP(x) 12/09 11:47
4F：→ sonico:sigma下為 x E Ax ... 註:E 是屬於 12/09 11:48
5F：推 jangwei:=== 請查 information theory的書................... === 12/09 12:10
6F：→ jangwei:=== 這不太算統計學的範疇, 雖然統計界有人拿來用.... === 12/09 12:10
7F：→ jangwei:=== 你可以以 Shannon entropy等關鍵字去查詢........ === 12/09 12:13
9F：→ sonico:感謝樓上兩位的回答,最主要我是兜不太起來為什麼它可以用來 12/09 12:25
10F：→ sonico:表示兩組資料的相關度(or相依度) 12/09 12:26
12F：→ jangwei:=== 這有一本online的information theory的書, 看看吧 === 12/09 14:28
13F：→ sonico:收下了,感謝j大 12/09 14:44
14F：推 s3011:真是便宜又大碗 12/10 07:24