作者ethan0221 (Ethan)
看板Math
標題MLE估計相關的問題
時間Tue Sep 1 03:21:53 2020
以下兩個MLE的問題想請教, 感謝：
a. In likelihood theory, impossible observations have probability 0 and therefore log probability of –∞ and never happen, i.e. 0 times. The sum of the log likelihood of those impossible observations is therefore 0 times –∞. This causes no difficulty in likelihood theory. Why not?
想法：If the observations are impossible, they won't be observed by definition. Therefore, they have nothing to do with the calculation of the likelihood which uses the observations values.
b. On the other hand, one single impossible observation in the data set destroys maximum likelihood, no matter how large the sample is. Why?
想法: the parameters assumed to be true cannot be true in the first place.
-----
Sent from JPTT on my Xiaomi MI 9.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 192.181.131.128 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Math/M.1598901715.A.62A.html
1F：→ yhliu : 不大能理解問題究竟要問什麼. 如果確實是impossible 09/01 07:45
2F：→ yhliu : 根本不該出現, 會出現就表示假設的模型不對要重設. 09/01 07:47
3F：→ yhliu : 你的回答正如我想的, 只是不只 parameter 的問題, 09/01 07:48
4F：→ yhliu : 當然廣義來說 parameter 也對, 因為所有候選機率分 09/01 07:50
5F：→ yhliu : 配都能用一個 parameter 值來標示. 09/01 07:51
6F：推 hwanger : a同原po的想法 既然0次 就不會影響likleihood funct 09/01 08:01
7F：→ hwanger : ion的計算 只是我在想都特別提log likelihood funct 09/01 08:01
8F：→ hwanger : ion 題目是不是要強調在summation中加了一堆0(–∞) 09/01 08:01
9F：→ hwanger : 的項是沒有問題的(因為在測度論 0(–∞)是0) 09/01 08:01
10F：推 hwanger : 至於b 如果對所有的θ在parameter space中 x皆是imp 09/01 08:08
11F：→ hwanger : ossible observation的話 那L(θ|x)恆為0 則我們就 09/01 08:08
12F：→ hwanger : 沒有唯一的極大值 MLE方法的核心概念的確不復存在 09/01 08:08
13F：推 hwanger : (其中x=(x1,x2,...,xn) 只要一個xk不可能 L就是0了) 09/01 08:15
14F：→ hwanger : 不管n多大 09/01 08:16
15F：推 hwanger : 關於a 比如說考慮iid的情況 09/01 08:37
16F：→ hwanger : L(θ|x)={product over i}f(a_i)^k_i 其中k_i為a_i 09/01 08:37
17F：→ hwanger : 在x中的發生次數 則 09/01 08:37
18F：→ hwanger : log L = {sum over i} k_i log f(a_i) 其中k_i若為0 09/01 08:37
19F：→ hwanger : f(a_i)是零也沒問題 09/01 08:37
20F：推 hwanger : 我在想是不是想表達這樣的意思 09/01 08:40
21F：→ Pieteacher : 可能改考慮 truncated distribution 09/01 17:55
22F：推 hwanger : 不好意思 想再請教一下P大 考慮truncated 09/01 18:53
23F：→ hwanger : distribution的意思是什麼? 謝謝 09/01 18:53