作者ethan0221 (Ethan)
看板Math
标题MLE估计相关的问题
时间Tue Sep 1 03:21:53 2020
以下两个MLE的问题想请教, 感谢：
a. In likelihood theory, impossible observations have probability 0 and therefore log probability of –∞ and never happen, i.e. 0 times. The sum of the log likelihood of those impossible observations is therefore 0 times –∞. This causes no difficulty in likelihood theory. Why not?
想法：If the observations are impossible, they won't be observed by definition. Therefore, they have nothing to do with the calculation of the likelihood which uses the observations values.
b. On the other hand, one single impossible observation in the data set destroys maximum likelihood, no matter how large the sample is. Why?
想法: the parameters assumed to be true cannot be true in the first place.
-----
Sent from JPTT on my Xiaomi MI 9.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 192.181.131.128 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Math/M.1598901715.A.62A.html
1F：→ yhliu : 不大能理解问题究竟要问什麽. 如果确实是impossible 09/01 07:45
2F：→ yhliu : 根本不该出现, 会出现就表示假设的模型不对要重设. 09/01 07:47
3F：→ yhliu : 你的回答正如我想的, 只是不只 parameter 的问题, 09/01 07:48
4F：→ yhliu : 当然广义来说 parameter 也对, 因为所有候选机率分 09/01 07:50
5F：→ yhliu : 配都能用一个 parameter 值来标示. 09/01 07:51
6F：推 hwanger : a同原po的想法 既然0次 就不会影响likleihood funct 09/01 08:01
7F：→ hwanger : ion的计算 只是我在想都特别提log likelihood funct 09/01 08:01
8F：→ hwanger : ion 题目是不是要强调在summation中加了一堆0(–∞) 09/01 08:01
9F：→ hwanger : 的项是没有问题的(因为在测度论 0(–∞)是0) 09/01 08:01
10F：推 hwanger : 至於b 如果对所有的θ在parameter space中 x皆是imp 09/01 08:08
11F：→ hwanger : ossible observation的话 那L(θ|x)恒为0 则我们就 09/01 08:08
12F：→ hwanger : 没有唯一的极大值 MLE方法的核心概念的确不复存在 09/01 08:08
13F：推 hwanger : (其中x=(x1,x2,...,xn) 只要一个xk不可能 L就是0了) 09/01 08:15
14F：→ hwanger : 不管n多大 09/01 08:16
15F：推 hwanger : 关於a 比如说考虑iid的情况 09/01 08:37
16F：→ hwanger : L(θ|x)={product over i}f(a_i)^k_i 其中k_i为a_i 09/01 08:37
17F：→ hwanger : 在x中的发生次数 则 09/01 08:37
18F：→ hwanger : log L = {sum over i} k_i log f(a_i) 其中k_i若为0 09/01 08:37
19F：→ hwanger : f(a_i)是零也没问题 09/01 08:37
20F：推 hwanger : 我在想是不是想表达这样的意思 09/01 08:40
21F：→ Pieteacher : 可能改考虑 truncated distribution 09/01 17:55
22F：推 hwanger : 不好意思 想再请教一下P大 考虑truncated 09/01 18:53
23F：→ hwanger : distribution的意思是什麽? 谢谢 09/01 18:53