作者KirinGuess (Kirin)
看板Statistics
标题[问题] 有关MLE的bias
时间Thu Feb 2 16:58:07 2012
在Cox和Snell(1968: 251-252)的文章里, 有一段讨论MLE的bias,
我在一个地方卡住了, 所以来向大家求解.
(文章名字是 "A General Definition of Residuals" )
以下是文章的节录, 我尽可能与作者使用相同的符号,
如果仍有模糊不清的地方, 再麻烦大家跟我说, 谢谢.
首先是一些符号定义,
Pj(Yj,β)是Yj的p.d.f., 以下简写为Pj
L(β) = Σlog(Pj)
B = β_hat
U_j = d ㏒(pj)/dβ .......文中式11,打不出微分符号,用d代替
V_j = (d^2)㏒(pj)/d(β^2) .......文中式11,
W_j = (d^3)㏒(pj)/d(β^3)
L'(β) = U = ΣU_j, 从j=1累加至j=n
L"(β) = V = ΣV_j, 从j=1累加至j=n
L"'(β) = W = ΣW_j, 从j=1累加至j=n
I = ΣE(-V_j), 从j=1累加至j=n
J = ΣE(U_j, V_j), 从j=1累加至j=n
K = E(W) = E[L'''(β)]
B-β = U/I ...............文中的式12
Var(B) = 1/I ...............文中的式12
因为,
L'(B) = 0
而且,
L'(B) ≒ L'(β) + (B-β)L"(β) + (1/2)[(B-β)^2]L"'(β)
所以,
L'(β) + (B-β)L"(β) + (1/2)[(B-β)^2]L"'(β) ≒ 0 .....文中式13
取期望值後,
E[L'(β)] + E[(B-β)L"(β)] + E{(1/2)[(B-β)^2]L"'(β)} ≒ 0
=> E(B-β)E[L"(β)]
+ Cov[(B-β), L"(β)]
+ (1/2)E[(B-β)^2]E[L"'(β)]
+ Cov{[(B-β)^2], L"'(β)} ≒ 0 .....文中式14
基於先前的各项定义, 以及,
E[L"(β)] = ΣE(V_j) = I
Cov[(B-β), L"(β)] = Cov[(U/I), L"(β)] ≒ (1/I)Cov(U,V)
= J/I .....文中式15
E[(B-β)^2] = E[(U/I)^2] ≒ [1/(I^2)]E(U^2)
= [1/(I^2)]{Var(U) + [E(U)]^2} = [1/(I^2)](I + 0)
= 1/I
因此式14可写为,
E(B-β)(-I) + J/I + (1/2)(K/I) + Cov{[(B-β)^2], L"'(β)} ≒ 0
=> E(B-β) ≒ J/(I^2) + K/[2(I^2)] + Cov{[(B-β)^2], L"'(β)}
然而作者却说,
E(B-β) ≒ J/(I^2) + K/[2(I^2)]
我想请问为什麽Cov{[(B-β)^2], L"'(β)}不见了?
是不是因为作者说的这段话:
"Finally, a calculation similar to (15) shows that
the final term in (14) is O(n^-1), whence (14) gives (Bartlett, 1952),
for the terms of order 1, E(B-β) = J/(I^2) + K/[2(I^2)] "
目前我的理解是因为Cov{[(B-β)^2], L"'(β)}是O(n^-1),
所以当n极大时, 这个Cov项极小, 进而以被忽略.
不知道这个理解正不正确?
如果是错的, 麻烦大家解答一下, 非常感谢.
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.123.197.80
※ 编辑: KirinGuess 来自: 140.123.197.80 (02/02 22:55)