作者b218h (Gordon)
站内Statistics
标题[问题] GLM
时间Sat Nov 21 03:44:38 2009
请教一下 假设我有组 data set {(x_i,y_i,i=1,2,...,20}
其中 y~bernoulli (p_i), logit(p_i)＝b_0 + b_1 x_i, where x_i~N(0,1)
我 fit 一个 glm, logistic regression 得到 b_0 和 b_1 的估计值和 standard errors.
接着 我做 500 次 boot strap, 每一个 simulation 我都 fit 一次 glm, 得到 b_0
and b_1 的估计值，我用这组 boot strap standard errors (i.e., sample standard
errors) 来跟上面比较，发现差很多...
我不知道是为什麽. glm 里预设求standard error的方法是用 MLE and fisher information
如果它估计 standard errors 的方法是好的 为什麽 boot strap 结果差蛮多的
b_0 b_1
Default SE 0.61499 1.10264
Bootstrap SE 33.17491 148.1905
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 128.189.206.177
※ 编辑: b218h 来自: 128.189.206.177 (11/21 04:50)
1F：→ ljta:你算的是"估计值的bootstrap std" 还是 "抽样误差" ? 11/21 08:03
2F：→ b218h:sd(b*_1,b*_2,...,b*_B) 11/21 13:56
3F：推 pran:一楼是统计达人，资料分析高手 11/21 18:06
4F：→ yhliu:软体给你的是大样本理论下的估计 s.e.(b_i), 并非 exact s.e 11/21 22:00
5F：→ yhliu:另一方面, bootstrap 估计 se(b_i) 用 500次是不是够多, 换 11/21 22:02
6F：→ yhliu:言之, se(b_i) by bootstrap 本身的误差也要考虑. 11/21 22:02
7F：→ yhliu:又, 如果你所列数据是软体结果与 bootstrap 结果比较, 那差 11/21 22:04
8F：→ yhliu:距确实太离谱, 检查一下 bootstrap 有没有做错吧! 11/21 22:05
9F：→ yhliu:如果软体没算错(是否收敛? 500次 bootstrap样本结果呢?) 11/21 22:07
10F：→ yhliu:那麽 n=20 太小, 结果不可信, 就是唯一能说的了! 11/21 22:08
11F：→ b218h:我知道哪里有问题了 11/22 09:02
12F：→ b218h:原因出在boot strap sample 里有些是 "almost separable" 11/22 09:02
13F：→ b218h:少数是"all 0's or all 1's" 11/22 09:02
14F：→ b218h:我把那些丢掉後两个就差不多了:) 11/22 09:03
15F：→ b218h:谢谢 yhliu 11/22 09:05
16F：→ yhliu:其实, 会产生 almost separable 与 all 0's, all 1's 等情形 11/22 09:30
17F：→ yhliu:就是 n=20 太小的证据. 单纯地把它们拿掉, 并不算正确. 11/22 09:32
18F：→ clickhere:20太小了. GLM给得s.e.也未必可信. 11/22 15:43
19F：→ clickhere:是bootstrap, 不是boot strap. 11/22 15:43