作者andrew43 (Myrmarachne)
看板Statistics
标题[问题] 回归模型类别变数之综合检定
时间Wed Mar 16 20:59:23 2011
各位先进好。
在进行一般线性模型(如复回归、ANCOVA)或广义线性模
型(如普瓦松回归)模型时,若在自变数中加入了类别资
料且超过二种类别,则需要将之转换成虚拟变数以进行回
归分析。之後所得到回归中针对各变数之系数检验结果,
会呈现「在同一种 factor 之下以某 level 为基准点再与
其它 level 相比较」之结果,而非「此种 factor 之内的
level 间是否有显着的差异」。但在 ANOVA 及其相关的分
析方法中,则会先得到「此种factor 之内的 level 间是
否有显着差异」之结论。
假如 factor 不只一个,且 factor 内的 level 又超过二
个,再加上 factor 之间的交互作用,会让分析结果之判
读更为不易。但如果是典型的 Two-way ANOVA,其分析结
果就单纯多了:某 factor 内是否有差异,以及交互作用
是否显着存在。
用文字描述不太容易,请见以下自行制造的例子(请先别管
重覆数太少的问题)。
资料:
y x1 x2
5 a d
0 a e
5 a f
6 b d
3 b e
1 b f
2 c d
4 c e
3 c f
其中 y 为观测值,x1 与 x2 为 factor 且分别有 3 个
level。以下我以 y 为因变数,x1 与 x2 及它们的交互
作用进行普瓦松回归:
# R code
y <- c(5, 0, 5, 6, 3, 1, 2, 4, 3)
x1 <- gl(3, 3, label=c('a','b','c'))
x2 <- gl(3, 1, 9, label=c('d','e','f'))
mod <- glm (y ~ x1 * x2, family=poisson)
summary(mod)
部份之结果输出为:
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) 1.609e+00 4.472e-01 3.599 0.000320 ***
x1b 1.823e-01 6.055e-01 0.301 0.763343
x1c -9.163e-01 8.367e-01 -1.095 0.273439
x2e -2.391e+01 4.225e+04 -0.001 0.999548
x2f 3.760e-16 6.325e-01 5.94e-16 1.000000
x1b:x2e 2.322e+01 4.225e+04 0.001 0.999561
x1c:x2e 2.461e+01 4.225e+04 0.001 0.999535
x1b:x2f -1.792e+00 1.252e+00 -1.432 0.152287
x1c:x2f 4.055e-01 1.111e+00 0.365 0.715036
其中可见,factor x1 的 level a 及 factor x2 的
level d 皆被设定为该 factor 内的基准点,而各系数
之解释皆需以各自 factor 内的基准点相比较才有意义。
再看到交互作用有关的最後四项系数,眼都花了。整个
模型,除了常数项,我得到 8 个 p-value。
假如今天把分析方法设计成典型的 3 * 3 Two-way
ANOVA,我只会得到 3 个 p-value,分别显示 x1 及 x2
各 level 间是否呈显着差异,以及 x1 与 x2 的交互作
用是否显着存在。
在实际需求上,我们常常需要得到「ANOVA 型式」的结果,
但却只能以虚拟变数的方式呈现。例如上例中,我的资料使
用普瓦松回归进行分析,但我也希望得到 x1 或 x2 是否
显着及其交互作用是否显着,而不是总必须和基准点相比
较,有这种可能和办法吗?
我至少知道,ANOVA 和一般线性模型之回归分析是等价的,
但如何从这二种不同型式的结果推导至另一种,知识不够
使我办不到,更何况是广义线性模型了。
不好意思我的问题很长,但我想找到答案是,以虚拟变数
取得的回归结果常常不易解释,但我希望在同样的分析上
取得类似 ANOVA 的结果,不知道这是否可能?尤其是在
广义线性模型的情况下。
--
http://apansharing.blogspot.com/
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.128.117.73
1F:→ yhliu:做模型比较. +x1+x2 vs. +x2, to test x1. 03/17 08:54
2F:→ bmka:ANOVA is equivalent to the likelihood ratio test under 03/17 09:29
3F:→ bmka:a linear regression model. You can perform LRT under 03/17 09:30
4F:→ bmka:a generalized linear model as well. 03/17 09:31
5F:→ bmka:好长的中文 @_@ 03/17 09:36
6F:→ andrew43:如果我没有会意误的话,以上二位前辈的意思是一致的吗? 03/17 12:56
7F:→ ADORIAN:是一致的, 或许参考看看复回归中的 partial F test 03/19 09:42
8F:→ andrew43:谢谢大家。我会继续了解LR-test和Wald-test的方法。 03/19 14:28