作者celestialgod (攸蓝)
看板Statistics
标题Re: [问题] 回归共线性疑问
时间Sun Jun 8 12:09:44 2014
1F：→ yhliu:简单相关不一定是真实的关系. 当然, 如果模型不正确, 复回归06/04 22:51
2F：→ yhliu:的结果仍不一定可信.06/04 22:51
针对刘老师所提的，我实作了一个模拟
code link:
http://pastebin.com/HaXMevRY
Assume the true model is Y = 3 + 2*X1 - X2 + 3*X3 - 6*X4
(X1,X2,X3,X4) follow MVN(0, Sigma)
[ 1, 0.7, 0, 0.1]
where Sigma = [ 1, 0.5, -0.2]
[ 1, -0.4]
[ 1]
Generate 100 instances and fit linear model.
估计的coefficients下：
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 3.04987 0.09520 32.037 < 2e-16 ***
X1 2.04255 0.18143 11.258 < 2e-16 ***
X2 -0.74931 0.21431 -3.496 0.000719 ***
X3 2.73666 0.15466 17.694 < 2e-16 ***
X4 -5.95568 0.09948 -59.869 < 2e-16 ***
计算Y与X1~X4的相关系数，呈现如下：
X1 X2 X3 X4
Y 0.07855 0.32922 0.59495 -0.91784
可以看出 Y跟X1,X2,X3为正相关，X4为负相关，
与其中X2的正负号 与 true model的正负号相反，亦与估计的系数相反。
VIF计算结果如下：
X1 X2 X3 X4
3.941207 5.243016 2.463464 1.159567
跟原PO的结果类似，刘老师所说的确实有可能发生。
※ 引述《edfiv (Angela)》之铭言：
: 各位板大好
: 小妹最近写论文时遇到一些问题
: 我论文是4个自变数及一个依变数跑回归
: 回归结果发现有两个回归系数应是正值的自变数符号却是负值
: 可能是有共线性的情形发生
: 但四个自变数却都达显着水准(p<0.5)
: 请问可以还可以解释成这四个自变数对依变数有显着影响吗?
: (VIF最高只到4，四个自变数的CI为21)
: 拜托各位救救水深火热的研揪生吧..... > <
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.116.152.225
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Statistics/M.1402200588.A.0D3.html