作者celestialgod (攸藍)
看板Statistics
標題Re: [問題] 迴歸共線性疑問
時間Sun Jun 8 12:09:44 2014
1F：→ yhliu:簡單相關不一定是真實的關係. 當然, 如果模型不正確, 複迴歸06/04 22:51
2F：→ yhliu:的結果仍不一定可信.06/04 22:51
針對劉老師所提的，我實作了一個模擬
code link:
http://pastebin.com/HaXMevRY
Assume the true model is Y = 3 + 2*X1 - X2 + 3*X3 - 6*X4
(X1,X2,X3,X4) follow MVN(0, Sigma)
[ 1, 0.7, 0, 0.1]
where Sigma = [ 1, 0.5, -0.2]
[ 1, -0.4]
[ 1]
Generate 100 instances and fit linear model.
估計的coefficients下：
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 3.04987 0.09520 32.037 < 2e-16 ***
X1 2.04255 0.18143 11.258 < 2e-16 ***
X2 -0.74931 0.21431 -3.496 0.000719 ***
X3 2.73666 0.15466 17.694 < 2e-16 ***
X4 -5.95568 0.09948 -59.869 < 2e-16 ***
計算Y與X1~X4的相關係數，呈現如下：
X1 X2 X3 X4
Y 0.07855 0.32922 0.59495 -0.91784
可以看出 Y跟X1,X2,X3為正相關，X4為負相關，
與其中X2的正負號 與 true model的正負號相反，亦與估計的係數相反。
VIF計算結果如下：
X1 X2 X3 X4
3.941207 5.243016 2.463464 1.159567
跟原PO的結果類似，劉老師所說的確實有可能發生。
※ 引述《edfiv (Angela)》之銘言：
: 各位板大好
: 小妹最近寫論文時遇到一些問題
: 我論文是4個自變數及一個依變數跑迴歸
: 迴歸結果發現有兩個迴歸係數應是正值的自變數符號卻是負值
: 可能是有共線性的情形發生
: 但四個自變數卻都達顯著水準(p<0.5)
: 請問可以還可以解釋成這四個自變數對依變數有顯著影響嗎?
: (VIF最高只到4，四個自變數的CI為21)
: 拜託各位救救水深火熱的研揪生吧..... > <
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.152.225
※ 文章網址: http://webptt.com/m.aspx?n=bbs/Statistics/M.1402200588.A.0D3.html