作者faceoflove56 (1234567)
看板Statistics
標題[程式] Model is not full rank,線性相依?(SAS)
時間Sun Jul 19 09:21:11 2015
[軟體程式類別]:
SAS
[程式問題]:
資料處理ˇ
[軟體熟悉度]:
低(1~3個月)
[問題敘述]:
跑完回歸後result出現以下這段話
Note: Model is not full rank. Least-squares solutions for the parameters are
not unique. Some statistics will be misleading. A reported DF of 0 or B means
that the estimate is biased.
我的model是
Y=CEO_Accexp+TOT_Incentive+CEO_Accexp*TOT_Incentive
其中CEO_Accexp為Dummy，非1即0
想請問
1.問題是出在程式還是回歸模型? (我認為有可能是線性相依，但太久沒碰計量了= =)
2.full rank是什麼意思?
[程式範例]:
proc reg data=CEO_Incentive_1_Y4_RegTable;
where accrual_error NE . and CEO_ACCEXP NE . and TOT_Incentive NE . and
CEO_ACCEXP_TOT NE .;
model accrual_error=CEO_ACCEXP TOT_Incentive CEO_ACCEXP_TOT;
test CEO_ACCEXP=0, TOT_Incentive=0, CEO_ACCEXP_TOT=0;
quit;
-----------------------------------------------------------------------------
還請高手指教 感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.119.143.76
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1437268873.A.1DF.html
1F：→ allen1985: TOT_Incentive的值是什麼 你的三個變數 線性相依 07/19 11:52
2F：推 LiamIssac: collinearity, check vif or condition number 07/19 11:53
3F：推 LiamIssac: X有共線性 X'X就會less than full rank, OLS就不會是 07/19 11:55
4F：→ LiamIssac: 唯一 07/19 11:55
5F：推 Pieteacher: Inverse 爆掉啦 07/19 12:05
6F：→ Chsieh: Full rank滿秩矩陣 07/19 15:27
7F：→ yhliu: 三個自變數成立線性關係, 導致 X 矩陣不是 full rank 了, 07/19 17:17
8F：→ yhliu: 還看什麼 vif, conditional number? 07/19 17:18
9F：→ LiamIssac: 有可能只是很嚴重的collinearity 如果是perfect collin 07/19 22:35
10F：→ LiamIssac: earity 那就基本違反Gauss Markov assumptions了 07/19 22:35
11F：→ yhliu: Gauss-Markov assumption 沒有規定 X 矩陣必須是 full rank 07/20 08:30
12F：→ yhliu: 吧? 非 full rank 只是使得迴歸係數不可估, 但 ls estimate 07/20 08:31
13F：→ yhliu: 仍是 BLUE (for E[Y]). 07/20 08:32
14F：→ yhliu: 既然軟體已判斷 X 不是 full rank, 就是 X'X 的 eigen valu 07/20 08:33
15F：→ yhliu: 至少一個已可以說是 0, 還看什麼 vif, conditional number? 07/20 08:34
16F：→ yhliu: SAS 的 GLM (一般線模) 程序處理的多的是 non full rank 的 07/20 08:35
17F：推 LiamIssac: GM有規定no perfect collinearity 這是確保BLUE的其中 07/20 08:37
18F：→ LiamIssac: 一個假設 原po的問題如果真的是perfect collinearity 07/20 08:37
19F：→ LiamIssac: 那就沒戲 如果只是強共線 就還有機會找替代的biased es 07/20 08:37
20F：→ LiamIssac: timate 07/20 08:37
21F：→ yhliu: 情形, 所以才會有涉及 "可估函數". 如果 X 是 full rank, 07/20 08:37
22F：→ yhliu: 任何模型參數(迴歸係數)的 linear function 包括各係數本身 07/20 08:38
23F：→ yhliu: 都是可估的. 07/20 08:38
24F：→ yhliu: 就算完全共線, 照樣可以找有偏估計. Ridge regression 可沒 07/20 08:40
25F：→ yhliu: 規定完全共線的情形不能用. 07/20 08:41
26F：推 LiamIssac: 對 但是問題在於 這時候的出發點OLS 本身就不是個好est 07/20 08:56
27F：→ LiamIssac: imate (非 如果再ridge下去 只會更遭? 況且ridge本身就 07/20 08:56
28F：→ LiamIssac: 不是個feasible的方法(以vif的角度來看) 所以perfect c 07/20 08:56
29F：→ LiamIssac: ollinearity情況下 還是用pca regression等方法會好一 07/20 08:56
30F：→ LiamIssac: 些 07/20 08:56