作者Tinderstick ( )
看板Statistics
標題[問題] 迴歸分析中變數重要性
時間Thu Aug 1 00:32:29 2024
大家好
我不是統計背景出身的
但今天跟學生咪挺時聊到
在迴歸分析中可以利用某解釋變數加入前後的 R^2 變化
來當作該變數的重要程度
請問這個做法是常見或正確的嗎?
有沒有相關文獻可供參考呢?
我自己想了一個反例如下:
假設有三個解釋變數 x1, x2, x3
其中 x1 和 x2 很有解釋力但卻高度共線性
x3 則是聊勝於無的變數
在控制 x1 和 x3 時
由於 x2 和 x1 高度共線性
所以額外加入 x2 並不會讓 R^2 上升太多
另一方面
在控制 x1 和 x2 時
由於 x3 本身沒啥用處
所以額外加入 x3 也不會讓 R^2 上升太多
綜上所述
光靠 R^2 的變化來定義變數重要性可能會有問題(?)
但如果把上例的 x1 拿掉呢?
我也不知道答案
印象中在隨機森林裡有類似的變數重要性定義方式
但我查了 ISLR 第二版的 8.2.1 節
其定義是將每棵樹加入該解釋變數後下降的 RSS 取平均
但這麼一來
由於資料已經重新取樣
共線性的問題應該不大
與上述範例裡的迴歸分析似乎又不相同
還請各位大大指點迷津或者提供相關文獻
萬分感謝~ <(_ _)>
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.78.36.246 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1722443551.A.5FF.html
1F:推 chang1248w: RF一般會講到的variable importance 有 ISLR 8.2.1中 08/01 07:13
2F:→ chang1248w: 的 loss gain和2001年的那篇review中使用的variable 08/01 07:13
3F:→ chang1248w: importance (又稱 permutation importance ) 08/01 07:13
4F:→ chang1248w: 後者的行為更像linear regression 裡面會遇到的共線 08/01 07:15
5F:→ chang1248w: 性問題 08/01 07:15
6F:推 chang1248w: 前者因為predictor subsampling的關係,對每棵樹而講 08/01 07:30
7F:→ chang1248w: 變數加入的順序是不一定的,每個變數都有機會在它變 08/01 07:30
8F:→ chang1248w: 得沒有用之前被計算loss gain 08/01 07:30
9F:→ chang1248w: 這個問題的重點在,你期望的importance,到底是 info 08/01 07:33
10F:→ chang1248w: rmative 還是 uniqueness 08/01 07:33
11F:→ recorriendo: 至少要用adjusted R^2 ... 08/01 12:55
12F:→ recorriendo: "變數重要性"本來就是一個籠統的概念 每個人說的重要 08/01 13:08
13F:→ recorriendo: 性指涉的東西可能不一樣 例如如您所述考慮/不考慮其 08/01 13:10
14F:→ recorriendo: 他變數就是一個在每個人理解的"重要性"中扮演腳色不 08/01 13:13
15F:→ recorriendo: 一的考量 08/01 13:13
16F:→ recorriendo: 一旦想要考慮各種變數組合 其實就是在問某變數在不同 08/01 13:28
17F:→ recorriendo: 個regression model裡的重要性如何統合成單一指標 08/01 13:29
18F:→ recorriendo: 這其實沒有一個標準方法 甚至不同研究圈的主流方法也 08/01 13:30
19F:→ recorriendo: 不一致 也有看過有研究者個人會特別偏好某種方法 08/01 13:31
20F:→ recorriendo: 我熟悉的領域現在大都使用Burnham的方法 算一遍所有 08/01 13:34
21F:→ recorriendo: 變數子集的regression model後用AIC去組出一個score 08/01 13:35
22F:→ andrew43: 一個比較簡單的方法,就是同時報導複迴歸及單迴歸的 08/01 13:45
23F:→ andrew43: 標準化迴歸係數。但這還不是一個單一的「重要性指標」。 08/01 13:45
24F:推 WangElly: regression model很忌諱共線性,要先排除,r square 才 08/01 20:08
25F:→ WangElly: 有意義,無他法。 08/01 20:08
26F:→ andrew43: R package relaimpo 中提供的數種方法也可以參考。 08/02 11:05