作者wearytolove (奪真書生A.W.)
看板Statistics
標題[討論] 關於decision tree與random forest
時間Sat Jul 1 01:34:48 2017
最近在研究decision tree跟random forest,不知道能不能跟各位大大請教實際執行的細
節呢?
1. Random forest的目的是不是要計算哪些變數比較重要,而不是選出最好的model?但要
算變數的重要性,一開始prune完後的tree裡前面幾個node不就代表是重要的嗎?
2. 接上題，跑完Random forest後，除了把變數重要性的圖畫出來後還要做什麼嗎？我們
如何根據這圖來改進model？
3. 就算我知道某變數第二或第三重要，要如何解釋呢？理論上，我跑decision tree的目
的，就是要知道interaction，也就是把資料切成小塊後不同塊再用不同變數切。那可能
某變數對某小塊資料很重要，但對全體平均而言不是最重要的。但我想知道的就是那小塊
的狀況啊！我要知道平均效果不是跑迴歸就好了？
感謝各位！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 152.3.43.176
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1498844091.A.434.html
1F：推 f496328mm: 弱模型經過 ensemble 後，效果會變好，這就是RF的概念 07/01 03:23
2F：推 f496328mm: 變數重要性，在對於variable selection時會有幫助，變 07/01 03:25
3F：→ f496328mm: 數不是越多越好 07/01 03:25
4F：推 f496328mm: 解釋部分，你可以從專業領域去解釋，單純一棵樹，你用 07/01 03:32
5F：→ f496328mm: 不同變數切的順許會有影響，另外你只是對目前的樣本做 07/01 03:32
6F：→ f496328mm: 分析，但我們更關心testing，這是你目前樣本沒有的， 07/01 03:32
7F：→ f496328mm: 所以單純fitting training data沒有意義，這就是為什 07/01 03:32
8F：→ f496328mm: 麼要有RF 07/01 03:32
9F：推 f496328mm: 如果有錯請板上大大更正 07/01 03:34
10F：→ recorriendo: decision tree is noise sensitive 07/01 04:44
11F：→ recorriendo: 加入小量隨機誤差 給出的變數重要度就可能完全不同 07/01 04:45
12F：→ recorriendo: 用emsemble可以大大提升穩定度 07/01 04:46
13F：→ recorriendo: 如果要用回歸判定變數重要度也是要用ensemble 07/01 04:52
14F：→ recorriendo: (參考multi-model inference) 07/01 04:52
15F：→ hsnuyi: 去看林軒田的youtube 結論跟上面幾位講的一樣 不過有比較 07/01 16:09
16F：→ hsnuyi: 詳細的推導 07/01 16:09
17F：→ hsnuyi: DT如果不prune的話確實很sensitive to noise 不過有prune 07/01 16:12
18F：→ hsnuyi: 的話則好一點 07/01 16:12
19F：→ hsnuyi: 要調整RF參數的方法有很多種 但這關係到你的target functi 07/01 16:14
20F：→ hsnuyi: on 可以去CrossValidated找討論 那有很多文章 07/01 16:14
21F：推 ckmc: 推 07/01 17:11
22F：推 f496328mm: 基本上 RF 就是一個 ensemble 很好的實現 07/01 23:33
23F：→ f496328mm: 現有DATA要怎麼做很多弱模型?? 07/01 23:34
24F：→ f496328mm: 第一個方法就是取 "部分變數" 進行建模 07/01 23:35
25F：→ f496328mm: 第二個方法就是對 "部分樣本" 做建模 07/01 23:35
26F：推 f496328mm: 去看林軒田的會比較好，這裡面很多東西可以講 07/01 23:38
27F：→ f496328mm: 我們只是講個大概而已 裡面還有很多細節 07/01 23:38
28F：→ wearytolove: 感謝大家~~~~ 07/03 13:31