作者wearytolove (夺真书生A.W.)
看板Statistics
标题[讨论] 关於decision tree与random forest
时间Sat Jul 1 01:34:48 2017
最近在研究decision tree跟random forest,不知道能不能跟各位大大请教实际执行的细
节呢?
1. Random forest的目的是不是要计算哪些变数比较重要,而不是选出最好的model?但要
算变数的重要性,一开始prune完後的tree里前面几个node不就代表是重要的吗?
2. 接上题，跑完Random forest後，除了把变数重要性的图画出来後还要做什麽吗？我们
如何根据这图来改进model？
3. 就算我知道某变数第二或第三重要，要如何解释呢？理论上，我跑decision tree的目
的，就是要知道interaction，也就是把资料切成小块後不同块再用不同变数切。那可能
某变数对某小块资料很重要，但对全体平均而言不是最重要的。但我想知道的就是那小块
的状况啊！我要知道平均效果不是跑回归就好了？
感谢各位！
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 152.3.43.176
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1498844091.A.434.html
1F：推 f496328mm: 弱模型经过 ensemble 後，效果会变好，这就是RF的概念 07/01 03:23
2F：推 f496328mm: 变数重要性，在对於variable selection时会有帮助，变 07/01 03:25
3F：→ f496328mm: 数不是越多越好 07/01 03:25
4F：推 f496328mm: 解释部分，你可以从专业领域去解释，单纯一棵树，你用 07/01 03:32
5F：→ f496328mm: 不同变数切的顺许会有影响，另外你只是对目前的样本做 07/01 03:32
6F：→ f496328mm: 分析，但我们更关心testing，这是你目前样本没有的， 07/01 03:32
7F：→ f496328mm: 所以单纯fitting training data没有意义，这就是为什 07/01 03:32
8F：→ f496328mm: 麽要有RF 07/01 03:32
9F：推 f496328mm: 如果有错请板上大大更正 07/01 03:34
10F：→ recorriendo: decision tree is noise sensitive 07/01 04:44
11F：→ recorriendo: 加入小量随机误差 给出的变数重要度就可能完全不同 07/01 04:45
12F：→ recorriendo: 用emsemble可以大大提升稳定度 07/01 04:46
13F：→ recorriendo: 如果要用回归判定变数重要度也是要用ensemble 07/01 04:52
14F：→ recorriendo: (参考multi-model inference) 07/01 04:52
15F：→ hsnuyi: 去看林轩田的youtube 结论跟上面几位讲的一样 不过有比较 07/01 16:09
16F：→ hsnuyi: 详细的推导 07/01 16:09
17F：→ hsnuyi: DT如果不prune的话确实很sensitive to noise 不过有prune 07/01 16:12
18F：→ hsnuyi: 的话则好一点 07/01 16:12
19F：→ hsnuyi: 要调整RF参数的方法有很多种 但这关系到你的target functi 07/01 16:14
20F：→ hsnuyi: on 可以去CrossValidated找讨论 那有很多文章 07/01 16:14
21F：推 ckmc: 推 07/01 17:11
22F：推 f496328mm: 基本上 RF 就是一个 ensemble 很好的实现 07/01 23:33
23F：→ f496328mm: 现有DATA要怎麽做很多弱模型?? 07/01 23:34
24F：→ f496328mm: 第一个方法就是取 "部分变数" 进行建模 07/01 23:35
25F：→ f496328mm: 第二个方法就是对 "部分样本" 做建模 07/01 23:35
26F：推 f496328mm: 去看林轩田的会比较好，这里面很多东西可以讲 07/01 23:38
27F：→ f496328mm: 我们只是讲个大概而已 里面还有很多细节 07/01 23:38
28F：→ wearytolove: 感谢大家~~~~ 07/03 13:31