作者liton (欧吉桑留学生)
看板Statistics
标题[问题] Logistic不仅只是要一组最佳解
时间Tue Aug 16 17:13:43 2011
Logisics的Selection有None, Forward, Backward, Stepwise, Score
但是我要的是符合ROC达到某一定程度下
所有的候选模型
请问SAS有办法产出吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 210.71.218.254
1F：推 tew:应该是可以 08/16 18:46
2F：→ gsuper:我用 stepwise 的方法 , 控制 model error 在 特定数值以下 08/17 01:52
3F：→ gsuper:以AUC当performance , 挑出来的 model performance 在全排 08/17 01:53
4F：→ gsuper:列组合的 0.1% 以下 , 用暴力法 coding 不太划算 08/17 01:54
5F：→ gsuper:除非你要搞很贵的实验 , 那就全部暴力给他下去吧 08/17 01:55
6F：→ liton:楼上说的只会挑出一组AUC最好的 但这组後面的BOOTSTRAPPING 08/17 10:00
7F：→ liton:以及後面的USER TEST可能过不了 08/17 10:01
8F：→ liton:coding不是问题,麻烦的是计算,例如我100个变数中要取出 08/17 10:23
9F：→ liton:10个变数的组合 COMBIN(100,10)...这要算到什麽时候? 08/17 10:24
10F：→ gsuper:我说的就是这种暴力法 R指令 combn(100,10) , combn(100,9) 08/17 12:47
11F：→ gsuper:combn(100,i) {i属於 1~10} 08/17 12:48
12F：→ gsuper:你可以试试看 Cohen`s d 这个指标, 计算时间比AUC少很多 08/17 12:51
13F：→ gsuper:但两者的关联性在常态分布下很高 08/17 12:51
14F：→ gsuper:reclassification 类的应该也是要算很久 (NRI和IRI) 08/17 12:52
15F：→ gsuper:因为 NRI 在资料处理上有点麻烦 , IRI要积分 (同AUC) 08/17 13:34
16F：→ liton:目前我想到的方法是先筛变数,例如单变量P>5%的直接砍了 08/17 14:26
17F：→ liton:VIF或COV不符某一特定标准的也砍了 08/17 14:27
18F：→ liton:剩下的才进入Logistics 08/17 14:28
19F：→ gsuper:我是这样做 08/17 14:54
20F：→ gsuper:1. 假设有 100 个 features , 先计算 AUC_FULL 08/17 14:55
21F：→ gsuper:2. 先移除第一个 feature , 计算 99 markers 的 delta AUC 08/17 14:55
22F：→ gsuper: delta_AUC = AUC_FULL - AUC_NESTED 08/17 14:57
23F：→ gsuper:3. 将第一个放回去 , 把第二个拿掉 , 计算第二个 feature 08/17 14:58
24F：→ gsuper: 的 delta_AUC 08/17 14:58
25F：→ gsuper:算了....讲不清楚 08/17 14:58
26F：→ liton:你说的是技术性coding的问题,我说的是如何减少计算组数 08/17 15:01
27F：→ liton:例如C(10,2),你还是得算组,我思考的是如何只要算5组 08/17 15:25
28F：→ tew:要不要先将解释变数先跑相关 如果有些便项相关高 08/18 13:20
29F：→ tew:就从其中的变项挑最佳的 或者用因素分析缩减变项 08/18 13:21
30F：推 gsuper:我还是觉得有在回答你的问题 你要的是 heuristic feature 09/05 04:23
31F：→ gsuper:selection 的方法 , 等於说在N组解里面 , 挑出前 1/1000 09/05 04:23
32F：→ gsuper:然後提供你的老板做选择 (可能是跟我一样 不被完全信任) 09/05 04:24
33F：→ gsuper:所以要看暴力法的结果 但暴力法又跑不完 09/05 04:24
34F：→ gsuper:基本就是要把一些不可能OK的结果事先排除不计算 09/05 16:26
35F：→ gsuper:所以我才提到 effect size 比 AUC 要省时间 09/05 16:27
36F：→ gsuper:事前把各种组合的 Cohen`s d 算出来 , 把太离谱的先拿掉 09/05 16:27