作者auda (懒人一族)
看板Statistics
标题[问题] 二因子主要效果的族系错误率
时间Thu Oct 4 22:14:21 2012
对不起
关於族系错误率还是有些疑问
A因子2个 B因子5个 用spss跑主要效果检验无交互作用
但是B因子达显着 A没有
这时用B因子跑主要效果检验 族系错误率的设定
是.05/5=.01 还是.05/10=.005
感谢大家的回答
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 122.118.57.169
※ 编辑: auda 来自: 122.118.57.169 (10/04 22:16)
※ 编辑: auda 来自: 122.118.57.169 (10/04 22:16)
1F：→ coldwind0912:B的主要效果 C5取2=10 用.005 跟 onewayANOVA一样 10/04 22:27
2F：→ bmka:其实c大的建议还是有点算作弊,因为毕竟已经先跑了其他model 10/05 08:35
3F：→ bmka:不过,一般都还是"假装"只跑了最终报告的model XD 10/05 08:58
4F：→ coldwind0912:作弊? 何来之说? 交互作用不存在 只探讨主要效果 10/05 10:58
5F：→ coldwind0912:主要效果 B有显着差异 A无 当然只看B的多重比较结果 10/05 10:59
6F：→ coldwind0912:B的多重比较族系错误率 当然只看B因子水准 何来作弊? 10/05 11:00
7F：→ bmka:用FWER的主要目的是要控制overall type I error rate 10/05 11:15
8F：→ bmka:但是大家常常忽略model selection过程(drop A and AXB)也 10/05 11:18
9F：→ bmka:会影响overall Type I error rate. 10/05 11:18
10F：→ bmka:如果要把这些都考虑进去,又太intractable,所以有些统计学家 10/05 11:20
11F：→ bmka:提倡要诚实"申报", 坦白交代最终model的决定过程 10/05 11:23
12F：→ bmka:这样分析结果才会被适当的interpreted with caution 10/05 11:29
13F：→ bmka:不过,目前大部分的paper还是只报final model,用C大建议的方法 10/05 11:31
14F：→ bmka:去控制type I error rate, 但是实际上只控制了一部分 10/05 11:33
15F：→ coldwind0912:所以b大认为应当考量drop A and AXB的Type I error ? 10/05 12:28
16F：→ coldwind0912:换言之 也就是要用simple main effect的观点去处理? 10/05 12:29
17F：→ coldwind0912:说真的 在interaction不存在的情况之下 10/05 12:30
18F：→ coldwind0912:探讨drop A and AXB的model 有什麽意义? 10/05 12:31
19F：→ coldwind0912:在原po的模型里 A和AxB根本不存在解释力和效果 10/05 12:33
20F：→ coldwind0912:以主要效果的观点而言 A和B可以视为独立事件 10/05 12:34
21F：→ ADORIAN:b大不是建议要考量drop A and AXB的Type I error, 而是说 10/05 13:02
22F：→ ADORIAN:一个 procedure 分两步来做就会影响 overall Type I error 10/05 13:03
23F：→ ADORIAN:b大建议要坦白交代最终 model 的决定过程, 以免被认为 10/05 13:04
24F：→ ADORIAN:type one error 已经被控制妥善了 10/05 13:05
25F：→ ADORIAN:(也就是b大字句中作弊的意思) 10/05 13:07
26F：→ coldwind0912:或许是认知上有出入 "一个procedure分两步来做"是指? 10/05 13:11
27F：→ coldwind0912:最终model 一样是二因子饱合模式 不是吗? 10/05 13:12
28F：→ ADORIAN:第一步: 找出 A B AXB 哪个 covraite 是重要的, 结果是 B 10/05 13:19
29F：→ ADORIAN:第二步: 在B是重要的前提下, 去控制 B 两两比较的 type 1 10/05 13:20
30F：→ ADORIAN:如果没有直接做第二步, 用 .005 是 OK 的, overall type 1 10/05 13:22
31F：→ ADORIAN:的确不会超过 0.05。但在分两步下, 第一步也犯了 type 1 10/05 13:23
32F：→ ADORIAN:error。 10/05 13:25
33F：→ ADORIAN:考量drop A and AXB的Type I error 应该不是个简单的问题 10/05 13:25
34F：→ ADORIAN:所以建议告之model决定的过程. 10/05 13:26
35F：→ coldwind0912:原来是这件事 procedure的确是要分这样两步骤没错呀 10/05 13:28
36F：→ coldwind0912:第一步完成後 A.B.AxB仅有B的效果达显着才作第二步呀 10/05 13:29
37F：→ coldwind0912:而且 要先完全交代第一步的结果 第二步才能用.005呀 10/05 13:30
38F：→ coldwind0912:假如第一步的结果是A.B都显着 AxB不显着用.005就错了 10/05 13:31
39F：→ coldwind0912:所以 原则上本来就不能跳过交代第一步的模型结果 10/05 13:32
40F：→ coldwind0912:甚至 我认为也不能够因为知道第一步的模型结果了 10/05 13:32
41F：→ coldwind0912:直接选择不呈现 跳过以第二步的模型作为研究最终模型 10/05 13:32
42F：→ coldwind0912:以这例子而言 还是要以二因子饱合模型为研究最终模型 10/05 13:34
43F：→ coldwind0912:这点的认知 应该跟A大和b大的意见 不冲突吧? 10/05 13:34
44F：→ coldwind0912:只是这例子 刚好给了一个跳过呈现步骤一模型的机会 10/05 13:37
45F：→ coldwind0912:选择跳过或如实呈现模型选择的过程 这是良心的问题了 10/05 13:38
46F：→ coldwind0912:以我的研究精神来说 我是不会跳过啦 就如实呈现 10/05 13:39
47F：→ coldwind0912:毕竟 方法学追求的不是结果完美 而是没有使用错方法 10/05 13:39
48F：→ coldwind0912:ps.dropA&AxB的TypeI error就是看simple main effect 10/05 13:41
49F：→ obarisk:都说明是两步骤了！当然要效正啊 ... 10/05 14:25
50F：→ ADORIAN:如果是要看 overall type 1 error, 不显着的应该也不能跳 10/05 14:39
51F：→ ADORIAN:过。其实我不确定我讲的这样是不是完全正确,再等b大回应。 10/05 14:40
52F：→ ADORIAN:更正: "如果没有直接做第二步" 改成 "如果只有第二步" 10/05 15:00
53F：→ bmka:谢谢A大帮忙解释. 10/05 19:36
54F：→ bmka:c大的论述里面犯了一个错误,就是interaction不显着,不代表 10/05 19:39
55F：→ bmka:不存在, 当你"决定"不显着所以只看main effect时,决定本身 10/05 19:39
56F：→ bmka:就带有增加type I/II error的後果 10/05 19:40
57F：→ bmka:只是目前大部分的paper都假装没发生这件事 XD 10/05 19:47
58F：→ coldwind0912:其实 我知道interaction不显着 不代表不存在 10/05 19:54
59F：→ coldwind0912:如同我们也清楚大部分paper都假装没发生这件事 10/05 19:55
60F：→ coldwind0912:在实务上 要把A,B,AxB的type I/II error都考量进去 10/05 19:55
61F：→ coldwind0912:目前也无法被大多数审查paper的人所接受 10/05 19:56
62F：→ coldwind0912:因为 多数的实务处理做法上 还是退一步看main effect 10/05 19:57
63F：→ bmka:不能说无法被reviewer接受(毕竟这是正确的作法),应该说大部分 10/05 19:58
64F：→ bmka:的人不知道该怎麽处理 10/05 19:58
65F：→ coldwind0912:或许 是不是要用到那麽严格的处理方式 是要考量的点 10/05 19:58
66F：→ bmka:我记得听过LJ Wei(还是Fran Harrell)的演讲,就是一直强调这 10/05 19:59
67F：→ coldwind0912:哈哈~我做过也被reviewer问过 XD 10/05 19:59
68F：→ bmka:件事, 要统计学家负起责任来 10/05 20:00
69F：→ coldwind0912:这就像早期 onewayANOVA多重比较要用LSD HSD还是雪费 10/05 20:01
70F：→ coldwind0912:我们都知道雪费法是严谨的做法 但有没有必要那严格 10/05 20:01
71F：→ coldwind0912:甚至弄到後来 一堆不明究理的人跟着用雪费却不会解读 10/05 20:02
72F：→ bmka:嗯,其实除非该领域约定俗成一定要处理false discovery rate 10/05 20:03
73F：→ bmka:我通常会在stat section宣告 "p-values are not adjusted 10/05 20:04
74F：→ bmka:for multiple comparisons", 如果要强调pairwise comparison 10/05 20:04
75F：→ bmka:会在主文另外加注. 算是一种disclaimer(摊手) 10/05 20:05
76F：→ coldwind0912:没错 我觉得到後来 有时候是自己良心要做到几分功夫 10/05 20:06
77F：→ coldwind0912:要做到最严谨当然可以 但遇到些阿杀不鲁的reviewer 10/05 20:07
78F：→ coldwind0912:就有种觉得自己干嘛多此一举的感叹 10/05 20:08
79F：→ bmka:统计分析本来就得摸着良心做(笑).不过也就是因为忽略model 10/05 20:15
80F：→ bmka:selection 过程会带来inflated type I error rate, 现在 10/05 20:16
81F：→ bmka:呼吁大家一定要做model validation(如果有足够大的样本数) 10/05 20:17
82F：→ bmka:的声音也越来越大. 还好现在套装软体已经有提供这个功能了 10/05 20:18
83F：推 coldwind0912:是呀 model validation现在都是很基本的要求了~ 10/06 00:46
84F：→ ADORIAN:但我还是隐约的看到c大有个观与我不一样, c大认为(以原po) 10/06 14:36
85F：→ ADORIAN: 念 10/06 14:36
86F：→ ADORIAN:的例子为例)第一步的模型(A B)作为研究最终模型, 在将B控 10/06 14:39
87F：→ ADORIAN:制在type one error 是0.005这样就是control住overall 10/06 14:40
88F：→ ADORIAN:type 1 error 是吗? 10/06 14:40
89F：→ coldwind0912:不是耶~ .005是指不考虑二因子饱合模式为最终模型 10/07 00:03
90F：→ coldwind0912:因为 交互作用不显着 所以退一步只用onewayANOVA观点 10/07 00:04
91F：→ coldwind0912:看B变项的主要效果後的多重比较 10/07 00:04
92F：→ coldwind0912:如果是要看control後的overall type 1 error.... 10/07 00:10
93F：→ coldwind0912:可以用simple main effects 再以这样模型做多重比较 10/07 00:11
94F：→ ADORIAN:那我会错意了 XD 10/07 12:24