作者auda (懶人一族)
看板Statistics
標題[問題] 二因子主要效果的族系錯誤率
時間Thu Oct 4 22:14:21 2012
對不起
關於族系錯誤率還是有些疑問
A因子2個 B因子5個 用spss跑主要效果檢驗無交互作用
但是B因子達顯著 A沒有
這時用B因子跑主要效果檢驗 族系錯誤率的設定
是.05/5=.01 還是.05/10=.005
感謝大家的回答
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.118.57.169
※ 編輯: auda 來自: 122.118.57.169 (10/04 22:16)
※ 編輯: auda 來自: 122.118.57.169 (10/04 22:16)
1F：→ coldwind0912:B的主要效果 C5取2=10 用.005 跟 onewayANOVA一樣 10/04 22:27
2F：→ bmka:其實c大的建議還是有點算作弊,因為畢竟已經先跑了其他model 10/05 08:35
3F：→ bmka:不過,一般都還是"假裝"只跑了最終報告的model XD 10/05 08:58
4F：→ coldwind0912:作弊? 何來之說? 交互作用不存在 只探討主要效果 10/05 10:58
5F：→ coldwind0912:主要效果 B有顯著差異 A無 當然只看B的多重比較結果 10/05 10:59
6F：→ coldwind0912:B的多重比較族系錯誤率 當然只看B因子水準 何來作弊? 10/05 11:00
7F：→ bmka:用FWER的主要目的是要控制overall type I error rate 10/05 11:15
8F：→ bmka:但是大家常常忽略model selection過程(drop A and AXB)也 10/05 11:18
9F：→ bmka:會影響overall Type I error rate. 10/05 11:18
10F：→ bmka:如果要把這些都考慮進去,又太intractable,所以有些統計學家 10/05 11:20
11F：→ bmka:提倡要誠實"申報", 坦白交代最終model的決定過程 10/05 11:23
12F：→ bmka:這樣分析結果才會被適當的interpreted with caution 10/05 11:29
13F：→ bmka:不過,目前大部分的paper還是只報final model,用C大建議的方法 10/05 11:31
14F：→ bmka:去控制type I error rate, 但是實際上只控制了一部分 10/05 11:33
15F：→ coldwind0912:所以b大認為應當考量drop A and AXB的Type I error ? 10/05 12:28
16F：→ coldwind0912:換言之 也就是要用simple main effect的觀點去處理? 10/05 12:29
17F：→ coldwind0912:說真的 在interaction不存在的情況之下 10/05 12:30
18F：→ coldwind0912:探討drop A and AXB的model 有什麼意義? 10/05 12:31
19F：→ coldwind0912:在原po的模型裡 A和AxB根本不存在解釋力和效果 10/05 12:33
20F：→ coldwind0912:以主要效果的觀點而言 A和B可以視為獨立事件 10/05 12:34
21F：→ ADORIAN:b大不是建議要考量drop A and AXB的Type I error, 而是說 10/05 13:02
22F：→ ADORIAN:一個 procedure 分兩步來做就會影響 overall Type I error 10/05 13:03
23F：→ ADORIAN:b大建議要坦白交代最終 model 的決定過程, 以免被認為 10/05 13:04
24F：→ ADORIAN:type one error 已經被控制妥善了 10/05 13:05
25F：→ ADORIAN:(也就是b大字句中作弊的意思) 10/05 13:07
26F：→ coldwind0912:或許是認知上有出入 "一個procedure分兩步來做"是指? 10/05 13:11
27F：→ coldwind0912:最終model 一樣是二因子飽合模式 不是嗎? 10/05 13:12
28F：→ ADORIAN:第一步: 找出 A B AXB 哪個 covraite 是重要的, 結果是 B 10/05 13:19
29F：→ ADORIAN:第二步: 在B是重要的前提下, 去控制 B 兩兩比較的 type 1 10/05 13:20
30F：→ ADORIAN:如果沒有直接做第二步, 用 .005 是 OK 的, overall type 1 10/05 13:22
31F：→ ADORIAN:的確不會超過 0.05。但在分兩步下, 第一步也犯了 type 1 10/05 13:23
32F：→ ADORIAN:error。 10/05 13:25
33F：→ ADORIAN:考量drop A and AXB的Type I error 應該不是個簡單的問題 10/05 13:25
34F：→ ADORIAN:所以建議告之model決定的過程. 10/05 13:26
35F：→ coldwind0912:原來是這件事 procedure的確是要分這樣兩步驟沒錯呀 10/05 13:28
36F：→ coldwind0912:第一步完成後 A.B.AxB僅有B的效果達顯著才作第二步呀 10/05 13:29
37F：→ coldwind0912:而且 要先完全交代第一步的結果 第二步才能用.005呀 10/05 13:30
38F：→ coldwind0912:假如第一步的結果是A.B都顯著 AxB不顯著用.005就錯了 10/05 13:31
39F：→ coldwind0912:所以 原則上本來就不能跳過交代第一步的模型結果 10/05 13:32
40F：→ coldwind0912:甚至 我認為也不能夠因為知道第一步的模型結果了 10/05 13:32
41F：→ coldwind0912:直接選擇不呈現 跳過以第二步的模型作為研究最終模型 10/05 13:32
42F：→ coldwind0912:以這例子而言 還是要以二因子飽合模型為研究最終模型 10/05 13:34
43F：→ coldwind0912:這點的認知 應該跟A大和b大的意見 不衝突吧? 10/05 13:34
44F：→ coldwind0912:只是這例子 剛好給了一個跳過呈現步驟一模型的機會 10/05 13:37
45F：→ coldwind0912:選擇跳過或如實呈現模型選擇的過程 這是良心的問題了 10/05 13:38
46F：→ coldwind0912:以我的研究精神來說 我是不會跳過啦 就如實呈現 10/05 13:39
47F：→ coldwind0912:畢竟 方法學追求的不是結果完美 而是沒有使用錯方法 10/05 13:39
48F：→ coldwind0912:ps.dropA&AxB的TypeI error就是看simple main effect 10/05 13:41
49F：→ obarisk:都說明是兩步驟了！當然要效正啊 ... 10/05 14:25
50F：→ ADORIAN:如果是要看 overall type 1 error, 不顯著的應該也不能跳 10/05 14:39
51F：→ ADORIAN:過。其實我不確定我講的這樣是不是完全正確,再等b大回應。 10/05 14:40
52F：→ ADORIAN:更正: "如果沒有直接做第二步" 改成 "如果只有第二步" 10/05 15:00
53F：→ bmka:謝謝A大幫忙解釋. 10/05 19:36
54F：→ bmka:c大的論述裡面犯了一個錯誤,就是interaction不顯著,不代表 10/05 19:39
55F：→ bmka:不存在, 當你"決定"不顯著所以只看main effect時,決定本身 10/05 19:39
56F：→ bmka:就帶有增加type I/II error的後果 10/05 19:40
57F：→ bmka:只是目前大部分的paper都假裝沒發生這件事 XD 10/05 19:47
58F：→ coldwind0912:其實 我知道interaction不顯著 不代表不存在 10/05 19:54
59F：→ coldwind0912:如同我們也清楚大部分paper都假裝沒發生這件事 10/05 19:55
60F：→ coldwind0912:在實務上 要把A,B,AxB的type I/II error都考量進去 10/05 19:55
61F：→ coldwind0912:目前也無法被大多數審查paper的人所接受 10/05 19:56
62F：→ coldwind0912:因為 多數的實務處理做法上 還是退一步看main effect 10/05 19:57
63F：→ bmka:不能說無法被reviewer接受(畢竟這是正確的作法),應該說大部分 10/05 19:58
64F：→ bmka:的人不知道該怎麼處理 10/05 19:58
65F：→ coldwind0912:或許 是不是要用到那麼嚴格的處理方式 是要考量的點 10/05 19:58
66F：→ bmka:我記得聽過LJ Wei(還是Fran Harrell)的演講,就是一直強調這 10/05 19:59
67F：→ coldwind0912:哈哈~我做過也被reviewer問過 XD 10/05 19:59
68F：→ bmka:件事, 要統計學家負起責任來 10/05 20:00
69F：→ coldwind0912:這就像早期 onewayANOVA多重比較要用LSD HSD還是雪費 10/05 20:01
70F：→ coldwind0912:我們都知道雪費法是嚴謹的做法 但有沒有必要那嚴格 10/05 20:01
71F：→ coldwind0912:甚至弄到後來 一堆不明究理的人跟著用雪費卻不會解讀 10/05 20:02
72F：→ bmka:嗯,其實除非該領域約定俗成一定要處理false discovery rate 10/05 20:03
73F：→ bmka:我通常會在stat section宣告 "p-values are not adjusted 10/05 20:04
74F：→ bmka:for multiple comparisons", 如果要強調pairwise comparison 10/05 20:04
75F：→ bmka:會在主文另外加註. 算是一種disclaimer(攤手) 10/05 20:05
76F：→ coldwind0912:沒錯 我覺得到後來 有時候是自己良心要做到幾分功夫 10/05 20:06
77F：→ coldwind0912:要做到最嚴謹當然可以 但遇到些阿殺不魯的reviewer 10/05 20:07
78F：→ coldwind0912:就有種覺得自己幹嘛多此一舉的感嘆 10/05 20:08
79F：→ bmka:統計分析本來就得摸著良心做(笑).不過也就是因為忽略model 10/05 20:15
80F：→ bmka:selection 過程會帶來inflated type I error rate, 現在 10/05 20:16
81F：→ bmka:呼籲大家一定要做model validation(如果有足夠大的樣本數) 10/05 20:17
82F：→ bmka:的聲音也越來越大. 還好現在套裝軟體已經有提供這個功能了 10/05 20:18
83F：推 coldwind0912:是呀 model validation現在都是很基本的要求了~ 10/06 00:46
84F：→ ADORIAN:但我還是隱約的看到c大有個觀與我不一樣, c大認為(以原po) 10/06 14:36
85F：→ ADORIAN: 念 10/06 14:36
86F：→ ADORIAN:的例子為例)第一步的模型(A B)作為研究最終模型, 在將B控 10/06 14:39
87F：→ ADORIAN:制在type one error 是0.005這樣就是control住overall 10/06 14:40
88F：→ ADORIAN:type 1 error 是嗎? 10/06 14:40
89F：→ coldwind0912:不是耶~ .005是指不考慮二因子飽合模式為最終模型 10/07 00:03
90F：→ coldwind0912:因為 交互作用不顯著 所以退一步只用onewayANOVA觀點 10/07 00:04
91F：→ coldwind0912:看B變項的主要效果後的多重比較 10/07 00:04
92F：→ coldwind0912:如果是要看control後的overall type 1 error.... 10/07 00:10
93F：→ coldwind0912:可以用simple main effects 再以這樣模型做多重比較 10/07 00:11
94F：→ ADORIAN:那我會錯意了 XD 10/07 12:24