作者saltlake (SaltLake)
看板Statistics
標題[問題] 避免多重統計測試偽陽提高
時間Fri Aug 28 06:59:50 2020
統計測試裡面控制偽陽性的參數用 a 表示時，常用 5% 值做限制。
但是遇到多重測試的狀況，因為測試的次數多了，即使真正狀況是
虛無假說正確，也有機會 (a) 遇到偽陽狀況，及測到可以推翻虛無
假說的情況。
書上查到這時候可以把機率域值 (p-value) 調低: pk = p/k
k 是測試的次數。
這樣就可以確定進行所有的測試還是只會遇到 a (5%) 的偽陽性。
有人知道這怎麼證明嗎?
另外，用較小的 pk 代替 p，雖然偽陽性控制了，但是這一來每次
測試要達到「有效果」的標準更嚴，不會把「本該有效果卻誤以為沒
效」的偽陰性機率提高了嗎?
怎樣控制偽陰性呢? 如果要做多重測試的話?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.24.70.64 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1598569192.A.4E5.html
1F：→ andrew43: 採用power更好的矯正方法 08/28 07:46
2F：→ yhliu: 你的 "偽陽性" 在統計上稱 "型Ｉ誤", "偽陰性" 是 "型II誤" 08/28 07:49
3F：→ andrew43: 另，因目的不同，控制型一錯也有不同容許程度。不見得 08/28 07:51
4F：→ andrew43: 非得一個錯都不可發生。 08/28 07:51
5F：→ yhliu: 談 "型II誤" 或你所謂 "偽陰性" 要論真實值離假設值多遠才 08/28 07:52
6F：→ yhliu: 算 "陽性"(有差異、差異顯著等等). 08/28 07:54
7F：→ yhliu: 控制 "型II誤" 的方法是靠樣本大小. 08/28 07:55
8F：→ Pieteacher: 可以參考 FDR 08/28 12:15
9F：推 bruce89: google bonferroni 08/28 12:39
10F：→ recorriendo: 證明基本就是Markov inequality而已 08/28 21:16
11F：→ yhliu: 在多組資料相互比較時有整體多組資料有無差異之整體性檢定 08/31 07:10
12F：→ yhliu: 控制整體型Ｉ誤, 而個別兩兩比較則可以用較寬鬆方法. 但此 08/31 07:12
13F：→ yhliu: 處是比如一個研究報告中做了無數個檢定, 基於型Ｉ誤之被允 08/31 07:15
14F：→ yhliu: 許存在, 大量統計檢定中幾乎必然出現隨機性的 "顯著" 結論. 08/31 07:16
15F：→ yhliu: Bonerroni 是解決這種虛假顯著的重要方法, 卻也只是理論之 08/31 07:18
16F：→ yhliu: 談. 想像一個研究可能做多少次假說檢定? 列於報告中的不過 08/31 07:20
17F：→ yhliu: 是其中少數罷了. 即使如此, 也不可能真把每個檢定的顯著水 08/31 07:21
18F：→ yhliu: 準由 0.05 降為 0.0005 之類的, 更別說這樣做造成低檢定力 08/31 07:23
19F：→ yhliu: 難以令人接受. 因此, 真正關鍵還是在研究者心態: 別為那 08/31 07:25
20F：→ yhliu: "顯著" 結果沾沾自喜, 更別為之擴大解讀. 多點謙卑的心, 多 08/31 07:26
21F：→ yhliu: 點懷疑的精神, 對結果做保守的解釋吧! 08/31 07:27
22F：推 andy10217: 推樓上 11/01 12:18