作者saltlake (SaltLake)
看板Statistics
标题[问题] 避免多重统计测试伪阳提高
时间Fri Aug 28 06:59:50 2020
统计测试里面控制伪阳性的参数用 a 表示时，常用 5% 值做限制。
但是遇到多重测试的状况，因为测试的次数多了，即使真正状况是
虚无假说正确，也有机会 (a) 遇到伪阳状况，及测到可以推翻虚无
假说的情况。
书上查到这时候可以把机率域值 (p-value) 调低: pk = p/k
k 是测试的次数。
这样就可以确定进行所有的测试还是只会遇到 a (5%) 的伪阳性。
有人知道这怎麽证明吗?
另外，用较小的 pk 代替 p，虽然伪阳性控制了，但是这一来每次
测试要达到「有效果」的标准更严，不会把「本该有效果却误以为没
效」的伪阴性机率提高了吗?
怎样控制伪阴性呢? 如果要做多重测试的话?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.24.70.64 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1598569192.A.4E5.html
1F：→ andrew43: 采用power更好的矫正方法 08/28 07:46
2F：→ yhliu: 你的 "伪阳性" 在统计上称 "型Ｉ误", "伪阴性" 是 "型II误" 08/28 07:49
3F：→ andrew43: 另，因目的不同，控制型一错也有不同容许程度。不见得 08/28 07:51
4F：→ andrew43: 非得一个错都不可发生。 08/28 07:51
5F：→ yhliu: 谈 "型II误" 或你所谓 "伪阴性" 要论真实值离假设值多远才 08/28 07:52
6F：→ yhliu: 算 "阳性"(有差异、差异显着等等). 08/28 07:54
7F：→ yhliu: 控制 "型II误" 的方法是靠样本大小. 08/28 07:55
8F：→ Pieteacher: 可以参考 FDR 08/28 12:15
9F：推 bruce89: google bonferroni 08/28 12:39
10F：→ recorriendo: 证明基本就是Markov inequality而已 08/28 21:16
11F：→ yhliu: 在多组资料相互比较时有整体多组资料有无差异之整体性检定 08/31 07:10
12F：→ yhliu: 控制整体型Ｉ误, 而个别两两比较则可以用较宽松方法. 但此 08/31 07:12
13F：→ yhliu: 处是比如一个研究报告中做了无数个检定, 基於型Ｉ误之被允 08/31 07:15
14F：→ yhliu: 许存在, 大量统计检定中几乎必然出现随机性的 "显着" 结论. 08/31 07:16
15F：→ yhliu: Bonerroni 是解决这种虚假显着的重要方法, 却也只是理论之 08/31 07:18
16F：→ yhliu: 谈. 想像一个研究可能做多少次假说检定? 列於报告中的不过 08/31 07:20
17F：→ yhliu: 是其中少数罢了. 即使如此, 也不可能真把每个检定的显着水 08/31 07:21
18F：→ yhliu: 准由 0.05 降为 0.0005 之类的, 更别说这样做造成低检定力 08/31 07:23
19F：→ yhliu: 难以令人接受. 因此, 真正关键还是在研究者心态: 别为那 08/31 07:25
20F：→ yhliu: "显着" 结果沾沾自喜, 更别为之扩大解读. 多点谦卑的心, 多 08/31 07:26
21F：→ yhliu: 点怀疑的精神, 对结果做保守的解释吧! 08/31 07:27
22F：推 andy10217: 推楼上 11/01 12:18