作者youchen (youchen)
看板Statistics
标题[问题] P值大小与显着、非常显着？
时间Mon Jun 13 17:03:40 2016
各位高手先进大家好，最近我遇到一个问题，想寻求各位大大解惑...
我们知道P值的定义是“在H0成立（u1 - u2 = 0，或是u1 = u2）的情况下，
出现我们这次实验结果的机率”。如果说机率过小（小於0.05或0.01）的话，
表示H0的假设可能是错误的，应该要reject。
但有些资料写说，“P < 0.05表示显着，P < 0.01表示非常显着，
P < 0.001表示极为显着”。
但是我又看到有参考资料表示说，“因为P值是表示机率，所以不能用P值来描述
显着差异的程度，只有表示有，或无显着差异”。
比如：不能说P < 0.01的结果比P < 0.05的结果还要显着，
也不能说P < 0.01的差异程度比P < 0.05还要大。
但是，如果把H0: u1-u2 = 0画成分布图的话（如图）
http://i.imgur.com/qYO5ddW.jpg
若u1与u2的差异愈大，其u1 - u2的值就会愈接近两边2SD或3SD以外的
0.05或是0.01弃却区（为求简单化，请忽略单双尾）。
也就是说如果u1 - u2的值位於0.01的弃却区的话，u1和u2的差异
就是比位於0.05时还要大。
那这样也不能说P < 0.01时的差异比P < 0.05时还要显着吗？
想请问一下以上论述的盲点在哪里？
P值又是否可以表示显着差异的程度呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 160.252.170.14
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1465808622.A.972.html
1F：推 fred1541: 其实是两面相辅说法 06/13 19:22
2F：推 andrew43: 想一下什麽是「显着差异的程度」 06/13 21:01
3F：→ andrew43: 另外，从你的描述来看，猜测你似乎在问effect size 06/13 21:06
4F：推 methylin: 可以p值很小但effect size 也很小 06/14 08:12
5F：推 methylin: 有很强的证据显示差距只有一点点 06/14 08:15
6F：推 sam7207: 下这样的决策 犯错的机会较小 <=> 口语说 显着的证据 06/15 02:42
7F：→ yhliu: (1) p值不是 "出现我们这次实验结果的机率", 是 06/15 04:58
8F：→ yhliu: "出现比目前结果更极端或同样极端的机率". 06/15 04:59
9F：→ yhliu: 另一定义是 "目前结果可判定显着的最小显着水准". 06/15 05:01
10F：→ yhliu: 所以 p< 0.05 表 显着水准在0.05以上目前结果是显着的. 06/15 05:03
11F：→ yhliu: (2) p当然可以代表 "显着的程度", 但它不代表 "差异程度". 06/15 05:05
12F：→ yhliu: "显着程度" 是指在允许多大的显着水准下, 也就是在允 06/15 05:08
13F：→ yhliu: 许多大的型I误机率下依目前结果能判定显着, 也被当作 06/15 05:09
14F：→ yhliu: "证据强度" 的一种指标. "差异程度" 则是指真实参数与 06/15 05:11
15F：→ yhliu: 虚无假说距离多远. 06/15 05:12
16F：推 recorriendo: 理论上alpha是实验开始前就选定的 P<alpha就是不显着 06/17 02:23
17F：→ recorriendo: alpha代表了你这个实验能容忍的type I error rate 06/17 02:25
18F：→ recorriendo: 所以实验的可信度是和一开始就决定的alpha有关 不是P 06/17 02:26
19F：→ recorriendo: 事实上你跑个简单模拟就知道了 从符合H0的乱数中取 06/17 02:32
20F：→ recorriendo: 1000次data来做检验 就发现其中会让你拒绝H0的比例就 06/17 02:33
21F：→ recorriendo: 是alpha 而这些错误拒绝H0的检验 P可以很小 也可以 06/17 02:35
22F：→ recorriendo: 只比alpha小一点 06/17 02:35
23F：推 bmka: ASA's statement on statistical significance and p-values 06/19 23:14
24F：→ bmka: www.amstat.org/newsroom/pressreleases/P-ValueStatement.p 06/19 23:16
25F：→ bmka: df 06/19 23:16
26F：→ TOOYA: P值的定义就错了 07/05 04:43