※ 引述《x565x (把握当下)》之铭言： : 先解释一下，「期望值」是因为我不太确定这个状况是否可以这样解释，所以先 : 括弧起来，请高手协助解惑。 : 问题是这样： : 假设有100篇使用t-test的研究（先想像成都是很单纯地做一个实验介入然後比较 : 差异性的研究），而其alpha值都设定为.05，则发生型1错误的「期望篇数」是否 : 是5篇？ 似乎好像是。 所以若同时有100个相同的研究被执行 达到显着的研究数如果只在5个附近 那我们几乎可以说 这个研究假设 是难以被支持的 一个真正有效果的研究被执行 会达到显着的机会 肯定要远大於5% 这好像也就是 power要远大於alpha的意思 从统计的假设考验来看 power的最小值就是alpha 即所有显着都是错误的显着，这代表H0 H1两分配重合 完全没差异的情况 才会造成power=alpha : 会想问这个问题是因为我们看很多实验设计都会使用t-test去做验证，在这麽庞大 : 的科学研究世界中，有这麽多篇（远超过100篇）都使用t-test，而其alpha值也都 : 设定为.05（先都想像成大家都很有良心没有去操弄），那这样是否代表... : 别说人为操弄或实验上的误差，其实光因统计上犯的错就够多了？ 没错 统计的错 还包括 统计假设(常态母群、变异数同异、独立性)是否符合假设 另一层是 测量资料的问题 测量资料本身通常也有信效度的问题 更严重是等距量尺的问题，很多资料并非等距量尺 但也被拿来做母数统计分析 再者 就是实验操弄、标准化的问题 也可能会有误差存在 以及 很多没显着的研究都不会发表 通常有显着的研究才会发表 这更容易造成 type1error 绝对比宣称的5% 还要大的多 我们总结来看一个研究有三层误差存在 1 纯统计推论误差 2 资料测量误差 3 研究执行与操弄误差、是否很多人做类似的研究 所以 我再次重申 我个人的心得结论 只要同时具备以上三种可能的误差 所有 研究刚过.05的显着水准 都不可信 我认为 至少要过.01 才具有一定的可靠性。 我看研究都是这样看 什麽 .07 .06 .05 .04 .03 .02的p-value 我都觉的 可靠性是不足的 不过这也属我个人的主观解释 但当然 我们也不能因为 这样的p-value就咬定不够显着 而抹煞整个研究 显着性还有其他的问题 待厘清 比如样本数的大小、power、effect size效果的强弱 等等 但是 必须切记 所有研究都是建立在机率的角度上 没有什麽是绝对一定的事。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.43.248.214 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1454815178.A.197.html ※ 编辑: circlelee (114.43.248.214), 02/07/2016 11:25:54