270科学家合作，仅能重覆36%心理学实验结果 http://www.thenewslens.com/post/211550/ 科学研究重视实验证据，而任何证据都必须通过同行审查，在其他科学家反覆测试、确认 可靠方被接纳成为学界共识。据估计，每年有200万篇科学期刊论文刊出，如何能确保这 些论文的结果可靠，成为科学界的重要问题。 近日一项大型研究结果在《科学》期刊发表，270名心理学家合作，尝试重覆过百项曾於 顶尖心理学期刊发表过的实验。结果发现，原本100项实验中97项结果具统计显着性，重 覆实验中这数字降到36项。如果把两次实验的数据合起来，则有68项，仍比原本的数字低 。足见即使是具质素的研究，仍可能无法重覆实验结果。 然而如何解读这项研究，并不简单。 出版偏误（publication bias） 学界早就有声音质疑，现时学术出版的模式会令论文结果有偏差。 学术圈工作竞争激争，有所谓「发表论文或消失」（publish or perish）的现象，令不 少科学家都需要发表成果争取研究资金。这使得科学家倾向发表创新的结果，而非重覆已 有的实验。 此外，我们倾向认为有显着、正面结果（例如证实不同现象有关联）的研究比较有趣，而 使得其他具质素、严谨但结果并不显着甚至负面的研究无法刊出。这可能是因为研究员自 己认为结果不重要而没有投稿，转而花时间去其他研究上；又或是期刊方面认为这些论文 不吸引，因此拒绝刊出。 上述因素使得在期刊上的论文侧重在正面、创新的结果，此即出版偏误。即使某个研究结 果可能被其他研究否定，但基於出版偏误，後者无法刊出。这会令学界需要花费更多时间 ，才能够辨别清楚哪些研究真正可靠，哪些不是。 重覆实验 2011年底，是次大型研究的计划开始，由开放科学中心的社会心理学家Brian Nosek统筹 。他找了世界各地多支研究队伍，尝试严谨地重覆三本重要心理学期刊上的实验︰《 Psychological Science》、《Journal of Personality and Social Psychology》及《 Journal of Experimental Psychology: Learning, Memory, and Cognition》。 研究人员选取了三本期刊在2008年刊出的论文，用上这一年的研究，是因为足够近而包含 原创的结果，但又不会太新而可以比较论文的反应、引用数量等。最终在488篇论文当中 ，挑选了111篇论文分配给各支研究队伍，总共做了113个实验。这些实验多数是论文中最 後一个实验，也有其他是按可行性或原作者建议而做。 为了确保重覆的实验条件尽量跟原本实验一致，研究人员联络了所有原作者，让他们提供 当时的研究数据、材料等，也让他们检视重覆实验的设计。 研究结果 最终有100项实验能在预定时间完成，研究人员分析结果，并跟原本实验结果比较。虽然 研究人员表明，没有单一指标可以判断重覆实验成功与否，而且他们选用的五个指标亦非 唯一，但整体而言如上所述，重覆实验後统计上显着的结果明显较少。 不过研究人员亦指出，不应轻易把成功的重覆实验结果视为印证理论，毕竟重覆实验仅为 验证结果的其中一环，我们还需要更多不同的实验去排除其他可能解释。另外，也不应轻 易因为重覆实验失败而否定原本的实验，虽然他们尽力令实验接近原本的设计，但还有无 法控制的因素使两者结果有别。 更重要的是，今次研究是首次大型、开放、有系统地审视心理学实验结果的计划，所有数 据都放在网上。今次研究人员使用的系统，可以供学界日後使用。例如实验人员可以把研 究数据公开，增加透明度，亦方便其他科学家重覆实验。 科学进步的动力 论文的结论指出，虽然人类希望有确定的结果、知识，科学却不常提供，单一研究结果几 乎不可能彻底解释一个现象。是次研究的原本实验提供了初步证据，重覆实验则提供额外 证据，有时进一步确认原本的结果，有时则说明我们需要更多研究去查明真相。 科学进步是一个累积知识、降低不确定性的过程，但只有科学界对自身保持怀疑，科学才 能进步。 最後研究人员表示，他们开始这项计划，乃出於关注心理学的发展，以及相信这门学问的 知识能为人类有益。而实验的可重覆验证，对此目标极为重要。同时，累积证据是科学社 群自我修正的方法，而且这是最可能达致其终极目标——寻求真相——的方法。 论文: http://www.sciencemag.org/content/349/6251/aac4716.full -- 这个数字蛮有趣的, 重复时验只有约四成显着. 可能原因有很多, 例如操作实验的环境不同, 有做过实验的就知道, 很多实验有很多需要注意的小地方. 例如期末考周前後的实验数据会比较差等. 不知道重复实验是否有办法控制这些. 但文章还是挑出一点很重要的观念, 因为我们倾向发表有显着的成果, 但那些无法显着的成果理论上也很重要. 因为它可以呈现一个实验是否是很稳定的(robust), 还是很因人而异. 而且若没显着的结果, 若理论是对的, 那就是实验中有confounding factor影响了. 这也是很重要的一环. --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 134.58.253.57 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Cognitive/M.1441036245.A.0E7.html