社会科学研究新危机：超1/3实验结果被发现无法重复

今天，由五个实验室组成的协作团队在 Nature 杂志子刊上发表了一项研究结果，这项研究就是对 21 个已发表在 Science 或 Nature 杂志上的社会科学实验的复制。结果，研究人员未能成功复制超过三分之一的研究结果，并且复制成功的那些与原始研究相比证据也显著较弱。

 

在进行复制实验之前，该团队还设立了一个“预测市场”，其他研究人员可以下注哪些研究能被复制，结果证明“预测市场”的预测相当准确。

 

Gideon Nave 是沃顿商学院市场营销专业的助理教授，也是本次研究的领导者之一，他说：“人们可以说有一些没有成功复制的结果可能是因为本次研究与原始研究之间存在差异，也有可能是复制研究中出现了错误，但‘预测市场’准确预测了结果，说明事情没那么简单。”

 

该团队的研究人员分别来自来自宾夕法尼亚大学、因斯布鲁克大学、斯德哥尔摩经济学院，新西兰高等研究院（New Zealand Institute for Advanced Study）、开放科学中心（Center for Open Science）、新加坡国立大学、弗吉尼亚大学、加州理工学院、哥德堡大学、哈佛大学、瑞典 Spotify、慕尼黑大学、阿姆斯特丹大学和哈尔滨工业大学。

 

研究人员首先从 2010 年至 2015 年期间发表的实验性社科论文找到所有涉及随机对照实验，对照试验可以是由大学生做问卷调查的形式完成，也可以是网络问卷形式，然后再尝试从这些符合他们要求的论文中选取主要实验结论进行重复研究。为了对普遍使用的复制方法进行扩展和改进，该团队不仅获取了原始研究材料，还在进行研究之前让原作者对协议进行审查和认可。这些研究的实验设计和分析计划都公开，研究设计包括大样本量，以便复制可能会检测到对结果的支持的样本。

 

该项目的另一位领导者 Felix Holzmeister 来自因斯布鲁克大学，他表示：“为确保复制研究的高功效（power），我们的平均样本量大约是原始研究平均样本量的 5 倍。”

 

研究小组发现，21 个重复实验中，有 13 个显示出与原始假设一致的显著证据，即复制成功率为 62%，而评判复制是否成功的其他评估方法也给出了类似的结果，范围从 57％到 67％不等。此外，平均而言，复制成功的研究效应值大小比原始研究小约 50％。这表明即使在最负盛名的科学期刊上发表的研究也没有优异的的可重复性。

 

（来源：Charles Rondeau/public domain）

另一个研究领导者 Magnus Johannesson 来自斯德哥尔摩经济学院，他表示，“这些结果表明，那些'具有统计显著性'的科学发现，在被成功重复前都需要进行非常谨慎的解读，即使在最负盛名的期刊上发表也是如此。

 

研究小组设立的“预测市场”正确预测了 21 次重复实验中 18 次的结果。“市场”的预测与重复实验的效应值大小呈高度相关。

 

另一位来自新西兰高等研究院的研究领导人 Thomas Pfeiffer 指出，“预测市场”的预测结果表明，研究人员对研究结果可重复性具有预先的判断。有些研究具有重要发现，但重复成功的可能性可能相对来说不确定，有了“预测市场”工具，研究人员就可以决定哪些实验优先重复实验，而不会在那些“预测市场”认为不会重复成功的研究上浪费精力。

 

“使用预测市场可以更有效地利用科学社区的资源，也能加速我们的研究发现。”来自斯德哥尔摩经济学院的另一个研究领导者 Anna Dreber 补充道。

 

这次的研究再次证明了重复已发表的科学发现难度不小，并回应了对于之前重复实验的一些潜在批评。例如，由于知名期刊本身的声望，认为发表在知名刊物上的研究结果可重复性可能更高，所以这次的研究选取了最负盛名的科学期刊上的论文。

 

对心理学实验来说，更高功效的研究设计和忠实于原始研究会导致较高的可重复性。这次的研究具有非常高效的测试，21 个实验中只有 1 个没有原始材料，只有 2 个没有获得对于研究协议的认可，但仍有一些研究结果未能被重复，并且重复成功的那些效应值也要比原始研究小得多。

 

来自开放科学中心的 Lily Hummer 是本研究的共同作者之一，她说：“要重复已发表的研究结果，单单大幅增加功效，也就是增加样本量是不够的。”

 

复制失败并不意味着那些原始发现是错误的。一些原研究作者指出了未能复制成功的可能原因。这些意见值得在未来的研究中进行测试，以确定在某些条件下是否可以复制原始发现。

 

这次的复制遵循了最新最好的实验方法，以提高研究的严谨性和可重复性。来自新加坡国立大学的另一个研究领导者 Teck-Hua Ho 说：“在这个项目中，来自全球各地的研究团队用最严格和最透明的方法来测试我们领域研究的可重复性和稳健性。”

 

所有这些研究都在 OSF 上预先注册，以消除报告偏差，并公布设计和分析计划。此外，所有项目数据和材料都可以通过 OSF 注册公开访问，以便于复制研究本身的审查和复制。

 

弗吉尼亚大学开放科学中心执行主任，共同作者之一 Brian Nosek 指出：“看到这些复制失败的案例，有些人可能会说科学走向了错误的方向，但事实上，科学最大的优势在于不断自我审视，以识别和纠正问题，并加快发现的步伐。”

这次的大型复制项目只是研究实践变革的一部分。研究人员、资助者、期刊和社会正在改变政策和方法，以推动研究文化像更开放、更严谨和可重复性更高的方向发展。Nosek 总结说：“通过这些改变，我们或许能更快找到疾病的治疗方法，问题解决方案以及更好的学习新知识。当然，就像科学中的其他事物一样，我们要检验这些改变是不是真的有用，如果没有用，科学也会找到其他的方式来保持进步。”

-End-

编辑：火爆麻雀

参考：

https://phys.org/news/2018-08-social-science.html

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/