导语：当你在《环球科学》上读到有趣的心理学研究时，你会不会想：“如果这个研究再做一次，能得到相同的结果吗？”如果你会时不时冒出这种念头，恭喜你，许多科学家也在思忖相同的问题——科研结果的可再现性（reproducibility）。可再现性是科学的核心特征。然而迄今最大规模的再现项目之一得出的不乐观结果，在心理学界乃至整个科学界都引起了关注。欲知详情，请跟随作者一探究竟吧！
关键词：心理学；可再现性；透明度
能经受可再现性检验且两次都得出相同的结果，这是建立科学知识的先决条件。重复性研究使得我们确保实证研究的结果是可靠的，并在结果得出后凝练我们的认识。会出乎你意料的是，相较于发表论文，科学家们很少对已有研究进行可再现检验。
期刊更倾向于刊登新奇的、前沿性研究。职业生涯发展是由所作出的新发现所决定的，而非煞费苦心、勤勤恳恳地对课本知识进行“不讨好似的”可重复性验证。我们的一个同事最近指出：“进行可重复性验证固然会对他人有好处，但是我有更好的方式来分配我的宝贵时间。”
一旦论文发表在同行评审过的期刊上，它便获得了一种神奇的、不容置疑的权威性。新闻媒体，甚至有时科学家自己，都会毫不质疑地引用这些研究结果。这种对新研究不假思索的过度自信可能是不当的，或至少为时过早。
有一个小却有影响力的研究团队，其成员涉及了从物理学、医学到经济学等多个不同领域。他们声称，许多甚至大多数发表的研究都是错误的。然而这个问题到底有多糟糕？是什么因素使得一项研究被更可能或不可能被证明是真实的？
作为270名研究人员中的两名，我们最近在《科学》（Science）杂志上发表了文章，我们对一百项之前发表的，有关心理科学的研究进行了可重复性验证，试图回答这些问题，这是迄今首次大规模再现研究。
试图重新验证心理学研究结果
这些结果是捆绑和搁置着的——但它们可进行重复性验证吗？ （图片来源：Maggie Villiger）
来自世界各地的团队，每一队都重复研究了一项发表在三家顶级心理学期刊上的研究：《心理科学》（Psychological Science）、《人格与社会心理学》（Journal of Personality and Social Psychology）、及《实验心理学杂志：学习、记忆与认知》（Journal of Experimental Psychology: Learning, Memory, and Cognition），并在开放科学研究中心的社会心理学家Brian Nosek的协调下，共同以开放科学合作（Open Science Collaboration, OSC）的名义出版，为保证再现的准确性，研究小组从原作者处获得了原始研究资料，并在作者方便时与其进行密切合作。
几乎所有的原始发表的研究（97%）都有统计学上的显著性结果。这正如你所期望的，尽管许多实验未能揭示出有意义的结果，但科学家们往往只会将有意义的结果发表出来。
然而，再现研究中仅有36%得出了同等的效应，即得出显著性结果（获得了小于或等于0.05的P值）。这个数字低得惊人。换句话说，只有大约1/3的可再现性研究得出了相同结果。一旦发表，这一结果就被视为真理，在这样的情况下，这个比例就显得尤其低了。
坏消息没有在此结束。即使在最新研究证实了原研究存在的效应时，这种效应的幅度也要小得多，平均是原来的一半左右。
附加说明：只是因为事情不可再现，并不意味着它不是真的。这些错误可能是由于运气，或执行不力，或不完全了解可显示出该效力的周围环境（科学家称这些”调节变量“或“限制条件”）。例如，研究让被试反复练习一个任务可能会提高他们的记忆力时需保证在实验开始时他们不知道任务目的。在某种程度上，这些可重复验证的（及无法重复的）研究目的就要突出任何单一研究的内在不确定性——新的或固有的不确定性。
结果越强劲越可重复
鉴于这些数字是如此之低，我们可以做些什么来预测这些可再现及无法再现的研究吗？可再现项目的（Reproducibility Project）结果提供了一些线索。
研究者通过两种主要途径来量化结果的性质。第一种方法是p值，用于估计纯粹是因为偶然而出现效应的概率，可以说是假阳性结论。（从技术层面上讲，p值是在即使没有实际效果时，有显著结果或更强劲的结果会出现的概率。）一般来说，若一个统计检验中，p值小于0.05，该研究的结果会被认为是“显著的”，这最有可能是由于实际存在的效果。
量化结果的另一种方法是效力大小，并非其差异的可靠性，而是有多大差异。比如，你发现人们在悲伤时会花更多钱。嗯，那么他们会多花多少钱？这即为效力大小。
我们发现，原始研究的p值越小、效力越大，更可能再现。强劲的初始统计数据是一个研究是否可再现的良好标志。
被认为更具挑战性的研究结果不太可能再现，因为其结果着实使人惊异。例如，某研究表明，阅读会降低智商，或它使用非常模糊的和不熟悉的方法，我们也会怀疑这样的数据。科学家们经常因提供了石破天惊似的且与期望不同的结果而声名誉满，但与众不同的非凡发现需要确凿的证据。
虽然我们的努力再现在范围和透明度上是前所未有的，即所有再现研究的研究方法和数据均可在线查阅，这些方法和数据与之前其他领域的研究是保持一致的。例如，癌症生物学家宣称的再现成功率保持在11% - 25%的低水平之间。
疑问来了。那么解决方案是什么？
针对新研究的志愿者招募工作正在进行中。重温过去的发现怎么样? （图片来源：Maggie Villiger）
一些结论似乎自有其道理。
我们不能把单一的研究当做不容置疑的真理。在经过彻底的审查和反复的观察之前，我们应该用科学思维所要求的辩证法去看待这个发现。毕竟，真正的科学态度是批判，而非轻信。突破性的发现和前沿理论的应该有其空间，但是缓慢系统地检查和提炼这些发现和理论也必有益处。
当然，批判性思维也只能把我们引到当前为止。我们还需要通过奖励对那些进行和组织再现工作的人进行激励。例如，至少一个顶级杂志已经开始给那些提供可行数据和材料的文章颁发特殊“徽章”，同时,伯克利社会科学透明奖励机制（the Berkeley Initiative for Transparency in the Social Sciences）设立了一项致力于社会科学透明化的奖项。
更好的研究方法也有可能确保较高的再现率。已有证据表明，采取一定的具体步骤, 如作出假设再分析数据, 公开共享资料和数据，然后再遵循透明的报告标准发表——可以降低已发表论文中的假阳性率。一些基金组织已经要求对假设的理论进行登记和数据共享。
虽然完美地再现文献是一个不切实际的目标，目前的再现率也低得难以接受。正如他们所说，第一步是承认你存在疑问。现在科学家和公众选择如何对待此类信息还有待观察，但是我们共同的反应将指引出未来科学发展的进程。
作者简介：
Elizabeth Gilbert，弗吉尼亚大学（University of Virginia）心理学博士
Nina Strohminger，耶鲁大学（Yale University）管理学院博士后研究员
（翻译：李美佳；审校：李昱）
原文链接:
（题图来源：www.iflscience.com）
留言