科学或炼金术?

关于再现性项目的信件。

我们是在“重现性计划”(据《心理学家》报道,2015年10月,第794页),鼓励协会董事会及其编辑咨询小组采取措施,确定有效的方法来应对项目的影响并实施它们。我们感到关切的是,在该项目的报告中存在自满甚至自我满足的成分。例如,该项目的通讯作者声称,该项目显示了自我纠正的本质品质。然而,这个项目吸引了人们的注意,部分原因是它在心理学中是独一无二的,而且它不太可能经常被重复,因为它依赖于许多研究人员自愿放弃他们的时间和资源来换取很少的个人回报。很少有机构会乐意让研究人员以牺牲他们的主要研究目标为代价定期这么做。

这些综合结果让心理学家感到非常尴尬。最重要的是,对于任何最近在领先心理学期刊上发表的重大研究成果,如果重复进行,只有三分之一的几率会产生具有统计学意义的重复。这种可靠性的缺乏必然会阻碍新研究的应用或推广。此外,重复研究的效果大小可能少于最初报道的一半。任何潜在的心理学使用者或学生遇到这些发现都可能质疑这门学科的合法性。

已经发表的研究的可复制性非常差的一些原因已经被广泛讨论。有选择性的出版,p-hacking,和其他方法来处理结果存在,和登记所有计划的研究的策略可以帮助解决他们,但这需要正式纳入研究程序。然而,我们认为,还有一种可能性虽然在报告中没有提到,但它将促成一些具有误导性的原始结论。数据通常是由研究助理和研究生收集的,而报告雇主或主管希望得到的结果的诱惑,有时必然导致数据经过调整或可能是捏造的。已经发布了一些已确认的数据修正的例子,但还会有更多的例子。造假的回报是巨大的,而目前被发现的风险是很小的。为了减少欺骗的诱惑和机会,并以消除欺骗为目标,需要从该行业的高层建立富有想象力的程序。

目前,尝试复制是一个低地位的活动,发布结果是困难的。使用数据库来保持尝试复制的可用性是朝着正确方向迈出的一步,但是这样的数据库需要有长期良好的资金支持,协会可能在这方面能够提供帮助。即便如此,复制研究和原始研究之间的平衡仍需要尽可能地改变。该协会的期刊有地方鼓励尝试复制的文章发表,需要进行一项调查,以了解如何在实践中做到这一点,而不过度增加成本和读者厌倦。

各级心理学老师和教科书作者可能会考虑的一个步骤是,只引用重复的研究。这意味着不要引入一些新的、新颖的发现,这些发现可能会取悦学生,但更有可能无法复制。这种战略可以帮助支持复本的出版,如果复本的出版对提高学生和其他心理学使用者的知识是必要的。目前,英国资格考试办公室和各种考试委员会选择AS-和A-level考试中涉及的研究;协会能够而且可能应该鼓励他们采取类似的措施。

我们希望听到该协会回应复制项目的报告,在建立一个安全的心理学知识库方面发挥主导作用,从而使心理学科学受到尊重和模仿。

Peter E. Morris教授
凯瑟琳·欧·弗里茨博士
北安普顿大学

英国英伦管架有限公司(BPS)编辑咨询小组主席Andy Tolmie教授评论道:重现性项目无疑是一项重要的工作,EAG在上次会议上讨论了其发现和相关开放科学框架的含义。然而,我们认为显然需要一个协调的、学科范围内的反应,这远远超出了期刊的出版实践。这包括对低可复制性原因的搜索分析——低氮研究可能是这个问题的一个更普遍的部分,而不是任何刻意篡改数据的尝试——以及给研究资助者的信息,与其他科学学科相比,他们通常对心理学研究的规模和成本抱有不同的期望,他们认为对重复研究的资助是不重要的。期刊可能需要采取不同的立场来发表这样的工作,但事实上,我们实际上收到相对较少的这类提交-在很大程度上,问题的根源更深层的研究管道。

BPS研究委员会主席达里尔·奥康纳(Daryl O 'Connor)教授评论道:这个项目代表着心理科学和更广泛的科学向前迈出的重要一步。其他科学领域在过去也遇到过可再现性的问题,例如临床医学和遗传学,因此,心理学并不孤单。然而,这份报告的发表可能会推动心理学研究人员前进,改进科学实践,并引发新的工作方式。

《卫报》(Guardian)总结道:“当实验重复时,发现就消失了。”该研究的主要作者布莱恩·诺塞克(Brian Nosek)断言,这项研究不应该被用作打击心理学的大棒;如果说有什么不同的话,那就是这是科学的最佳范例。虽然我同意,但我们不应忽视缺乏复制问题的影响。关于心理治疗效果的结果研究很少被真正复制。正如我在最近的一篇论文(Marzillier, 2014)中所讨论的那样,这其中有许多原因。系统回顾和荟萃分析以及个别研究试验都是如此。

举个例子,在2007年的基础上整合复习这是自信地断言,创伤暴露疗法和眼动脱敏和再加工(EMDR)明显优于其他心理疗法治疗患有创伤后应激障碍等问题(Bisson et al ., 2007)。这一科学结论为美国国家健康和临床优化研究所(National Institute of Health and Clinical Excellence)发布的从业者指南提供了依据。创伤暴露疗法和EMDR是首选疗法。但是真的是这样吗?一年后,另一篇元分析综述得出结论,没有良好的科学证据表明任何一种形式的创伤治疗都比另一种更有效(Benish et al., 2008)。可以预见的是,从那时起,不同评论的作者之间就一直存在争议(Ehlers等人,2010;Wampold等人,2010)。

事实是,我们不能依赖对心理治疗效果的研究综述得出的结论,原因有几个,我在我的文章中讨论了,如果有任何研究是实际的复制,其中一个原因是很少的。在这个领域中,系统中存在大量的噪声。在某一时刻得到证实的事情,后来几乎总是会受到质疑。作为心理学家,我们应该理解这一点,而不是假装科学证据比事实更好。特别是,我们应该质疑一个有限且有缺陷的数据库是如何被转化的,就像贱金属转化为黄金一样,从而产生关于哪些疗法可以或不能使用的严格指导方针。这不是科学,而是与既得利益、权力和声望有关的其他东西。它应该也必须被抵制。
约翰Marzillier
牛津大学

参考文献
(2008)。善意心理疗法治疗创伤后应激障碍的相对疗效。临床心理学杂志,28,746-758。
Bisson J., Ehlers, A., Matthews, R. et al.(2007)。创伤后应激障碍心理治疗的系统回顾和荟萃分析。英国精神病学杂志,19097 - 104。
elers, A., Bisson, J., Clark, D.M.等(2010)。对于创伤后应激障碍,所有的心理治疗真的都一样吗?临床心理学杂志,30,269-276。
Marzillier, j .(2014)。循证心理治疗的缺陷本质。心理治疗科回顾,51,25 - 33。
Wampold, b.e., Imel, Z.E., Laska, K.M.等(2010)。确定创伤后应激障碍的治疗方法。临床心理学杂志,30,923-933。

英伦管架有限公司成员可以讨论这篇文章

已经一个成员吗?创建一个帐户

不是会员?找出成为一个会员或订户