拥抱未知

克里斯·弗格森(Chris Ferguson)洗掉了“科学洗钱”的手:为公众消费清理混乱的数据。

考虑“X的基本前提是x导致y?”它是普通公众或政策制定者几乎任何兴趣问题的根源。认知行为治疗治疗ptsd吗?电视节目吗?13个原因为什么原因在青少年的自杀?可以测试隐含的种族主义,并培训在社会中降低种族主义吗?一般来说,心理科学之外的人(在其中有很多人)希望答案如此简单的问题。它往往符合专业公会的兴趣 - 代表心理学和其他科学的宣传组织 - 给出简单的答案。结果是沟通的准科技题峰,最佳,部分是真实的,并且在最糟糕的绝对垃圾上。

科学洗涤是清洗不方便的数据,方法论弱点,复制,弱效尺寸,以及研究之间的不一致。然后将研究领域的清洁结果呈现为比它们的真实问题更加坚固,一致,一致,持续的。在樱桃选择数据支持特定叙述的方面,各个研究可以通过新闻稿或整个研究领域概述的全部研究领域。在短期内,这种促销无疑是令人满意,更容易消化,但它们是根本欺骗性的,他们将心理学作为一种不诚实的科学。

多年来,诸如美国心理协会(APA)等专业协会一直在指责科学洗钱(Ferguson, 2015;O’donohue & Dyslin, 1996)。这个公式似乎是把公众或政策制定者非常感兴趣的问题,用科学的语言归结为简单的真理。在大多数情况下,这些准科学的不言自明要么在政治上为组织成员所接受,这造成了社会科学倾向于支持自由事业的错觉(Redding, 2001),要么似乎使心理科学在政策决策中不可或缺,而实际上并非如此。

我自己的视频游戏暴力领域在这种现象中提出了一个案例研究。两次,2004年和2013年,APA召集了一项工作组来研究这个问题。两者都是由大多数拥有强大,公众,反游戏观点的个人组成,持怀疑态度不平衡(Copenhaver&Ferguson,在新闻界)。这尤其令人费解,因为没有少于230名学者向APA编写了表达他们对此问题的公众立场质量的关切(学者,2013年财团)。难以撼动“委员会的科学”可能是一种无效的方式来达到客观的结论,而任务费用报告与科学的真正状态没有什么关系;在这种情况下,遭受一系列撤回,校正,复制(例如,Przybylski等,2014)的区域,使用预期设计重新分析和无效结果(例如McCarthy等,2016)。Video game science was repudiated by the US Supreme Court in the 2011 case Brown v. EMA, and some scholars have expressed the view that the APA’s continued public stance on this particular issue has damaged the credibility of psychological science in the eyes of the courts (Hall et al., 2011).

为什么这么做?为什么不改变课程,并发布符合凌乱的研究领域的诚实陈述,不一致,具有系统的方法论弱点或可能是完全不可转让的?激励结构。个别学者可能被自己的假设诱惑了多种原因,既有好评一样好。大索赔得到赠款,头条新闻,书籍销售和个人声望。我注意到这不是暗示错误的,而是承认我们都是人类的,并回应激励措施。

近年来,这些激励结构在科学领域,特别是在心理学领域,已经有了广泛的文献记载。不幸的是,公众在很大程度上仍然没有意识到这种辩论,也没有能力批判性地评估研究。最近的一个例子是,珍·特温格和同事(2018年)发布了一项被媒体广泛报道的研究,将屏幕使用与青少年自杀联系起来。然而,另一位获得相同数据集的学者在采访中指出,吃土豆对自杀的影响程度与吃土豆对自杀的影响程度大致相同(参见Gonzalez, 2018:根据结果,影响大小r = 0.01至0.11)。这种关联很可能存在于米尔的心理科学的“粗劣因素”中,在这个因素中,每件事都倾向于与其他每件事相关联,关联程度虽小但毫无意义。

在某些情况下,假设的意义(如拯救自杀的儿童)可能看起来很关键,即使其影响微不足道。我也能理解为什么专业协会(可以被视为是一种商业组织,对他们来说,心理学是一种必须推广的产品)会被驱使去“推广它”。也许他们会哀叹心理学是一门“软”科学。心理学家经常被要求在营销或品牌心理学方面更加自信(例如Bray, 2009;Weir, 2014年,尽管Koocher, 2006年也有不同的方法),专业团体积极倡导心理科学(Bersoff, 2013)。这未必是件坏事,但这样的呼叫可能会无意中传达出准确性是次要的。例如,Weir(2014)引用一位学者的话说,“把科学放在那里更重要,即使新闻报道遗漏了一些微妙之处。”

要清楚,我并没有像糟糕的信仰那样暗示任何东西:仅仅是促进心理科学的理解热情可能已经被回来了,因为促销努力往往忽视心理的弱点。

差不多的沟通问题可以泄漏到临床领域。例如,近期创伤后应激障碍的治疗准则专注于推荐认知行为治疗(APA,2017)。这些建议与来自其他方式的从业者争议,也许毫不奇怪。由Joseph Carpenter领导的2018年META分析找到了具有接触者的CBT的相当温和的结果(为其他焦虑症发现了更好的结果),这提出了临床指导方针可能会过度的可能性。

一些读者可能会想,“即使现有证据不足以结论性,尝试将心理学应用于重要的社会问题不是更好吗?”在我们停止为过分夸大科学价值而烦恼之前,我们到底需要有多确定?“在这一点上,我毫不客气地采取了强硬立场:诚实必须是科学交流的一个基本方面。我们不能也不应该为了一个有吸引力的叙述而掩盖不方便的数据、方法上的弱点或微小的效应,无论这个叙述可能是多么真诚。这样做是不科学的,而且不可避免地对我们的领域弊大于利。

在某些情况下,一份“混乱”的政策声明仍然可能具有重要的政策含义。不幸的是,在专业的行业协会中很难找到这样的人,但政府的审查有时更诚实。例如,2010年的一篇关于暴力电子游戏研究的评论正确地指出结论是不一致的,并且受到方法缺陷的限制(澳大利亚政府,司法部长部门,2010)。尽管如此,这篇评论还是为澳大利亚对更多暴力游戏进行评级铺平了道路。此前,这些游戏受到了有效的审查,甚至连成年人都无法获得。

最终,我们应该向公众普及数据知识。人是复杂的;行为是混乱的。通常心理科学没有答案,我们应该对一个模糊的、令人费解的、难以解析的、有争议的、非政治正确的或简单的“我们不知道”的回答感到舒服。是时候让心理科学接受未知,更诚实地面对我们的争论、方法论上的弱点和矛盾了。

我们英勇的先锋
从我的高马上爬上科学的洗涤后,才能认识到我们的领域已经看到一些先驱推动更好,更透明和开放的方法。这种“开放式科学”运动经常充满了争议甚至侵入争论,但它应该抓住持有更清晰的科学价值观的方式。

科学领域的激励结构发展得如此之快,以至于“要么发表,要么灭亡”和发表偏见创造了一个普遍存在第一类错误的环境。在心理学领域,似乎只有少数发现是可复制的(开放科学合作,2015),尽管公平地说,这似乎适用于其他科学,如医学。这种担忧有时会受到强烈的挑战(例如吉尔伯特等人,2016)。但是,如果我们反思研究人员的偏见、预期效应、方法的流动性和产生积极发现的压力,那么很明显,重现性的问题几乎肯定是正确的。或者,更直白地说,几十年来我们一直告诉心理学导论学生的大部分东西都是垃圾。

要想摆脱这种状况,需要在心理学方面进行文化变革。在某种程度上,这涉及采用更透明的方法。其中最主要的是预先登记。通过预先登记,学者们在数据收集之前,将他们的假设、措施、方法和分析计划进行彻底的公布。预注册增加了对数据收集后结果没有被篡改的信心,从而产生假阳性的可发表结果(Nosek等人,2018年)。开放科学的其他方面,如测量的透明度和数据共享,也可以提高我们领域的严谨性。

It’s interesting that concerns over the methods of psychological science aren’t new – some research fields, such as media violence, began to crumble in the late 2000s, and observations became generalised across psychological science soon after (e.g. Simmons et al., 2011). Way back in 1999, Wilkinson and the Task Force on Statistical Inference highlighted the importance of interpretation of effect sizes. Yet most articles ignored this suggestion, and those that reported effect sizes happily defended the most trivial of effects so long as p = .05 had been reached, rendering the entire effort pointless. By contrast, this recent wave has continued to gather momentum, ushering in what some have called a psychological science ‘renaissance’ (Nelson et al., 2018) or, in Brian Nosek’s words, a ‘reformation not a crisis’.

其他人,可以肯定,不太热情。在2016年苏珊菲斯克的一个臭名昭着的早期草案中,她将数据复制者称为“自我指定数据警察”,并“方法论恐怖主义”。菲斯克的批评者倾向于将她的评论视为捍卫精英学者的现状,限制同行评论和庇护的坏科学。她的捍卫者在线担心苛刻同行评论的扩散(评论自己没有通过同行评审)。在公平性中,Fiske有一个公平的核心 - 复制过程有时候有时拯救各个学者,以便在下降后似乎踢了一只狗。例如,Amy Cuddy似乎被挑选出来作为复制原因的牺牲(见苏珊Dominus 2017纽约时报片)。虽然诋毁权力姿势假设是公平的游戏,但在公众眼中反复羞辱是正确的吗?她自己的自我推广,包括一个TED谈话,仍然是'POWERS POSE'的#1 Google搜索结果,打开她尤其苛刻的批评?我们对菲尔津巴邦的新分析对斯坦福监狱实验的新分析感到不那么同情(见“改变故事的时候了)因为他花了几十年来推动它?

这些是难题的难题。但很明显,我们不能回去。我们不能回到过去的虚假积极成果,也不会继续重新获得他们,因为他们是一种令人安慰的心理科学如何令人欣慰的叙述。只有通过改变,开放和透明度才能心理科学进步。当然,让我们有关于使这些变化的最具内部方式的对话。但最终的科学是关于数据,而不是人们,我们应该少担心个性和更多关于产生最佳数据的方法。那些推动开放科学的人和这个文艺复兴的心理值得非常赞誉。

-克里斯·弗格森(Chris Ferguson)是斯泰森大学心理学教授
(电子邮件保护)

关键来源

Copenhaver,A.&Ferguson,C.J.(印刷机)。销售暴力的视频游戏解决方案:在APA的内部注意事项内容,导致APA 2005年度关于视频游戏和互动媒体的暴力事件的决议。国际法与精神病学杂志。
弗格森,C.J.(2015)。“每个人都知道心理学不是一个真正的科学”:对心理学的公开看法以及我们如何改善与政策制定者,科学界和公众的关系。美国心理学家,70,527-542。
菲斯克,S。(2016)。人群的统治或智慧[APS观察员的文章草案]。可用AT.http://datacolada.org/wp-content/uploads/2016/09/fiske-priesiential-gues ...
Gilbert, d.t., King, G, Pettigrew, S. & Wilson, T.D.(2016)。对《心理科学可再现性评估》的评论。科学,351(6277),1037。
鼻子,B.A.,Eberle,C.R.,Dehaven,A.c。&Mellor,D.T.(2018)。预先记录革命。美国国家科学院的诉讼程序,115(11),2600-2606。
开放科学协作(2015)。估计心理科学的再现性。科学,349(6251),1-8。
Nelson,L.D.,Simmons,J.&Simonsohn,U.(2018)。心理学的文艺复兴。心理学年度审查,69,511-534。
Simmons,J.P.,Nelson,L.D.&Simonsohn,U.(2011)。假阳性心理学:数据收集和分析中未披露的灵活性允许呈现任何重要的东西。心理学科学,22(11),1359-1366。
Weir,K。(2014)。翻译心理科学。APA显示器,45(9),32.可用www.apa.org/monitor/2014/10/translating -science.aspx.

BPS成员可以讨论这篇文章

已经一个成员吗?要么创建一个帐户

不是会员?找出成为一个会员或订户