是科学坏了?

Ella Rhodes在伦敦大学学院的一场辩论中报道。

一个活跃的辩论在伦敦参议院举行昨天,来自神经科学和心理学的小组成员讨论了一个问题:科学已经崩溃了吗?如果有,我们如何解决?

讨论内容包括复制危机以及统计方面的关切领域和更大、更普遍的问题。会议一开始就考虑了预注册研究,克里斯·钱伯斯(卡迪夫大学)解释了其潜力。他说,学者完成研究后将研究结果提交给期刊的标准体系可能会导致几种类型的偏见。作为一个非常大的团队的成员对注册报告的开发做出贡献在期刊包括皮质钱伯斯说,他向观众提出的第一个问题是:如果你的目标是进行优秀的科学研究,那么科学研究的哪些部分应该是你无法控制的?钱伯斯说:“你得到的答案通常是结果。”下一个问题是,为了推进你的职业生涯,你认为在高影响力期刊上发表研究的哪个部分是最重要的?“再说一次,这是结果。”

这使得钱伯斯得出结论:“推动科学和科学家个人的动机是相反的,我认为如果我们要解决这个问题,我们应该认识到我们存在的动机问题。”钱伯斯说,这种动机问题可能会导致期刊发表偏见、追求重要性、在结果已知后进行假设,或者改变假设以适应结果。他还说,没有分享数据的动机,整个领域都受到缺乏统计能力的拖累。在目前的激励机制下,发表大量可接受的论文比发表少量基于大样本、高功率研究的论文更有意义。此外,钱伯斯说,学者们往往认为复制不值得花时间。

钱伯斯建议,作者可以采用这样一种哲学,即让假设检验具有科学价值的是所提出的问题的重要性和方法的质量,而不是它产生的结果。他接着解释了登记报告的过程。在这个结构中,作者提交了第一阶段的手稿,包括介绍,提出的方法和详细的分析,以及可能的试点数据。这篇文章接着进入了第一个阶段的同行评审,评审人员讨论假设是否有充分的根据,方法和分析是否可行,是否足够详细,其他人是否可以直接复制实验。这是一个包括质量控制和操作测试在内的强有力的研究吗?如果满足了这些要求,无论研究结果如何,本杂志原则上接受。

作者然后做研究,随后提交第二阶段的手稿,其中包括介绍和方法从原始提交,结果分成两个部分(在第一份手稿中提到的分析,加上作者在临时接受后提出的任何额外的分析),和讨论。这将进入第二阶段审查,如果作者遵循预先批准的方案,并有数据证明的结论,手稿将被发表。

钱伯斯接着讨论了他经常被问到的关于注册报告的25个问题。这些问题包括如何知道已注册的报告是否适合给定字段这一常见问题。他说,任何至少部分涉及演绎假设驱动研究的领域,如果存在任何问题,如发表偏见、追求重要性、事后假设、低功率、缺乏复制和数据共享,都可能受益。虽然不是所有这些问题都能通过预登记得到解决,但钱伯斯认为,在许多不同的领域鼓励透明的做法是有帮助的。

在休息之后,每个小组成员都围绕着一个核心争论——科学是否已经崩溃?多萝西主教她说,她认为科学已经支离破碎,但希望能够修复。毕晓普教授说,科学比过去有更多的问题。现在,她说,我们能够收集大量的多元数据集,并对它们进行复杂的统计。她补充道:“归根结底,问题在于你让人们把探索性分析当成假设检验……当我意识到自己不相信我读的很多文献时,我开始意识到这是一个多么大的问题。”

毕晓普说,她在进行脑电图研究时就开始担心了。当阅读文献时,意识到可以从脑电图或ERP数据中获得的潜在测量量。“我发现这种方法非常灵活,任何用这种方法做任何事情的人都能找到东西。她特别关注四向方差分析,因此她对一大堆随机数字进行了几次方差分析,发现了几个明显的“效应”。

她说,她惊讶地发现,她对自己的数据进行的几乎75%的运行都会产生一些效果。主教补充道:“在方差分析控制水平的数量在任何一个因素,但是你不是调整的比较你在做…如果我做了一个先天的预言会有一组任务交互只有一次在所有这些15分我会得到一个假阳性。但如果你不提前预测,在查看数据后进行假设,你就会发现一些看起来像是效应的东西。”

Neuroskeptic他是一位神经科学、心理学和精神病学研究员博主在谈到导致他对这一领域的研究失去信心的事件时,他对科学问题给出了个人的看法。188滚球他说,作为本科生,人们被教导以一种非常特殊的方式来做统计,但一旦一个人开始博士研究,情况就会发生巨大的变化。在为他的博士研究收集了一些结果后,Neuroskeptic发现他的参与者所执行的七项任务中有一项得到了显著的结果。他说:“我回想起我在大学的时候,就想‘如果你对所有的任务做一个Bonferroni更正会怎么样?’”我想我应该向我的主管提出这个建议,但我认为我从来没有这样做过,我意识到这不是怎么做的。我对此感到非常惊讶。我在大学的时候学过如果你有多个任务你要做一个Bonferroni更正。我开始想如果我们不这么做还有谁不这么做?我开始对这一领域的研究失去信心。”

神经怀疑论者说,他想知道是否有一个很好的理由,多重比较校正没有使用。他补充说:“我仍然不认为我们不能这样做有什么好的理由。我们已经心照不宣地决定接受我们从来不会教本科生的方法,这在统计学上是一个好主意,但我们决定我们很乐意自己来做。我就是这样走上了写博客的道路。”

索菲娅•斯科特,认知神经科学(伦敦大学学院)教授,就人们如何参与科学以及科学家留下的遗产进行了更广泛的讨论。斯科特说,她不相信科学的变化或进步仅仅是一两篇论文的内容。她说,想想自己的研究在100年后会发展到什么地步,是很有用的,也很让人惭愧。她说,不要只考虑处理单篇论文,而要考虑一些更大的问题,这是有益的。她补充说:“我们在心理学上做的一些假设是可怕的。我们都有无意识的偏见,但我们能做的是看看这是如何影响我们所做的科学。因为它确实是,不管你是否这么想。”

斯科特说,科学家倾向于在一个可以研究的框架内看待一个科学问题。“如果我去看看语言研究,大部分的研究都是关于阅读书面文字,很少是关于听口语,因为这很难,很少是关于说话,尤其是关于写作,因为写作更难。”关于科学是否被打破,她总结道:“我认为回答这些问题很有趣,但我担心我们是否过于关注过程,因为这会导致你专注于单个论文……更大的图景会告诉你事情的发展方向。”与其关注孰是孰非,不如看看什么会持续下去,什么是有意义的。

山姆·施瓦茨科普夫伦敦大学学院(University College London)实验心理学研究员,他逆势而上,指出科学比以往任何时候都更有效。他说,在科学史上,总是存在着不可复制的结果、政治障碍、其他学者的抢先想法和发表偏见。施瓦茨科普夫博士说,我们应该专注于探索和复制同等重要的科学。他说,所有关于预先登记和复制的讨论都是治标不治本。他总结道:“科学是一个不断进化的过程,它比以往任何时候都要好,它更开放、更透明,现在有很多传播科学的方式,这在十年前甚至都没有。”这并不意味着科学是完美的:我们应该问的是,我们如何才能让科学变得更好。”

英伦管架有限公司成员可以讨论这篇文章

已经一个成员吗?创建一个帐户

不是会员?找出成为一个会员或订户