大约二十年后,社会行为科学,特别是心理学领域的出版文献的可预测性在整个社区范围内得到了认可有几项大规模的研究试图复制以前发表的研究,以获得更大的可用性或更大的规模,这让这些研究和未来社会行为科学研究的可信度受到质疑
然而,该领域的丰富经验表明,当采用最佳实践时,高可部署性是可能的在过去的六年里,来自加州大学圣巴巴拉分校、加州大学伯克利分校、斯坦福大学和弗吉尼亚大学的研究人员发现并复制了16项新颖的发现,这些发现表面上具有标准的最佳实践,包括预注册、大样本量和重复性发表在NatureHumanBehavior上的研究表明,有了最佳实践,就可以实现高可部署性
加州大学圣巴巴拉分校杰出教授JonathanScholer说:“有证据表明,我们可以开始探索政府的发现,并将其复制到非常高的水平“主要的发现是,只要你遵循当前最佳实践,即在社会行为研究中进行和应用,你就可以获得更高且总体稳定的复制率。”
他们的研究结果是平均原始结果的97%相比之下,优先复制项目和服务复制项目的成功率约为50%
该论文的主要调查对象是加州大学旧金山分校的医学院和中央连接州立大学(CCSU)的Johnptzkoo、斯坦福大学的政治心理学研究小组的JonKrosnicko、弗吉尼亚大学的HaasSchoolofBusiness和BrianNosek,他们是开放科学标准中心的执行主任
“在过去的几年里,人们对任何科学的可应用性都有很多担忧,但心理学是开始系统研究这一问题的第一个领域,”作者Protzko说,他是学校实验室的研究员,在研究过程中他是该实验室的博士后他现在是CSU心理科学教授的抵抗者“问题是,过去的复制失败和衰退影响的大小是否与我们观察到的相关科学领域有关。例如,有人推测,在科学企业的一致性方面,新发现的发现可能会变得难以复制或更难漫游。”
该小组决定利用新兴的科学最佳实践进行新的研究,然后将其与一种创新的设计相结合,在这种设计中,研究人员承诺在没有结果的情况下应用最初的确认研究在过去的几年里,研究小组开发了一个实验室,然后由所有其他实验室复制
总的来说,该奖项发现了16个新现象,并在涉及12万名参与者的4次比赛中重复了这些现象Protzkosaido表示:“如果你使用最佳实践来收集样本、预先注册、在发现新科学的过程中打开材料,以及你对原始过程最有信心的未复制应用程序,你就可以获得高度可复制的科学。”
Onekey创新了提供的研究,因为所有参与者都同意复制最初的确认研究,无论其结果如何这消除了整个社区只发表和应用积极结果的习惯性偏见,这可能有助于扩大过去对效果大小的初始评估此外,这种方法使研究人员能够观察到一些案例,这些案例的研究设计未能在原始信息中产生显著的发现,即当复制到其他实验室时,水达到了预期的效果
从总体上看,该项目的社会行为指标的可扩展性非常高,而且在统计上,它对覆盖率过高的指标具有显著的影响在给定样本量和效应量的情况下,基于统计学意义,观察到的可复制性率为86%,再高也不为过
尽管他们的发现越来越多,但他们并不依赖于人们对新发现方向的预测,以及他们的可复制性以下几项调查结果;参与者评估了这两项新研究的描述,以及与之前的复制项目相关的描述,发现他们各自的可预测性没有差异因此,这些研究的成功应用并不是因为发现了两个可能需要复制的明显结果事实上,许多新发现的新发明都是在高质量的期刊上发表的
学校表示:“发现它可以完全复制自己的发现,这并不是一件特别有趣的事。”“但我们的研究在他们的企业因素中可以与在过去很难复制的研究进行比较。如果不训练那些在我们的研究中对两个条件都有充分了解的人,以及从最初的复制工作中对两组条件进行比较的人,就会发现预测四个发现相对于早期发现的方向同样困难。”
由于每个研究实验室都是在现有研究的基础上发展起来的,它们来自社会、行为和心理学领域的各个领域,如差异营销、政治心理学、偏见和决策他们涉及到人类主体,并坚持一些不必要的训练,比如不使用欺骗Protzkosaid说:“我们确实建立了一个独立的过程。”“他们将讨论他们感兴趣的主题以及他们将如何进行研究。”
总的来说,他们的元科学研究提供了证据,证明低可复制性和衰退效应是不可避免的严格的协调实践会导致很高的重复率,但要想确定哪种实践最有效,还需要进一步研究这项研究的“厨房水槽”方法——使用多重严格的强化实践——并没有达到任何个人实践的效果
来源:
Materials provided by
University of California - Santa Barbara. Original written by Debra Herrick.
注明: Content may be edited for style and length.
参考:
2024-01-20
2024-01-20
2024-01-20
2024-01-20
2024-01-20