這項(xiàng)被撤稿的心理學(xué)研究原先發(fā)表于去年11月的《自然-人類行為》(Nature Human Behaviour)雜志,這篇論文旨在研究如何改進(jìn)心理學(xué)研究的可靠性,論文作者中包括了該領(lǐng)域的一些知名學(xué)者。
這篇論文描述了一項(xiàng)由4個(gè)團(tuán)隊(duì)協(xié)作完成的復(fù)雜而龐大的研究工作。四個(gè)研究團(tuán)隊(duì)分別在社會(huì)-行為科學(xué)領(lǐng)域進(jìn)行了試點(diǎn)研究。例如,其中一項(xiàng)研究探討了時(shí)間壓力是否會(huì)影響決策。如果試點(diǎn)研究發(fā)現(xiàn)了某種效應(yīng),團(tuán)隊(duì)則會(huì)嘗試在至少1500人的樣本中確認(rèn)該結(jié)果。所有四個(gè)團(tuán)隊(duì)都試圖重復(fù)已選中的實(shí)驗(yàn),看看能否得到相同的結(jié)果。每個(gè)團(tuán)隊(duì)嘗試重復(fù)其自身的四個(gè)實(shí)驗(yàn),以及另外三個(gè)團(tuán)隊(duì)中的四個(gè)實(shí)驗(yàn)。
在64次重復(fù)性實(shí)驗(yàn)嘗試中,86%是成功的,也就是說(shuō),它們產(chǎn)生了預(yù)期的結(jié)果,并且這些結(jié)果具有統(tǒng)計(jì)學(xué)意義。這是此類研究記錄中最高的可重復(fù)率之一。相比之下,其他社會(huì)-行為科學(xué)領(lǐng)域研究報(bào)告的平均可重復(fù)率為50%。論文作者將其歸功于“提高嚴(yán)謹(jǐn)性的做法”,例如大樣本量、預(yù)注冊(cè)和方法透明度。作者寫道,采用這些做法可以使研究更加可靠。
《自然-人類行為》(Nature Human Behaviour)雜志9月刊封面。
然而,期刊編輯在今年9月23日撤回了這篇論文,撤稿聲明中表示,他們“對(duì)研究結(jié)果和結(jié)論的可靠性不再有信心”。撤稿評(píng)論寫道,“可重復(fù)性不是項(xiàng)目最初感興趣的結(jié)果,并且與可重復(fù)性相關(guān)的分析沒有像聲稱的那樣進(jìn)行預(yù)注冊(cè)”。
“預(yù)注冊(cè)”(Pre-registration)通常指在研究開始前,論文作者在專門的期刊平臺(tái)上提前登記研究設(shè)計(jì)、假設(shè)、分析計(jì)劃等信息?!邦A(yù)注冊(cè)”在心理學(xué)研究中被廣泛應(yīng)用,這種做法可以提高研究的透明度,減少研究結(jié)果的偏倚,并有助于其他研究者更容易重復(fù)實(shí)驗(yàn),驗(yàn)證研究結(jié)果。
在撤稿當(dāng)天,該論文的六位作者發(fā)表了他們的看法。在聲明中,他們承認(rèn)研究中的一些分析并未進(jìn)行預(yù)注冊(cè),但他們認(rèn)為撤稿聲明中的其他內(nèi)容“不準(zhǔn)確”,例如期刊聲稱作者在進(jìn)行分析時(shí)已知曉數(shù)據(jù)。加州大學(xué)圣塔芭芭拉分校的心理學(xué)家喬納森·斯庫(kù)勒(Jonathan Schooler)告訴《自然》雜志,該團(tuán)隊(duì)正在為重新提交做一份新版手稿。
這一撤稿事件暴露了可重復(fù)性研究目前面臨的挑戰(zhàn)。“這表明做好科學(xué)研究比大多數(shù)人想象的要難得多,”新西蘭奧克蘭大學(xué)的視覺神經(jīng)科學(xué)家薩姆·施瓦茨科普夫(Sam Schwarzkopf)說(shuō)?!昂芏鄷r(shí)候,預(yù)注冊(cè)讓人們意識(shí)到,當(dāng)面對(duì)冷冰冰的數(shù)據(jù)收集現(xiàn)實(shí)時(shí),他們精心設(shè)計(jì)的計(jì)劃并不會(huì)如愿實(shí)現(xiàn)。”
多倫多大學(xué)的心理學(xué)家約埃爾·因巴(暫譯,Yoel Inbar)則表示,這一事件揭示了預(yù)注冊(cè)的不足之處:“我見過(guò)很多預(yù)注冊(cè)方案,它們要么內(nèi)容含糊,要么沒有嚴(yán)格遵守,或者最終的論文混合了預(yù)注冊(cè)和非預(yù)注冊(cè)的分析結(jié)果”。
約埃爾·因巴認(rèn)為比“預(yù)注冊(cè)”更好的方案是“注冊(cè)報(bào)告”:在這種模式中,研究者在收集數(shù)據(jù)之前,需要向期刊提交他們的研究方案,包括研究的理由和方法,進(jìn)行同行評(píng)審。編輯根據(jù)研究問(wèn)題的重要性和方法的嚴(yán)謹(jǐn)性決定是否接受該研究,并承諾如果研究按描述進(jìn)行,將發(fā)表其結(jié)果。
另一些學(xué)者認(rèn)為,期刊也需要承擔(dān)一部分責(zé)任,同行評(píng)審人員并不總是檢查預(yù)注冊(cè)的流程。期刊發(fā)言人表示,他們正在調(diào)查研究“如何改進(jìn)社會(huì)和行為科學(xué)中預(yù)注冊(cè)的透明度、標(biāo)準(zhǔn)化和報(bào)告要求,這將加強(qiáng)對(duì)預(yù)注冊(cè)合規(guī)性的監(jiān)控工作”。
參考資料:
(1)‘Doing good science is hard’: retraction of high-profile reproducibility study prompts soul-searching
https://www.nature.com/articles/d41586-024-03178-8
注:封面圖片來(lái)自《自然》雜志。
編譯/李永博
編輯/羅東
校對(duì)/柳寶慶