270科學家合作,僅能重複36%心理學實驗結果

270科學家合作,僅能重複36%心理學實驗結果
Photo Credit: Selena N. B. H., CC BY 2.0
我們想讓你知道的是

270名心理學家合作,重覆100項在三本頂級心理學期刊發表的實驗,當中只有36項結果跟原本實驗一致。結果顯示我們不應過份信任單一研究結果,而這項計劃亦展示了科學界的未來路向。

科學研究重視實驗證據,而任何證據都必須通過同行審查,在其他科學家反覆測試、確認可靠方被接納成為學界共識。據估計,每年有200萬篇科學期刊論文刊出,如何能確保這些論文的結果可靠,成為科學界的重要問題。

近日一項大型研究結果在《科學》期刊發表,270名心理學家合作,嘗試重複過百項曾於頂尖心理學期刊發表過的實驗。結果發現,原本100項實驗中97項結果具統計顯著性,重複實驗中這數字降到36項。如果把兩次實驗的數據合起來,則有68項,仍比原本的數字低。足見即使是具質素的研究,仍可能無法重複實驗結果。

然而如何解讀這項研究,並不簡單。

出版偏誤(publication bias)

學界早就有聲音質疑,現時學術出版的模式會令論文結果有偏差。

學術圈工作競爭激爭,有所謂「發表論文或消失」(publish or perish)的現象,令不少科學家都需要發表成果爭取研究資金。這使得科學家傾向發表創新的結果,而非重複已有的實驗。

此外,我們傾向認為有顯著、正面結果(例如證實不同現象有關聯)的研究比較有趣,而使得其他具質素、嚴謹但結果並不顯著甚至負面的研究無法刊出。這可能是因為研究員自己認為結果不重要而沒有投稿,轉而花時間去其他研究上;又或是期刊方面認為這些論文不吸引,因此拒絕刊出。

上述因素使得在期刊上的論文側重在正面、創新的結果,此即出版偏誤。即使某個研究結果可能被其他研究否定,但基於出版偏誤,後者無法刊出。這會令學界需要花費更多時間,才能夠辨別清楚哪些研究真正可靠,哪些不是。

Photo Credit: the.Firebottle, CC BY 2.0
重複實驗

2011年底,是次大型研究的計劃開始,由開放科學中心的社會心理學家Brian Nosek統籌。他找了世界各地多支研究隊伍,嘗試嚴謹地重複三本重要心理學期刊上的實驗︰《Psychological Science》、《Journal of Personality and Social Psychology》及《Journal of Experimental Psychology: Learning, Memory, and Cognition》。

研究人員選取了三本期刊在2008年刊出的論文,用上這一年的研究,是因為足夠近而包含原創的結果,但又不會太新而可以比較論文的反應、引用數量等。最終在488篇論文當中,挑選了111篇論文分配給各支研究隊伍,總共做了113個實驗。這些實驗多數是論文中最後一個實驗,也有其他是按可行性或原作者建議而做。

為了確保重複的實驗條件盡量跟原本實驗一致,研究人員聯絡了所有原作者,讓他們提供當時的研究數據、材料等,也讓他們檢視重複實驗的設計。

研究結果

最終有100項實驗能在預定時間完成,研究人員分析結果,並跟原本實驗結果比較。雖然研究人員表明,沒有單一指標可以判斷重複實驗成功與否,而且他們選用的五個指標亦非唯一,但整體而言如上所述,重複實驗後統計上顯著的結果明顯較少。

不過研究人員亦指出,不應輕易把成功的重複實驗結果視為印證理論,畢竟重複實驗僅為驗證結果的其中一環,我們還需要更多不同的實驗去排除其他可能解釋。另外,也不應輕易因為重複實驗失敗而否定原本的實驗,雖然他們盡力令實驗接近原本的設計,但還有無法控制的因素使兩者結果有別。

更重要的是,今次研究是首次大型、開放、有系統地審視心理學實驗結果的計劃,所有數據都放在網上。今次研究人員使用的系統,可以供學界日後使用。例如實驗人員可以把研究數據公開,增加透明度,亦方便其他科學家重複實驗。

科學進步的動力

論文的結論指出,雖然人類希望有確定的結果、知識,科學卻不常提供,單一研究結果幾乎不可能徹底解釋一個現象。是次研究的原本實驗提供了初步證據,重複實驗則提供額外證據,有時進一步確認原本的結果,有時則說明我們需要更多研究去查明真相。

科學進步是一個累積知識、降低不確定性的過程,但只有科學界對自身保持懷疑,科學才能進步。

最後研究人員表示,他們開始這項計劃,乃出於關注心理學的發展,以及相信這門學問的知識能為人類有益。而實驗的可重複驗證,對此目標極為重要。同時,累積證據是科學社群自我修正的方法,而且這是最可能達致其終極目標——尋求真相——的方法。

或許你會想看
更多『新聞』文章 更多『新聞』文章 更多『Kayue』文章
Loader