呵呵了，“科學家”發現，只有不到三分之一的科學結果是可重複的

透過機器人測試癌症生物學文獻的可重複性和穩健性的整個過程。首先，文字挖掘用於提取有關藥物對乳腺癌基因表達的影響的陳述。然後，兩個不同的團隊使用兩種不同的協議和兩種不同的細胞系（MCF7和MDA-MB-231）使用實驗室自動化系統Eve半自動地測試了這些陳述。圖片來源：Journal of the Royal Society Interface（2022）

研究人員使用自動文字分析和“機器人科學家”Eve的組合來半自動化再現研究結果的過程。缺乏可重複性的問題是現代科學麵臨的最大危機之一。

由劍橋大學領導的研究人員分析了12，000多篇關於乳腺癌細胞生物學的研究論文。在將集合縮小到74篇具有高度科學價值的論文後，只有不到三分之一（22篇論文）被發現是可重複的。在兩個案例中，夏娃能夠做出偶然的發現。

《皇家學會介面雜誌》報道的結果表明，使用機器人和人工智慧來幫助解決重複性危機是可能的。

一個成功的實驗是一個科學家，在不同的實驗室，在相似的條件下，可以達到相同的結果。但超過70%的研究人員已經嘗試過複製另一位科學家的實驗，但失敗了，超過一半的人未能複製他們自己的一些實驗：這就是可重複性危機。

“好的科學依賴於結果的可重複性;否則，結果基本上是沒有意義的，“劍橋化學工程和生物技術系的Ross King教授說，他領導了這項研究。“這在生物醫學中尤其重要：如果我是一名患者，並且我讀到一種有前途的新潛在治療方法，但結果不可重複，我該如何知道該相信什麼？結果可能是人們對科學失去信任。

幾年前，King開發了機器人科學家Eve，這是一個計算機/機器人系統，它使用人工智慧（AI）的技術進行科學實驗。

“使用機器進行科學研究的一大優勢是它們比人類更精確，記錄細節更精確，”金說。“這使得它們非常適合嘗試複製科學成果的工作。

作為DARPA資助的專案的一部分，King及其來自英國，美國和瑞典的同事設計了一個實驗，該實驗使用AI和機器人技術的組合來幫助解決可重複性危機，讓計算機閱讀科學論文並理解它們，並讓Eve嘗試複製實驗。

癌症對於目前的論文，該團隊專注於癌症研究。“癌症文獻是巨大的，但沒有人做過同樣的事情兩次，使可重複性成為一個巨大的問題，”金說。“鑑於在癌症研究上花費了大量資金，以及全球受影響的人數之多，這是我們迫切需要提高可重複性的一個領域。

從最初發表的12，000多篇科學論文中，研究人員使用自動文字挖掘技術提取與乳腺癌藥物治療中基因表達變化相關的陳述。從這組論文中，選出了74篇論文。

兩個不同的人類團隊使用Eve和兩個乳腺癌細胞系，並試圖重現74個結果。為43篇論文發現了可重複性的統計學上顯著的證據，這意味著結果在相同條件下是可複製的;在22篇論文中發現了可重複性或穩健性的重要證據，這意味著結果可以在相似的條件下被不同的科學家複製。在這兩種情況下，自動化做出了偶然的發現。

雖然在這項實驗中，74篇論文中只有22篇被發現是可重複的，但研究人員表示，這並不意味著其餘的論文在科學上不可重複或健壯。“有很多原因可以解釋為什麼特定的結果可能無法在另一個實驗室中重複，”King說。“例如，細胞繫有時可以在不同條件下改變它們在不同實驗室中的行為。我們發現最重要的區別是，誰做實驗很重要，因為每個人都是不同的。

King說，這項工作表明，自動化和半自動化技術可能是幫助解決可重複性危機的重要工具，可重複性應該成為科學過程的標準部分。

“科學中的可重複性問題有多大，這令人震驚，它需要對許多科學的方式進行徹底的改革，”金說。“我們認為機器在幫助修復它方面發揮著關鍵作用。

Testing the Reproducibility and Robustness of the Cancer Biology Literature by Robot, Journal of the Royal Society Interface (2022). DOI: 10.1098/rsif.2021.0821