AI工具狂掃論文錯誤，黑塑料毒性風波后，兩大項目崛起。雖助減肥假與錯，專家卻憂誤判傷人，未來是救星還是累贅？
去年末，全球媒體吵得沸沸揚揚，說黑塑料廚具含致癌阻燃劑，風險超標?？蓻]多久就發(fā)現(xiàn)，這不過是研究里一個數(shù)學失誤鬧的烏龍——關(guān)鍵化學物質(zhì)含量其實比安全線低十倍。眼尖的研究者立馬指出，人工智能(AI)幾秒鐘就能揪出這錯。這事兒一出，立馬點燃了兩個用AI查科學文獻錯誤的項目的熱情。
先說“黑鏟子項目”，這是個開源AI工具，已經(jīng)翻看了500多篇論文找茬。項目協(xié)調(diào)者、哥倫比亞卡塔赫納的獨立AI研究者 Joaquin Gulloso 說，他們有八個活躍開發(fā)者和幾百個志愿者顧問，眼下還沒公開錯誤清單，而是私下聯(lián)系作者?！耙呀?jīng)逮住不少問題了，清單長得嚇人，簡直瘋了！” Gulloso 興奮地說。另一邊，“YesNoError”項目則野心更大。創(chuàng)始人 Matt Schlicht 是AI創(chuàng)業(yè)者，受“黑鏟子”啟發(fā)，靠自創(chuàng)加密貨幣撐腰，想把所有論文掃一遍。他透露，兩個月內(nèi)，他們的AI工具已經(jīng)檢查了37000多篇論文，網(wǎng)站上標出有問題的文章，雖然很多還沒人工核實，但他信心滿滿地說有大規(guī)模驗證的計劃。
兩項目都希望研究者在投稿前用上這些工具，期刊出版前也來一輪檢查，目標是把錯誤和造假擋在科學文獻門外?？蛇@事兒聽著美好，做起來卻沒那么簡單。
學術(shù)圈里那些專查研究誠信的“偵探”們對這倆項目有點看好，但也捏了把汗。荷蘭蒂爾堡大學的元科學學者 Michèle Nuijten 提醒，工具查錯的本事和結(jié)果靠不靠譜，得說清楚?！叭f一指錯了人，最后發(fā)現(xiàn)沒問題，那名譽可就毀了?！彼@話不無道理。瑞典林奈大學的法醫(yī)元科學家 James Heathers 也幫“黑鏟子”出過主意，他覺得現(xiàn)在胡亂發(fā)論文容易，想撤回來可難，AI先篩一遍再細查倒是個好開頭?！斑€早，但我挺支持的?！彼f。
其實，盯著論文毛病的工具不算新鮮，可這回靠大型語言模型(LLM)，查的范圍廣多了，從事實到計算、方法、引文，全都能掃。這些系統(tǒng)先把論文里的表格、圖片扒出來，再用一套復雜指令(叫“提示”)告訴“推理模型”——一種特別的LLM——要找啥錯。有時一篇論文得掃好幾遍，要么查不同類型的錯，要么互相驗證。分析一篇論文的成本從15美分到幾美元不等，看篇幅和指令復雜程度。
問題來了：AI也會看走眼。Gulloso 說，“黑鏟子”的系統(tǒng)目前錯判率在10%左右，每條疑似錯誤還得找專家復核，可找人成了最大瓶頸。項目創(chuàng)始人、軟件工程師 Steve Newman 直言，這是個大難題。YesNoError那邊，Schlicht 說他們從首批10000篇論文里挑了100個數(shù)學錯誤驗證，90%的作者回了信，幾乎都承認AI找的錯沒錯。他們還打算跟 ResearchHub 合作，用加密貨幣雇博士科學家復核，可這計劃還沒啟動。
然而，YesNoError網(wǎng)站上現(xiàn)在假陽性不少。林奈大學的誠信研究者 Nick Brown 隨便點了40篇標紅的論文，發(fā)現(xiàn)14個是AI瞎報的，比如說文中提到的圖表不在論文里，其實就在那兒?！八麄冋业拇蠖嗍菍懽鲉栴}，還老出錯。”Brown 有點擔心，這么下去會給科學圈添亂，凈忙著澄清小錯，像拼寫錯誤這種，本該審稿時就抓住(兩項目主要看預印本論文)?！俺羌夹g(shù)大跳躍，不然這是在瞎忙活，太天真了?！彼f。
Schlicht 不服氣，反駁說他們正努力降假陽性?！靶″e誤看著不重要，但就像黑廚具那篇，多一個零就能攪亂世界?！彼€說已經(jīng)跟學術(shù)圈的人聊上了，歡迎更多反饋。YesNoError還打算讓持幣者決定先查哪些論文，瞄準公眾關(guān)注的熱點，可 Brown 擔心這會瞄上氣候科學這種敏感領域。
如果真搞好了，Brown 覺得這些工具能揭開不少真相?！凹僭O有人真弄出個厲害的，某些領域就像開了燈的蟑螂窩，亂套了?！彼蛉さ?。想想那黑塑料風波，一個小錯就能掀起軒然大波，AI查錯這路還長著呢，到底是幫手還是添亂，誰心里也沒準。
本文譯自 nature，由 BALI 編輯發(fā)布。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
