大家好！今天我們要聊一個非?；馃岬脑掝}：AI技術(shù)如何影響學術(shù)論文的同行評審。最近，《自然》雜志一項報道顯示，可能有越來越多的研究人員在利用像ChatGPT這類AI聊天機器人來幫助他們進行同行評審工作。
這項研究發(fā)表在arXiv預印本上（https://arxiv.org/abs/2403.07183），研究者們分析了自ChatGPT發(fā)布以來，提交給四個大型計算機科學會議的會議論文的同行評審報告。他們發(fā)現(xiàn)，高達17%的評審報告可能經(jīng)過了AI聊天機器人的大幅修改。但目前還不清楚，研究人員是使用這些工具從頭開始構(gòu)建評審，還是僅僅用來編輯和改進已有的草稿。
我們都知道，AI聊天機器人有時候會生成誤導性或編造的信息，這對于科學出版來說是一個巨大的挑戰(zhàn)。畢竟，我們期望的是有經(jīng)驗的人類研究者來評審這些論文。AI聊天機器人有時候會“幻想”，我們很難判斷它們何時在“胡說八道”，何時在提供真實的信息。
該研究涉及的會議包括即將在維也納舉行的第十二屆國際表征學習大會，以及在新奧爾良、亞特蘭大和新加坡舉辦的其他三個重要會議。盡管《自然》雜志試圖聯(lián)系這些會議的組織者，但沒有得到回應(yīng)。
由加州斯坦福大學的計算機科學家領(lǐng)導的團隊開發(fā)了一種技術(shù)，通過識別AI比人類更常用的形容詞來識別AI撰寫的文本。通過比較分析ChatGPT發(fā)布前后提交給相同會議的超過146,000篇同行評審中形容詞的使用情況，發(fā)現(xiàn)某些積極形容詞的使用頻率顯著增加，例如“值得稱贊的”、“創(chuàng)新的”、“細致的”、“復雜的”、“顯著的”和“多功能的”。如果評審給予會議論文較低的評級，或者在截止日期臨近時提交等，那么這些評審中最有可能包含這些形容詞，因此最有可能是AI由聊天機器人參與撰寫。
Springer Nature出版社的一位發(fā)言人表示，他們要求同行評審者不要將手稿上傳到生成性AI工具中，因為這些工具仍然有“相當大的局限性”。Springer Nature還在探索為同行評審者提供安全的AI工具來指導他們的評估。
倫敦大學的文獻計量學官員表示，研究中的這些流行詞匯的增加“真的非常驚人”。這項工作啟發(fā)他對2015年至2023年間發(fā)表的同行評審研究中某些相同形容詞以及一些副詞的使用情況進行了分析。分析顯示，自ChatGPT出現(xiàn)以來，包括“值得稱贊的”、“細致的”和“復雜的”在內(nèi)的某些術(shù)語的使用顯著增加。研究估計，至少有60,000篇2023年發(fā)表的論文的作者在某種程度上使用了AI聊天機器人，這占到了當年所有學術(shù)研究發(fā)表量的1%以上。
從結(jié)果上看，研究不主張作價值判斷，也不會給出結(jié)論說明使用AI工具審稿一定是好或是壞，這里值得我們注意的是，在出現(xiàn)明確的規(guī)范前，我們要意識到存在AI參與生成或修改同行評審的這種情況，以及AI工具在學術(shù)出版領(lǐng)域的使用趨勢可能會進一步上升。
