財(cái)聯(lián)社11月7日訊（編輯 周子意）根據(jù)周一（11月6日）發(fā)表在科學(xué)頂刊《細(xì)胞》物理子刊《Cell Reports Physical Science》上的一項(xiàng)研究，科學(xué)家已研究出一種機(jī)器學(xué)習(xí)工具，可以很容易地識(shí)別出使用聊天機(jī)器人ChatGPT撰寫的化學(xué)論文。
該論文的合著者、美國(guó)堪薩斯大學(xué)的化學(xué)家Heather Desaire指出，“大多數(shù)文本分析領(lǐng)域都想要推出一種真正通用的檢測(cè)器，可以適用于任何東西”。但她表示她的團(tuán)隊(duì)正通過(guò)制作一種專注于特定類型論文的檢測(cè)工具，旨在“追求準(zhǔn)確性”。
Desaire稱，研究結(jié)果表明，開(kāi)發(fā)人工智能（AI）檢測(cè)器的努力可以通過(guò)定制軟件來(lái)促進(jìn)特定類型的論文寫作，“如果你能快速而輕松地構(gòu)建一項(xiàng)專門的工具，那么為不同的領(lǐng)域構(gòu)建不同的工具就不是那么困難了。”
從公布的數(shù)據(jù)來(lái)看，這種專門的檢測(cè)器比市面上現(xiàn)有的兩種人工智能檢測(cè)器的性能都要好，可以幫助學(xué)術(shù)出版商識(shí)別出那些由人工智能文本生成器生成的論文。
準(zhǔn)確率驚人
Desaire和她的同事在6月份首次描述了他們研發(fā)的ChatGPT探測(cè)器，當(dāng)時(shí)他們將其應(yīng)用于《科學(xué)》雜志上的Perspective文章。該團(tuán)隊(duì)使用人工智能檢測(cè)器檢查寫作風(fēng)格的20個(gè)特征，包括句子長(zhǎng)度的變化、某些單詞和標(biāo)點(diǎn)符號(hào)的頻率等，來(lái)確定文章是有人類科學(xué)家所作還是由ChatGPT所生成的。
當(dāng)時(shí)的研究結(jié)果表明，“你可以使用一小部分特征來(lái)獲得高水平的準(zhǔn)確性”。
在最新的研究中，該團(tuán)隊(duì)將美國(guó)化學(xué)學(xué)會(huì)（ACS）出版的十本化學(xué)期刊的論文引言部分作為人工智能探測(cè)器的訓(xùn)練對(duì)象。
研究人員將100篇已發(fā)表的人類撰寫的引言作為比對(duì)材料，然后要求ChatGPT-3.5以ACS期刊的風(fēng)格撰寫200篇引言。其中100篇是研究人員向ChatGPT提供了論文標(biāo)題后生成的，而另外100篇是研究人員向ChatGPT提供了論文摘要后生成的。
研究結(jié)果顯示，當(dāng)把人類撰寫的引言和和人工智能從同一期刊上生成的介紹進(jìn)行測(cè)試時(shí)，該人工智能檢測(cè)器能夠100%識(shí)別出由ChatGPT-3.5編寫的前100篇引言（基于論文標(biāo)題生成的）；而對(duì)于后100篇ChatGPT-3.5生成的引言（基于論文摘要所生成的），檢測(cè)的準(zhǔn)確率略低，為98%。
此外，該工具同樣適用于ChatGPT-4編寫的文本。
相比之下，市場(chǎng)上的另兩款人工智能檢測(cè)器中，德國(guó)的ZeroGPT識(shí)別人工智能編寫的介紹的準(zhǔn)確率僅為35-65%，這取決于使用的ChatGPT版本以及介紹是由論文標(biāo)題還是摘要生成的。而OpenAI自身的文本分類器工具也表現(xiàn)不佳它能夠識(shí)別人工智能編寫的介紹，準(zhǔn)確率約為10-55%。
柏林應(yīng)用科技大學(xué)研究學(xué)術(shù)剽竊的計(jì)算機(jī)科學(xué)家Debora Weber-Wulff評(píng)價(jià)道，該篇論文的作者們所做的是一件“令人著迷的事情”。
她表示，許多現(xiàn)有的工具試圖通過(guò)搜索人工智能生成的文章的預(yù)測(cè)文本模式來(lái)確定作者的身份，而不是通過(guò)觀察寫作風(fēng)格和文體的特征。Weber-Wulff 稱，“我從來(lái)沒(méi)有想過(guò)在ChatGPT上使用文體計(jì)量學(xué)。”
（財(cái)聯(lián)社 周子意）
