IT之家 7 月 13 日消息,斯坦福大學(xué)的研究者日前發(fā)現(xiàn),如果非英語(yǔ)母語(yǔ)者掌握的英文詞匯量不夠多,在撰寫英文文章時(shí),很容易被 GPT 檢測(cè)器誤認(rèn)為是 AI 生成內(nèi)容。
據(jù)悉,這項(xiàng)研究由史丹福大學(xué)生物醫(yī)學(xué)資料科學(xué)的助理教授 James Zou 所主導(dǎo),刊登于《Patterns》期刊,表示當(dāng)下的 GPT 檢測(cè)器實(shí)際上存在不足,難以評(píng)定文章是否出自 AI 之手。
▲ 圖源 期刊論文
研究者使用了 7 款熱門的 GPT 檢測(cè)器來檢查共計(jì) 179 篇真人書寫的文章,發(fā)現(xiàn)這些檢測(cè)器把一半以上非英語(yǔ)母語(yǔ)者撰寫的文章當(dāng)作是 AI 生成的。
▲ 圖源 期刊論文
IT之家查詢論文發(fā)現(xiàn),研究者并未公布用來實(shí)驗(yàn)的 GPT 檢測(cè)器名稱,但研究成果表示,當(dāng)下的 GPT 檢測(cè)器在“辨識(shí)托福文章是否由 AI 撰寫”時(shí),錯(cuò)誤率高達(dá) 61.3%,甚至有一款 GPT 檢測(cè)器的錯(cuò)誤率高達(dá) 97.8%,且所有的檢測(cè)器都一致認(rèn)為,這些由真人書寫的文章中,有 19.8% 的內(nèi)容“絕對(duì)是由 AI 生成的”。
▲ 圖源 期刊論文
研究者通過進(jìn)一步分析發(fā)現(xiàn),造成辨識(shí)錯(cuò)誤的主要原因是非英語(yǔ)母語(yǔ)者在語(yǔ)言的多樣化與詞語(yǔ)的選擇上較為有限,且掌握的英文詞匯相對(duì)更“正式”,在部分生活場(chǎng)景中并不常使用,因此產(chǎn)生了 AI 的錯(cuò)誤判定現(xiàn)象。
▲圖源 Pexels