原文作者：Katharine Sanderson
大量搜索工具承諾將協(xié)助科研人員的工作。
GPT-4是OpenAI為ChatGPT底層技術(shù)推出的最新迭代在這類大型語言模型（LLM）的全面提速下，科學(xué)家也開始借用它們強(qiáng)大的能力。這些迎來井噴的人工智能（AI）工具包括能讓研究人員更易了解突破性論文或是概括某領(lǐng)域重大進(jìn)展的搜索引擎。開發(fā)公司承諾這些程序?qū)⑹箍蒲袃?nèi)容的獲取更大眾化、更流暢。
許多AI工具旨在幫助科研人員概括整理學(xué)術(shù)結(jié)果。來源：Dimitri Otis/Getty
不過，已經(jīng)試用過這些工具的科研人員表示，有些工具在真正幫助他們做研究前還需要更多打磨。Clémentine Fourrier是巴黎的一名研究人員，她在Hugging Face開展LLM的評估工作，Hugging Face是紐約的一家開發(fā)開源AI平臺的公司。她使用名為Elicit的AI搜索引擎為她的博士論文查找文獻(xiàn)，Elicit使用一個LLM回答問題。Elicit先在Semantic Scholar數(shù)據(jù)庫里搜索論文，并根據(jù)搜索問題比較論文標(biāo)題和摘要，再找出排名最靠前的研究。
多變成功
Fourrier說，在她的經(jīng)驗(yàn)中，Elicit有時候無法挑選出相關(guān)度最高的論文。她說，Elicit很適合用來推薦你可能沒看過的論文，但它給出的論文摘要“很沒用”，而且還會推薦很多不直接相關(guān)的內(nèi)容。“如果你只用這一個工具，你可能會犯很多錯誤。”
加州的Ought是開發(fā)Elicit的公司，該公司的首席運(yùn)營官Jungwon Byun說：“我們當(dāng)前有數(shù)以萬計的各個專業(yè)的用戶，Elicit難免在某些問題上弱一些。”Elicit和其他搜索引擎的運(yùn)行方式不同，Byun說，它對關(guān)鍵詞匹配、引用量統(tǒng)計和時效性的關(guān)注度不高，當(dāng)然用戶也能對這些指標(biāo)進(jìn)行篩眩
其他研究人員對Elicit的使用體驗(yàn)更好一些。“Elicit.org是目前我最喜歡的搜索工具，”新加坡管理大學(xué)的圖書館員Aaron Tay說，“它快要取代Google Scholar，成為我的首選學(xué)術(shù)搜索引擎了。”他說，“在相關(guān)度方面，我用Elicit的體驗(yàn)和Fourrier的相反。一般情況下，它和Google Scholar的相關(guān)度差不多，但有時候它對我的搜索問題反而理解得更好。”
Tay認(rèn)為，這方面的差異可能取決于具體領(lǐng)域。Fourrier解釋道，在她的研究領(lǐng)域，時間非常關(guān)鍵。“機(jī)器學(xué)習(xí)領(lǐng)域的一年等于其他領(lǐng)域的一百年，”她說，“五年前的研究在今天基本毫無相關(guān)性了，而Elicit不會返回這些內(nèi)容。”
另一個工具是scite，其開發(fā)公司位于紐約市。scite能用一個LLM整理提供文獻(xiàn)引用的具體背景包括一篇論文在哪里、在何時以及如何引用了另一篇論文。scite的首席執(zhí)行官Josh Nicholson指出，ChatGPT的“幻覺”飽受詬病即它會編造根本不存在的參考文獻(xiàn)，但scite和它的“Assistant”工具已經(jīng)擺脫了這個問題。“這里的主要區(qū)別在于我們先從ChatGPT獲得結(jié)果，再在我們的數(shù)據(jù)庫中搜索這些結(jié)果，然后在語義上和真實(shí)的參考文獻(xiàn)進(jìn)行匹配。”Nicholson表示，scite 已經(jīng)和30多個學(xué)術(shù)出版機(jī)構(gòu)合作，包括威立（Wiley）和美國化學(xué)學(xué)會這樣的大型機(jī)構(gòu)，并已簽署了一系列索引協(xié)議，這能讓scite獲取數(shù)百萬篇學(xué)術(shù)論文的全文。
Nicholson表示scite還在與Consensus合作，Consensus是2022年由波士頓的程序員Eric Olson和Christian Salem開發(fā)的一款工具，能讓AI直接從研究內(nèi)容中提取和過濾結(jié)果。Consensus本來是為那些對搜索領(lǐng)域不太了解的用戶設(shè)計的，Salem說，“但實(shí)際上有很多研究人員和科學(xué)家在使用我們的產(chǎn)品。”
和Elicit一樣，Consensus使用的也是Semantic Scholar數(shù)據(jù)庫。Olson說：“我們的數(shù)據(jù)庫包含從海量論文中摘錄的逾1億條論點(diǎn)。所以當(dāng)你搜索時，你其實(shí)是在這些論點(diǎn)中搜索。”Consensus的員工會手動標(biāo)注有爭議或被證偽的論點(diǎn)，比如疫苗會導(dǎo)致自閉癥，Olson說，“我們希望未來這些步驟都能實(shí)現(xiàn)自動化，”Salem說，“讓它們像該領(lǐng)域的專家一樣，去‘揪’出那些不靠譜的研究。”
提升空間
加拿大曼尼托巴大學(xué)的兒科醫(yī)生Meghan Azad在Consensus上問它疫苗是否會導(dǎo)致自閉癥，Consensus回答他70%的研究指出疫苗不會導(dǎo)致自閉癥，而Azad對這個結(jié)果并不信服。“其中一個引文為‘家長是否相信疫苗會導(dǎo)致自閉癥？’，而Consensus會利用這個條目計算共識。這不是一個能提供證據(jù)的研究，是否？它只是在問人們相不相信。”
南丹麥大學(xué)博士后Mushtaq Bilal一直在測試各類AI工具，并在推特上發(fā)布它們的最佳使用指南。他很喜歡Elicit，也看過Consensus。Bilal解釋道，“他們在做的事情很有用。如果你問了一個是或否的問題，它會根據(jù)學(xué)術(shù)研究給你一個共識，”他說，“它給了我一連串論文，最后的共識結(jié)果便是基于這些論文做出的。”
Azad可以想象AI搜索引擎在未來學(xué)術(shù)研究中的作用，比如當(dāng)你需要寫一篇系統(tǒng)性綜述時，它能替你尋找本來要好幾個月才能整理完的資源。她說，但目前而言，“我不確定我能信它們多少，所以我只是先用用看。”
原文以AI science search engines are exploding in number are they any good?標(biāo)題發(fā)表在2023年4月17日《自然》的新聞版塊上
nature
doi:10.1038/d41586-023-01273-w
點(diǎn)擊閱讀原文查看英文原文
粉絲調(diào)研
我們希望通過此次問卷更好地了解您對Nature Portfolio公號的期待，以及我們能為您提供什么服務(wù)。您的反饋有助于我們從各方面更好地運(yùn)營Nature Portfolio微信公眾號。
為了表示感謝，我們也將在參與問卷調(diào)查的讀者中選出10位幸運(yùn)粉絲，送出來自Springer Nature的禮品包。
禮品包包含：Nature150周年紀(jì)念拼圖一份，Nature Portfolio水杯一個，驚喜Nature期刊一本
詳情請點(diǎn)擊此處查看原推文
點(diǎn)亮“星標(biāo)”是您對我們最大的支持！
版權(quán)聲明：
本文由施普林格自然上海辦公室負(fù)責(zé)翻譯。中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。歡迎轉(zhuǎn)發(fā)至朋友圈，如需轉(zhuǎn)載，請郵件China@nature.com。未經(jīng)授權(quán)的翻譯是侵權(quán)行為，版權(quán)方將保留追究法律責(zé)任的權(quán)利。
2023 Springer Nature Limited.All Rights Reserved
星標(biāo)我們，記得點(diǎn)贊、在看+轉(zhuǎn)發(fā)哦!
