4月8日,有道知識(shí)庫(kù)問(wèn)答引擎QAnything更新至1.3.0版本,該版本帶來(lái)了兩大主要功能升級(jí):發(fā)布純python的輕量級(jí)的版本,該版本支持在Mac上運(yùn)行,也可以在純CPU機(jī)器上運(yùn)行;同時(shí)支持BM25 + embedding混合檢索,可以實(shí)現(xiàn)更精準(zhǔn)的語(yǔ)義檢索和關(guān)鍵字搜索。本次更新后,QAnything能為開發(fā)者探索大模型落地提供更強(qiáng)大的技術(shù)支撐和更流暢的用戶體驗(yàn)。
(QAnything 系統(tǒng)架構(gòu)圖)
QAnything是網(wǎng)易有道自研的RAG(Retrieval Augmented Generation)引擎。該引擎允許用戶上傳PDF、圖片、Word、Excel、PowerPoint等多種格式的文檔,并實(shí)現(xiàn)類似于ChatGPT的互動(dòng)問(wèn)答功能,其中每個(gè)答案都能精確追溯到相應(yīng)的文檔段落來(lái)源。該引擎支持純本地部署,上傳文檔數(shù)量無(wú)上限,問(wèn)答準(zhǔn)確率很高。
自今年1月開源以來(lái),QAnything迅速吸引了開發(fā)者社區(qū)的廣泛關(guān)注,并多次登上了GitHub trending榜單。截至目前,在GitHub上QAnything已經(jīng)積累7000+個(gè)星標(biāo),這反映出了用戶對(duì)其價(jià)值的高度評(píng)價(jià)。
(圖:QAnything登上GitHub trending榜單)
此外,QAnything下載次數(shù)已達(dá)數(shù)萬(wàn)次。其中,語(yǔ)義嵌入排序模型BCEmbedding更是每月可達(dá)超60萬(wàn)次下載。
值得一提的是,QAnything采用了自研的BCEmbedding模型(RAG系統(tǒng)關(guān)鍵模塊)。有道發(fā)現(xiàn),在客服問(wèn)答以及一些toB客戶的場(chǎng)景中,OpenAI的Ada2 BCEmbedding檢索準(zhǔn)確率只有60%,而其自研的 BCEmbedding檢索準(zhǔn)確率可以達(dá)到95%。該模型具有中英雙語(yǔ)跨語(yǔ)種能力和多領(lǐng)域覆蓋兩大特色。
據(jù)悉,QAnything收集了包括教育、醫(yī)療、法律、金融、百科、科研論文、客服、通用QA等場(chǎng)景的語(yǔ)料,使得模型可以覆蓋和支持盡可能多的應(yīng)用場(chǎng)景,為商業(yè)化落地提供了便捷。
目前,QAnything已在有道多場(chǎng)景中落地。如“有道領(lǐng)世”在QAnything的幫助下,憑借海量的升學(xué)資料數(shù)據(jù),打造出一個(gè)“私人AI規(guī)劃師”,能為每個(gè)家長(zhǎng)和學(xué)生提供個(gè)性化的服務(wù),展示更加全面、專業(yè)、及時(shí)的升學(xué)規(guī)劃。面對(duì)高考政策、升學(xué)路徑、學(xué)習(xí)生活以及職業(yè)規(guī)劃等各類問(wèn)題,該系統(tǒng)的解答準(zhǔn)確率超過(guò)95%。未來(lái)隨著數(shù)據(jù)補(bǔ)充和更新,準(zhǔn)確率會(huì)一直上漲。
與此同時(shí),子曰教育大模型最新應(yīng)用成果“有道速讀”,其核心功能文檔問(wèn)答、文章摘要、要點(diǎn)解讀、引文口碑和領(lǐng)域綜述,背后驅(qū)動(dòng)也是QAnything。在其加持下,用戶快速理解文檔、定位要點(diǎn)等訴求得以快速實(shí)現(xiàn),短短一分鐘,萬(wàn)字長(zhǎng)文就能拆解得明明白白。
除賦能自身業(yè)務(wù)外,開源后的QAnything不斷拓寬“朋友圈”。目前已累計(jì)為近百家企業(yè)賦能,以期讓AI應(yīng)用真正進(jìn)入醫(yī)療、物流、辦公等多元化場(chǎng)景,為企業(yè)、組織和個(gè)人帶來(lái)生產(chǎn)效率的大幅提升。
相關(guān)技術(shù)負(fù)責(zé)人表示,QAnything仍將不斷迭代,歡迎下載試用,https://github.com/netease-youdao/QAnything,期待更多使用者參與到反饋和開發(fā)中來(lái)。