昨日，網(wǎng)易有道宣布將自研的知識庫問答引擎QAnything正式開源，除了可以調(diào)用云端大模型服務(wù)，還支持純本地部署，所有用戶可免費在開源社區(qū)Github內(nèi)進行下載，一鍵部署即可使用。該系統(tǒng)目前支持word、ppt、excel、pdf、圖片等多種文檔格式，直接導(dǎo)入進去即可實現(xiàn)像"ChatGPT"一樣問答。
據(jù)了解，QAnything的主要原理是基于檢索增強的生成（Retrieval Augmented Generation，簡稱RAG），RAG是目前很火的一種技術(shù)框架，它能夠利用檢索外部內(nèi)容的方式增強大語言模型的準確度、專業(yè)能力和個性化等各方面的性能。
目前，通用大模型能力很強，但無法使用用戶的私有數(shù)據(jù)，且存在胡亂編造的幻覺問題。QAnything作為有道自研的RAG引擎，則結(jié)合了用戶私有數(shù)據(jù)和大模型的優(yōu)勢用戶的任何內(nèi)容，以任意的形式存在，比如各種格式的文檔，音頻，數(shù)據(jù)庫等，都可以在QAnything的支持下，變成可以針對其內(nèi)容進行問答的使用方式，通過這個技術(shù)框架用戶可以很方便地搭建自己的智能知識助手。
（QAnything系統(tǒng)架構(gòu)圖）
值得一提的是，本次開源的QAnything是一套完整的RAG系統(tǒng)，包括專門優(yōu)化的自研的embedding和rerank模型，微調(diào)后的LLM，優(yōu)化后的推理代碼，向量數(shù)據(jù)庫，以及一個立即上手可用的前端。所有的算法模型（包括7B大模型+embedding/rerank+OCR）占用顯存不超過16G。
如今，QAnything已在有道的多個產(chǎn)品中應(yīng)用，包括有道翻譯文檔問答、有道速讀及有道內(nèi)部業(yè)務(wù)的客服系統(tǒng)等。
以有道速讀為例，它是前不久子曰教育大模型最新發(fā)布的創(chuàng)新應(yīng)用成果之一，目前上線在有道翻譯中。針對大家在日常生活中的閱讀文檔需求，有道速讀內(nèi)置了文檔問答、文章摘要、要點解讀、引文口碑和領(lǐng)域綜述五大功能，能夠幫大家更快更準地獲得信息和對文檔的理解。而該功能背后的驅(qū)動就是QAnything，在大模型技術(shù)的加持下，用戶能夠?qū)崿F(xiàn)快速理解文檔、定位要點，實現(xiàn)1分鐘讀完萬字長文。
“目前，QAnything項目還在不斷迭代，歡迎大家參與開發(fā)，并給予我們更多反潰我們希望能幫助有需要的開發(fā)者們，和更多伙伴一起推動大模型的落地。”網(wǎng)易有道首席科學家段亦濤介紹道。
