機(jī)器之心報(bào)道
機(jī)器之心編輯部
OpenAI 進(jìn)軍芯片領(lǐng)域，英偉達(dá)自己造聊天機(jī)器人，這是 Sam vs Jensen 的時(shí)代？
下載地址：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
在這波 AI 淘金熱里，英偉達(dá)經(jīng)常被稱為那個「賣鏟子的人」，而且賣的是難以替代的鏟子。依靠這個角色，英偉達(dá)市值已經(jīng)超越亞馬遜，成美股第四大公司，離谷歌市值僅一步之遙。
但值得注意的是，英偉達(dá)本身也在這波 AI 浪潮里淘金。剛剛，他們發(fā)布了一個對話機(jī)器人 「Chat with RTX」，面向 GeForce RTX 30 系列和 40 系列顯卡用戶（至少有 8GB VRAM）。有人開玩笑說，Sam Altman 進(jìn)軍芯片領(lǐng)域，黃仁勛進(jìn)入聊天機(jī)器人的領(lǐng)域，這是 Sam vs Jensen 的時(shí)代。
與 ChatGPT 等需要聯(lián)網(wǎng)使用的聊天機(jī)器人不同，Chat with RTX 可以在本地運(yùn)行，幫你檢索、分析保存在電腦上的文件（支持文本、PDF、.doc、.docx 和 .xml 等格式）。比如，你可以問它「在拉斯維加斯時(shí)，我的搭檔推薦了哪家餐廳？」Chat with RTX 將掃描你指向的本地文件，并提供帶有上下文的答案。
此外，它還可以幫你分析、總結(jié) Youtube 上的視頻，而且只需要你提供網(wǎng)址。科技媒體 The Verge 資深編輯 Tom Warren 在試用之后表示，Chat with RTX 在視頻中找參考資料的速度非常快，只需要幾秒就能給答案，不過有時(shí)也會出錯，找到驢唇不對馬嘴的視頻文字記錄。
據(jù)悉，Chat with RTX 默認(rèn)使用人工智能初創(chuàng)公司 Mistral 的開源模型，但也支持其他基于文本的模型，包括 Meta 的 Llama 2。它會利用 RTX GPU 上的 Nvidia Tensor core 來加快查詢速度。Nvidia 警告說，下載所有必要文件會占用相當(dāng)大的存儲空間 50GB 到 100GB，具體取決于所選模型。
Tom Warren 表示，他的電腦采用英特爾酷睿 i9-14900K 處理器，配備 RTX 4090 GPU，安裝 Chat with RTX 大約花了 30 分鐘。在他系統(tǒng)可用的 64GB 內(nèi)存中，Python 實(shí)例占用了大約 3GB 內(nèi)存。程序運(yùn)行后，他可以通過瀏覽器訪問 Chat with RTX，而后臺運(yùn)行的命令提示符會顯示正在處理的內(nèi)容和任何錯誤代碼。
Tom Warren 還發(fā)現(xiàn)，Chat with RTX 在掃描 PDF 文件和核對數(shù)據(jù)時(shí)非常有用。微軟自己的 Copilot 系統(tǒng)在 Word 中不能很好地處理 PDF 文件，但 Chat with RTX 聊天系統(tǒng)可以毫無問題地提取出所有關(guān)鍵信息，回復(fù)也近乎即時(shí)，沒有通常使用基于云的 ChatGPT 或 Copilot 聊天機(jī)器人時(shí)的延遲。
不過，作為一款早期產(chǎn)品，Chat with RTX 還有很多不完善的地方。
一個比較大的缺點(diǎn)是，它不能記憶上下文。比如，你問「北美常見的鳥類是什么？」，然后接著問「它是什么顏色？」，它就不知道你是在問鳥的顏色。
英偉達(dá)還承認(rèn)，Chat with RTX 回復(fù)的相關(guān)性會受到一系列因素的影響，其中有些因素比較容易控制，包括問題的措辭、所選模型的性能和微調(diào)數(shù)據(jù)集的大校詢問幾份文檔中涉及的事實(shí)可能比詢問一份文檔或一組文檔的摘要得到更好的結(jié)果。英偉達(dá)表示，隨著數(shù)據(jù)集的增大，響應(yīng)質(zhì)量通常也會提高，將 Chat with RTX 指向有關(guān)特定主題的更多內(nèi)容也是如此。
所以，整體來看，Chat with RTX 還是一個初級的產(chǎn)品，暫時(shí)不太適合用于生產(chǎn)。但它代表了一種趨勢，即讓 AI 模型更容易地在本地運(yùn)行。
世界經(jīng)濟(jì)論壇在最近的一份報(bào)告中預(yù)測，能夠離線運(yùn)行生成式 AI 模型的經(jīng)濟(jì)型設(shè)備將「大幅」增長，其中包括個人電腦、智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和網(wǎng)絡(luò)設(shè)備。報(bào)告表示，原因在于其明顯的優(yōu)勢：離線模型不僅在本質(zhì)上更加私密 它們處理的數(shù)據(jù)永遠(yuǎn)不會離開運(yùn)行的設(shè)備，而且與云托管模型相比，它們的延遲更低，成本效益更高。
英偉達(dá)公司創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：「生成式人工智能是計(jì)算史上最重要的一次平臺轉(zhuǎn)型，它將改變包括游戲在內(nèi)的每一個行業(yè)。英偉達(dá)擁有超過 1 億臺 RTX AI PC 和工作站，是開發(fā)者和游戲玩家享受生成式人工智能魔力的龐大安裝基矗」
Chat with RTX 技術(shù) demo 由 GitHub 上的 TensorRT-LLM RAG 開發(fā)人員參考項(xiàng)目構(gòu)建而成。開發(fā)人員可以使用該參考項(xiàng)目為 RTX 開發(fā)和部署自己的基于 RAG 的應(yīng)用程序，并通過 TensorRT-LLM 進(jìn)行加速。
項(xiàng)目地址：https://github.com/NVIDIA/trt-llm-rag-windows
參考鏈接：
https://baijiahao.baidu.com/s?id=1790835158166619050&wfr=spider&for=pc
https://techcrunch.com/2024/02/13/nvidias-new-tool-lets-you-run-genai-models-on-a-pc/
https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
