隨著ChatGPT的問(wèn)世，我們迎來(lái)了許多創(chuàng)新和變革的機(jī)會(huì)。一年一度的亞馬遜云科技大會(huì)re:Invent也帶來(lái)了許多前言的技術(shù)，其中亞馬遜云科技CEO Adam Selipsky在2023亞馬遜云科技re:Invent大會(huì)中重磅推出Amazon Q，這預(yù)示著生成式AI的又一個(gè)里程碑。
在本文中，將探討Amazon Q是什么以及它能為我們做些什么。還將詳細(xì)介紹如何使用Amazon Q來(lái)構(gòu)建知識(shí)庫(kù)，并分享一些實(shí)際案例。下面一起深入了解Amazon Q，并探索如何在知識(shí)庫(kù)建設(shè)中充分發(fā)揮其潛力。
Amazon Q是什么
Amazon Q是一款基于生成式人工智能的助手，通過(guò)連接如代碼倉(cāng)庫(kù)、網(wǎng)址、數(shù)據(jù)庫(kù)、文檔、email等各種信息庫(kù)來(lái)幫助企業(yè)或者個(gè)人以自然語(yǔ)言對(duì)話的方式，提供歷史數(shù)據(jù)檢索、摘要生成、內(nèi)容撰寫(xiě)等。
Amazon Q與通用生成式AI的區(qū)別
通用的生成式AI最大問(wèn)題在于內(nèi)容來(lái)源于互聯(lián)網(wǎng)的公開(kāi)數(shù)據(jù)，無(wú)法針對(duì)特定的數(shù)據(jù)源進(jìn)行訓(xùn)練，比如無(wú)法跟企業(yè)內(nèi)部數(shù)據(jù)，業(yè)務(wù)相結(jié)合，也無(wú)法滿足個(gè)人的個(gè)性化需求。同樣使用ChatGPT遇到最大的問(wèn)題在于數(shù)據(jù)源的限制，為了讓ChatGPT學(xué)習(xí)某個(gè)特定的技能，需要將內(nèi)容拆分再提供給ChatGPT學(xué)習(xí)，這大大限制了生成式AI的能力。因此Amazon Q較ChatGPT而言有以下優(yōu)勢(shì)：
-
與特定業(yè)務(wù)相結(jié)合；
-
支持多種數(shù)據(jù)源；
-
將權(quán)限引入生成式AI中，在企業(yè)中可以根據(jù)組織架構(gòu)對(duì)人員設(shè)置不同的訪問(wèn)權(quán)限；
-
使用Amazon Kendra可以將已訓(xùn)練完成的數(shù)據(jù)源進(jìn)行共享，大大縮短訓(xùn)練時(shí)間。
-
接下來(lái)用Amazon Q打造一個(gè)Rust知識(shí)庫(kù)。
用Amazon Q打造知識(shí)庫(kù)
第一步
打開(kāi)Amazon Q登錄或創(chuàng)建賬號(hào)，進(jìn)入如下頁(yè)面。在頁(yè)面的開(kāi)頭就清晰描述Amazon Q的工作方式。點(diǎn)擊【Create Application】，填寫(xiě)Application基本信息，點(diǎn)擊【Create】進(jìn)入下一步。
第二步
為應(yīng)用程序選擇索引器。有以下兩種索引器：
-
native retriever
-
existing retriever
native retriever只能在當(dāng)前應(yīng)用下使用，existing retriever一旦創(chuàng)建可以被多個(gè)應(yīng)用使用。第一次使用可選擇native retriever。
第三步
添加數(shù)據(jù)源，Amazon Q提供了多種數(shù)據(jù)源，選擇其中的Web crawler，填寫(xiě)數(shù)據(jù)源名稱(chēng)、url等關(guān)鍵信息。其他信息按照提示填寫(xiě)。特別注意Sync scope，盡可能縮小范圍，避免爬取諸多無(wú)用的頁(yè)面，進(jìn)而影響索引速度和內(nèi)容相關(guān)性。
第四步
點(diǎn)擊【Sync now】后，需完成兩個(gè)步驟：
-
抓取頁(yè)面內(nèi)容
-
為頁(yè)面創(chuàng)建索引
網(wǎng)頁(yè)數(shù)量越多，完成以上兩步的時(shí)間就越久。
比較耗時(shí)的步驟在于創(chuàng)建索引。所以盡可能縮小爬取范圍。其中：
-
rust_book1：rust語(yǔ)言圣經(jīng)中文版
-
rust_book2：rust語(yǔ)音官方文檔（英文版）
-
rust_book3：rust語(yǔ)音官方文檔（中文版）
-
rust_book4：Rust語(yǔ)言實(shí)戰(zhàn)（英文版）
-
rust_book5：Rust語(yǔ)言實(shí)戰(zhàn)（中文版）
第五步
點(diǎn)擊【Preview web experience】進(jìn)行預(yù)覽，將會(huì)打開(kāi)一個(gè)對(duì)話界面進(jìn)行測(cè)試。也可以通過(guò)最后一步使用IAM集成符合SAML 2.0的外部身份提供商（IdP）的方式進(jìn)行部署對(duì)外通過(guò)訪問(wèn)。
測(cè)試結(jié)果如下，確實(shí)如官方文檔所言目前僅支持對(duì)英文文檔進(jìn)行索引，雖然能用多種語(yǔ)言進(jìn)行對(duì)話，但英語(yǔ)對(duì)話的效果最佳。
總結(jié)
Amazon Q旨在改變企業(yè)與數(shù)據(jù)交互的方式。該可以幫助用戶(hù)解答特定于業(yè)務(wù)的問(wèn)題，而不需要手動(dòng)搜索。Amazon Q可以通過(guò)AWS管理控制臺(tái)、公司文檔頁(yè)面、Slack等多個(gè)渠道訪問(wèn)，并保證數(shù)據(jù)隱私和安全。
想象在公司內(nèi)的幾個(gè)場(chǎng)景，一個(gè)新人，想要了解公司的業(yè)務(wù)；A項(xiàng)目現(xiàn)在誰(shuí)負(fù)責(zé)，都有誰(shuí)參與；A項(xiàng)目B業(yè)務(wù)板塊怎么操作，文檔在哪，當(dāng)有了Amazon Q這一切都會(huì)發(fā)生改變。
