2023年亞馬遜云科技re:Invent全球云計(jì)算大會，最引人注目的更新，當(dāng)屬亞馬遜云科技模型的大模型托管服務(wù)——Amazon Bedrock。這次更新該服務(wù)增加了Fine-tuning、Agents、Knowledge Bases、Guardrails等全新功能，旨在幫助客戶更高效、智能、安全地構(gòu)建應(yīng)用。下面就來了解下該服務(wù)的亮點(diǎn)、詳細(xì)使用教程，以及作為開發(fā)者如何快速上手Amazon Bedrock。
Amazon Bedrock的亮點(diǎn)是什么？
有大量的基礎(chǔ)模型(FM)供用戶選擇，功能覆蓋文字生成、聊天、圖片生成等�？蛇x模型也包括了這次最新重磅發(fā)布的Anthropic Claude2.1模型，以及來自其他模型供應(yīng)商共計(jì)19個(gè)模型（下圖），目前支持的供應(yīng)商有AI21 Labs、Meta、Cohere、Stability AI和Amazon自研模型等。
可以在Modality一列中找到適用于自己需求的模型類型，如標(biāo)識了Image的大模型可以用于生成圖片，Text可以用于生成文字，Embedding用于將輸入轉(zhuǎn)為Embedding形式做對象相似性搜索。
可以借助企業(yè)知識庫功能，為FM擴(kuò)展檢索增強(qiáng)生成(RAG)功能。
安全與合規(guī)性：支持用戶賬戶內(nèi)私有化部署、用戶數(shù)據(jù)全生命周期保護(hù)、支持權(quán)限管理和日志與監(jiān)控功能。同時(shí)可以篩選、限制用戶輸入和模型輸出，構(gòu)建負(fù)責(zé)任的AI。
目前所有庫內(nèi)模型都已支持Fine-Tune模型微調(diào)，企業(yè)可以根據(jù)需求定制大模型。無需編寫代碼，通過GUI即可訓(xùn)練和驗(yàn)證模型。
Amazon自研模型Titan Text Express和Titan Text Lite FM已支持Pre-Training，可以對AI模型能力外的某一行業(yè)、新領(lǐng)域知識提供更強(qiáng)大的能力。
成本估算
首先，Bedrock不同模型的單位令牌價(jià)格略有差距其次根據(jù)模型功能劃分計(jì)費(fèi)模式：
文本生成模型按已處理的輸入令牌和生成的輸出令牌計(jì)費(fèi)。文本嵌入模型按已處理的輸入令牌計(jì)費(fèi)。圖像生成模型按生成的圖像計(jì)費(fèi)。
根據(jù)模型吞吐量模式劃分：
-
按需付費(fèi)和批量（多行輸入）付費(fèi)：這兩種模式只需按實(shí)際用量付費(fèi)，無需承諾使用期限。
-
預(yù)配置吞吐量：利用該模式可以預(yù)設(shè)指定模型的單元用量，時(shí)間范圍可選1-6個(gè)月，通過該模式可以提供模型穩(wěn)定的性能表現(xiàn)，同時(shí)大幅降低使用成本。
-
模型自定義：使用自定義模型推理需要采購預(yù)配置吞吐量，若無承諾時(shí)間，按1個(gè)模型單元付費(fèi)。如果想要吞吐量達(dá)到1個(gè)模型單元以上，需要配置承諾時(shí)間。
如何打開Bedrock并申請使用模型？
進(jìn)入操作臺Console，打開Bedrock。
主頁點(diǎn)擊”Get Started”。
點(diǎn)擊”Base Model”查看所有的基礎(chǔ)模型。
如果想在賬戶中開啟新的模型，如Claude 2.1。點(diǎn)擊左側(cè)”Model Access”，再點(diǎn)擊右上角”Manage Access”，申請并開啟模型。
在模型申請界面，選擇想要使用的模型，再點(diǎn)擊左下角確認(rèn)即可生效。
如何在Bedrock中使用模型做內(nèi)容生成？
文字生成
點(diǎn)擊模型場景，并選擇模型。
選擇想要使用的具體模型以及吞吐量模式。
在文字框中輸入問題并點(diǎn)擊Play生成回復(fù)。用戶可以調(diào)整輸出內(nèi)容長度，輸出隨機(jī)度、Top P采樣概率等參數(shù)，下圖是生成一個(gè)使用教程的場景。
聊天對話
點(diǎn)擊模型場景，并選擇模型。
選擇想要使用的具體模型以及吞吐量模式。
在文字框中輸入問題并點(diǎn)擊Run開始聊天。用戶可以調(diào)整輸出內(nèi)容長度，輸出內(nèi)容隨機(jī)度等參數(shù)，下圖是一個(gè)聊天的場景的例子。
圖片生成
點(diǎn)擊模型場景，并選擇模型。
選擇想要使用的具體模型以及吞吐量模式。
在文字框中描述想生成的圖片形式，并點(diǎn)擊Run開始生成。在右側(cè)可以配置圖片生成模式、輸出內(nèi)容限制、生成圖片尺寸/分辨率/尺寸、數(shù)量等，下圖是一個(gè)生成圖片場景的例子。
如何利用Amazon Bedrock
構(gòu)建負(fù)責(zé)任的AI
在re:Invent 2023中，亞馬遜云科技CEO Adam同時(shí)發(fā)布了Amazon Bedrock的新功能Guardrails for Amazon Bedrock，用戶可以利用該服務(wù)定義符合企業(yè)要求的AI模型回復(fù)安全策略，對用戶輸入和模型輸出中不合規(guī)內(nèi)容限制和篩選，從而構(gòu)建負(fù)責(zé)任的AI。
Guardrails for Amazon Bedrock目前支持三項(xiàng)控制功能，大家通過控制臺配置該服務(wù)。
Denied Topics
第一項(xiàng)控制功能就是通過定義禁止的話題，限制AI模型不合規(guī)的輸出。圖2-3就舉了一個(gè)銀行助手應(yīng)用的場景。在該場景中，我們不想讓AI模型回復(fù)和投資建議相關(guān)的話題。
此時(shí)我們需要添加禁止話題”Investment advice”，并添加話題具體的描述，讓AI模型更好的理解我們的要求。
當(dāng)用戶問被限制的投資建議相關(guān)問題時(shí)，在下圖中模型返回默認(rèn)回復(fù)”無法回復(fù)”。
Content Filter
第二項(xiàng)控制功能是對模型輸入、輸出的內(nèi)容中限制不良內(nèi)容，并提供限制程度設(shè)定�？梢院Y選的不良內(nèi)容包括：hate、insults、sexual和violence，可選擇的程度有None、Low、Medium、High。值得注意的是Bedrock中的模型已經(jīng)對上述不良內(nèi)容做過限制，該控制可以進(jìn)一步加強(qiáng)對不良內(nèi)容的篩選，以滿足企業(yè)內(nèi)部更高標(biāo)準(zhǔn)的AI輸出內(nèi)容限制策略。
PII脫敏(即將上線)
第三項(xiàng)控制功能就是通過定義PII類型，常用的如姓名、電話、地址、郵箱、ID等，限制用戶輸入PII信息，或者在模型輸出內(nèi)容中將PII信息脫敏、移除。
該如何學(xué)習(xí)Amazon Bedrock?
說到學(xué)習(xí)Amazon Bedrock，快速上手AI大模型，學(xué)習(xí)目前最前沿的AI技術(shù)。亞馬遜云科技官方的免費(fèi)課程平臺Skill Builder，該平臺不僅包括超過600多門的在線課程幫助大家學(xué)習(xí)云服務(wù)，還包含了亞馬遜云科技認(rèn)證的備考課程、動(dòng)手實(shí)驗(yàn)和練習(xí)題，幫助大家更容易地考取高含金量的云計(jì)算技能認(rèn)證，為職場加速。
目前Skill Builder上已經(jīng)上線了免費(fèi)的中文版Amazon Bedrock學(xué)習(xí)課程，只需要1個(gè)小時(shí)，就能快速掌握Amazon Bedrock的理論知識、應(yīng)用場景和實(shí)操步驟，中文課程更好的幫助小伙伴們掌握該服務(wù)，快速將AI技術(shù)應(yīng)用于自己的工作中。該課程主要覆蓋如下內(nèi)容：
-
了解Amazon Bedrock的工作原理。
-
熟悉Amazon Bedrock的基本概念。
-
認(rèn)識Amazon Bedrock的優(yōu)勢。
-
列出Amazon Bedrock的典型使用案例。
-
介紹與Amazon Bedrock解決方案相關(guān)的典型架構(gòu)。
-
了解Amazon Bedrock的成本結(jié)構(gòu)。
-
在亞馬遜云科技管理控制臺中進(jìn)行Amazon Bedrock的演示。
