熟悉亞馬遜云科技中國峰會的科技發(fā)燒友都知道，峰會第二天的開場主題演講無異于一場“硬核”產(chǎn)品發(fā)布會。
2023年亞馬遜云科技中國峰會的Day2，亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建、亞馬遜云科技全球產(chǎn)品副總裁Matt Wood博士先后奉獻(xiàn)了上下各半場高密度輸出。
“如果把所有這些放在一起機(jī)器學(xué)習(xí)的創(chuàng)新、定制化的芯片，以及利用Amazon Bedrock使用模型，你會發(fā)現(xiàn)‘從未有過如此簡單、低成本的，借助機(jī)器學(xué)習(xí)進(jìn)行代碼構(gòu)建的方式’。”Matt Wood博士談到。
亞馬遜云科技全球產(chǎn)品副總裁Matt Wood博士
在今天，生成式 AI 已經(jīng)在創(chuàng)意、搜索、交互，以及智能決策等方面展示出廣闊的應(yīng)用前景。
陳曉建指出：“面對算力需求井噴所帶來的挑戰(zhàn)，我們通過自研芯片提供更好的性價(jià)比，通過各種豐富的計(jì)算、網(wǎng)絡(luò)、存儲等各種產(chǎn)品的組合應(yīng)對突發(fā)的算力需求，通過Serverless有效降低運(yùn)維的復(fù)雜性，從而簡化算力的使用，全面滿足用戶的多樣化的算力需求。”
亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建
放眼席卷全球的智能化轉(zhuǎn)型和創(chuàng)業(yè)浪潮，與大語言模型與生成式AI相關(guān)的領(lǐng)域依然有著相當(dāng)高的門檻。
而為此，亞馬遜云科技已經(jīng)準(zhǔn)備好了一整套組合拳。
Matt Wood博士對這套組合拳做了詳細(xì)地展開：“首先要提供對一流基礎(chǔ)模型的訪問，第二需要提供安全私密的環(huán)境去定制模型，第三需要通過定制芯片提供低成本和低延遲訪問；第四需要搜尋機(jī)會提升使用體驗(yàn)。”
大語言模型是熱度最高的焦點(diǎn)話題，亞馬遜云科技推出的Amazon Bedrock提供對眾多基礎(chǔ)模型的訪問，具體來說，這項(xiàng)新服務(wù)允許用戶通過 API 訪問來自 AI21 Labs、Anthropic、Stability AI 和亞馬遜的基礎(chǔ)模型。
Amazon Bedrock已經(jīng)成為客戶使用基礎(chǔ)模型構(gòu)建和擴(kuò)展生成式AI應(yīng)用程序的極簡方案，為所有開發(fā)者降低使用門檻。在 Amazon Bedrock上，用戶可以通過可擴(kuò)展、可靠且安全的亞馬遜云科技托管服務(wù)，訪問從文本到圖像的一系列的基礎(chǔ)模型。
亞馬遜云科技自己的Amazon Titan是一系列不同的模型的庫，可實(shí)現(xiàn)文本歸納總結(jié)、搜索結(jié)果嵌入、有害內(nèi)容刪減等，用戶可以非常安全、隱私地對這些模型做優(yōu)化和微調(diào)。
亞馬遜云科技還開發(fā)了基于機(jī)器學(xué)習(xí)的Amazon CodeWhisperer ，它為開發(fā)人員提供代碼生成服務(wù)，支持包括Java、JavaScript和Python等在內(nèi)的15種不同的編程語言。
并且，CodeWhisperer 對個(gè)人用戶完全免費(fèi)。據(jù)介紹，在測試中與未使用CodeWhisperer的參與者相比，使用者完成任務(wù)的速度平均快57%，成功率高27%。
對于亞馬遜云科技在硬件方面的舉措，陳曉建進(jìn)行了詳細(xì)地闡述：針對算力需求緊缺，亞馬遜云科技提供全面深入的基礎(chǔ)設(shè)施能力，包括Intel、AMD、英偉達(dá)，和自研的CPU及加速芯片產(chǎn)品。
陳曉建系統(tǒng)復(fù)盤了亞馬遜云科技自研芯片之路，過往十余年來亞馬遜云科技在芯片領(lǐng)域的投入，也讓其可以從容應(yīng)對突發(fā)的算力需求井噴。
2013年，亞馬遜云科技推出云服務(wù)器虛擬化引擎Amazon Nitro系統(tǒng)，Nitro也是亞馬遜云科技的第一款自研芯片產(chǎn)品，去年亞馬遜云科技推出的第五代Nitro將每瓦性能提高了40%。
如此幅度的提升不容小覷：
實(shí)現(xiàn)了非常輕量級的虛擬化。在此前業(yè)界經(jīng)常看到的虛擬化損耗通常在20-30%之間，Nitro通過硬件虛擬化，整個(gè)性能損耗不到1%；實(shí)現(xiàn)了網(wǎng)絡(luò)和存儲在硬件級別的隔離機(jī)制，導(dǎo)致我們在用戶通信和擁有存儲的數(shù)據(jù)通信的時(shí)候之間是完全隔離的，不會造成互相的干擾；在硬件層面實(shí)現(xiàn)了硬件的加密，任何進(jìn)出Nitro的數(shù)據(jù)包都會進(jìn)行硬件級別的加密，最大限度保證用戶數(shù)據(jù)通信的安全。
亞馬遜云科技Arm架構(gòu)的通用處理器Graviton 3與上一代產(chǎn)品相比，計(jì)算性能提高多達(dá)25%，浮點(diǎn)性能提高多達(dá)2倍，加密工作負(fù)載性能最多加快2倍。第四代產(chǎn)品Gravtion3E則在針對高性能計(jì)算應(yīng)用場景的向量計(jì)算性能上，再提升了35%。
亞馬遜云科技認(rèn)為，未專門針對機(jī)器學(xué)習(xí)優(yōu)化的GPU將難以長期勝任云上機(jī)器學(xué)習(xí)任務(wù)，為此，針對機(jī)器學(xué)習(xí)的兩個(gè)環(huán)節(jié)，亞馬遜云科技分別推出了用于訓(xùn)練的Amazon Trainium芯片和用于推理的Amazon Inferentia芯片。
以HuggingFace BERT模型作為案例來看，基于機(jī)器學(xué)習(xí)訓(xùn)練芯片Trainium的Trn1實(shí)例和通用的GPU實(shí)例對比，在訓(xùn)練的吞吐率上面，單節(jié)點(diǎn)的吞吐率可以提升1.2倍，而多節(jié)點(diǎn)集群的吞吐率可以提升1.5倍，從成本考慮，單節(jié)點(diǎn)成本可以降低1.8倍，集群的成本更是降低了2.3倍。
而增強(qiáng)型Trn1n實(shí)例的網(wǎng)絡(luò)帶寬躍升至1.6Tbps，可將萬余個(gè)Trainium芯片構(gòu)建在一個(gè)超大規(guī)模集群上，實(shí)現(xiàn)對超大模型進(jìn)行并行訓(xùn)練。
2019年推出了第一代用于機(jī)器學(xué)習(xí)的推理芯片Inferentia，所對應(yīng)的實(shí)例Inf1和同樣基于通用GPU的EC2實(shí)例相比，帶來了70%成本的降低；2022年又推出了第二代推理芯片Inferentia2，進(jìn)一步提升了4倍吞吐量，延遲只是之前的1/10，通過優(yōu)化，第二代Inferentia可以大規(guī)模部署復(fù)雜的模型，例如大型語言模型和Diffusion類模型。
Inferentia在設(shè)計(jì)的時(shí)候就考慮到了吞吐率和延遲的優(yōu)化，使得用戶兩者可以“魚與熊掌，兩者兼得”；以自然語言常見的BERT模型為例，In2實(shí)例的吞吐可以提升三倍，延遲降低了8.1倍，而成本只是通用GPU實(shí)例的1/4；以開源模型OPT-30B為例，相比于通用GPU EC2的實(shí)例，In2實(shí)例吞吐率增加了65%，而推理成本則降低了52%，如果用更大的660億參數(shù)的OPT-66B為例，通用GPU已經(jīng)力不從心，但I(xiàn)n2實(shí)例依然可以保持每秒351個(gè)token數(shù)的吞吐量；視覺類模型以Stable Diffusion 2.1的版本為例，Inf2實(shí)例可實(shí)現(xiàn)50%的成本節(jié)約。
自研芯片為云端彈性資源供給提供更大的靈活度，陳曉建介紹：亞馬遜云科技提供600多種不同的計(jì)算實(shí)例，從處理器、網(wǎng)絡(luò)和存儲等各種服務(wù)都能夠與計(jì)算進(jìn)行很好的結(jié)合，以積木的方式搭建出一個(gè)豐富靈活的計(jì)算實(shí)例的資源，滿足多種不同算力的要求。
以存儲為例，數(shù)據(jù)規(guī)模到達(dá)PB級別時(shí)存儲方式變得非常重要，“熱、溫、冷、凍”不同類型的存儲方式，成本和性能都有很大差別。Amazon S3對象存儲提供8種存儲層級，同時(shí)提供智能分層，自動(dòng)選擇最適合的存儲層級。
算力也不是靠無限堆硬件來提升的，在”開源“的同時(shí)”節(jié)流“同樣重要，馬遜云科技在不斷探索如何將云的彈性、敏捷性、按需付費(fèi)的特性發(fā)揮到極致。
陳曉建繼續(xù)展開：在這個(gè)過程中，我們逐步推動(dòng)著云服務(wù)全面邁向Serverless�，F(xiàn)在，亞馬遜云科技已經(jīng)實(shí)現(xiàn)了全棧數(shù)據(jù)服務(wù)的Serverless化，開啟了云服務(wù)全面Serverless的時(shí)代，讓客戶無需預(yù)置或管理基礎(chǔ)設(shè)施，就可以運(yùn)行幾乎任何類型的應(yīng)用程序或后端服務(wù)代碼，幫助客戶最大限度減輕運(yùn)維工作，并增加業(yè)務(wù)敏捷性，更好地應(yīng)對業(yè)務(wù)的各種不確定性。
生成式AI一定會成為長期話題，Matt Wood博士指出：技術(shù)能力往往遵循S曲線。你永遠(yuǎn)不知道你在S曲線上的位置，除非你向后看。希望明年再會的時(shí)候我們能夠回顧一下在S曲線的頭部有哪些新的點(diǎn)，另外我們在未來有哪些展望，我們希望在這個(gè)曲線上漸進(jìn)的推動(dòng)。我們相信明年回頭看的時(shí)候，我們看到我們已經(jīng)達(dá)到了S曲線的頂點(diǎn)，達(dá)到了快速爆發(fā)式發(fā)展的點(diǎn)，有很多的發(fā)明和應(yīng)用。
但這個(gè)話題并不會代表全部，任何企業(yè)的基本盤都是不斷創(chuàng)新。陳曉建針對國內(nèi)出海企業(yè)談到：越來越多的中國企業(yè)在全球大展拳腳，打造全球化的企業(yè)對IT架構(gòu)提出更高要求。亞馬遜云科技提供從中心到邊緣的多種產(chǎn)品的解決方案，包括覆蓋全球的基礎(chǔ)架構(gòu)，以及快速部署穩(wěn)定系統(tǒng)的能力，還有全面支持全球各個(gè)國家和地區(qū)業(yè)務(wù)合規(guī)能力，成為用戶創(chuàng)造堅(jiān)實(shí)底層架構(gòu)的基石。
為此，亞馬遜云科技著力打造快速部署可靠系統(tǒng)的能力，包括：
區(qū)域隔離，多可用區(qū)設(shè)計(jì)：每個(gè)區(qū)域都會有多個(gè)可用區(qū)，任何單一可用區(qū)的故障不會影響到其他可用區(qū)的業(yè)務(wù)，最大限度降低服務(wù)的中斷；控制面和數(shù)據(jù)面解耦：更多地依靠數(shù)據(jù)面來保持服務(wù)運(yùn)行、降低對控制面的依賴，能夠提高整體穩(wěn)定性；蜂窩架構(gòu)：把系統(tǒng)分割成多個(gè)微小的、單一的、相互之間隔離的蜂窩狀單元，能夠在問題出現(xiàn)時(shí)降低爆炸半徑，通過爆炸半徑能夠把故障控制在一個(gè)單元以內(nèi)；隨機(jī)分片：是對蜂窩架構(gòu)的進(jìn)一步優(yōu)化。它把客戶的訪問隨機(jī)分配到不同的單元中，說單個(gè)單元的故障并不會對整個(gè)系統(tǒng)造成影響，還是可以通過其他的單元完成；服務(wù)責(zé)任模型：通過明確定義亞馬遜云科技與客戶責(zé)任區(qū)間的方式，保障客戶在應(yīng)用的任何階段都能享有對所寫代碼和程序的控制權(quán)；運(yùn)營就緒審查：通過對亞馬遜云科技大量運(yùn)營案例進(jìn)行分析，對過往的問題進(jìn)行復(fù)盤，從而用戶在整個(gè)部署的時(shí)候能夠避免重現(xiàn)他們之前所發(fā)生的問題；安全的持續(xù)部署：可以最大限度減少因錯(cuò)誤部署而對生產(chǎn)造成的影響；COE糾錯(cuò)流程：了解問題所發(fā)生時(shí)候的系統(tǒng)狀態(tài)，以防止類似的錯(cuò)誤再次發(fā)生。
陳曉建引用亞馬遜云科技CTO Werner Vogels所說“Everything fails, all the time”。他指出：所有的功能模塊都有可能出故障，我們不能完全避免故障的發(fā)生，但是我們通過努力，把風(fēng)險(xiǎn)降到最低。
Matt Wood博士則強(qiáng)調(diào)了數(shù)據(jù)的重要價(jià)值，以及亞馬遜云科技的三項(xiàng)戰(zhàn)略：
首先，構(gòu)建全面的工具集，滿足現(xiàn)在和未來所需。亞馬遜云科技推出15種專門構(gòu)建的云上托管數(shù)據(jù)庫服務(wù)，為各類用戶的應(yīng)用場景提供完美契合的數(shù)據(jù)服務(wù)；亞馬遜云科技的分析服務(wù)已全面實(shí)現(xiàn)Serverless化，包括交互式查詢服務(wù)Amazon Athena、大數(shù)據(jù)處理服務(wù)Amazon Managed Streaming for Apache Kafka (Amazon MSK)、實(shí)時(shí)分析服務(wù)Amazon Kinesis、數(shù)據(jù)倉庫服務(wù)Amazon Redshift、數(shù)據(jù)集成服務(wù)Amazon Glue、商業(yè)智能服務(wù)Amazon QuickSight以及運(yùn)營分析服務(wù)Amazon OpenSearch Service。
其次，通過輕松集成，連接所有數(shù)據(jù)。亞馬遜云科技提出了Zero-ETL的愿景，致力于實(shí)現(xiàn)無縫的數(shù)據(jù)轉(zhuǎn)換和調(diào)用，而用戶不用編寫任何的代碼。亞馬遜云科技最近推出了Aurora新的服務(wù)Amazon Aurora可以與Amazon Redshift進(jìn)行Zero-ETL集成，允許使用 Amazon Redshift 對來自Aurora的PB級事務(wù)數(shù)據(jù)進(jìn)行近實(shí)時(shí)分析和機(jī)器學(xué)習(xí) (ML)。事務(wù)數(shù)據(jù)在被寫入Aurora后的幾秒鐘內(nèi)，即可用在Amazon Redshift中，因此客戶不必構(gòu)建和維護(hù)復(fù)雜的數(shù)據(jù)管道來執(zhí)行提娶轉(zhuǎn)換和加載 (ETL) 操作。
再次，構(gòu)建端到端的數(shù)據(jù)治理。通過數(shù)據(jù)治理，加速并保障數(shù)據(jù)流通。亞馬遜云科技去年推出的一項(xiàng)全新的數(shù)據(jù)管理服務(wù)Amazon DataZone，可以讓客戶更快、更輕松地對存儲在亞馬遜云科技、客戶本地和第三方來源的數(shù)據(jù)進(jìn)行編目、發(fā)現(xiàn)、共享和治理。借助Amazon DataZone，管理員和數(shù)據(jù)資產(chǎn)管理者可以使用精細(xì)的控制工具管理和治理數(shù)據(jù)訪問權(quán)限，確保數(shù)據(jù)訪問發(fā)生在正確的權(quán)限和正確的情境之下。
演講中，Matt Wood博士引用了科幻作家威廉吉布森的名言“未來已至，只是還沒有均勻分布”。他表示：亞馬遜云科技始終希望將擁有廣闊前景的且令人興奮的技術(shù)提供給每個(gè)人，在云計(jì)算時(shí)代我們提供通過API訪問云上應(yīng)用的快捷訪問，這一愿景不會因?yàn)樯墒紸I的出現(xiàn)而改變，我們希望將這項(xiàng)技術(shù)交到每一個(gè)構(gòu)建者和每一個(gè)商業(yè)用戶的手中。
