如果你是一家電商企業(yè)，只要告訴Amazon Bedrock Agents，它是一個(gè)要幫客戶退貨的客服代表，就可以快速構(gòu)建一個(gè)退換貨的客服系統(tǒng)。

如果你是企業(yè)的IT人員，只需用自然語(yǔ)言描述工作負(fù)載的需求，Amazon Q就像一個(gè)云計(jì)算專(zhuān)家，可以告訴你什么樣的EC2實(shí)例更適合自身業(yè)務(wù)。

當(dāng)很多人認(rèn)為云計(jì)算只是為生成式AI提供基礎(chǔ)設(shè)施底座時(shí)，在2023年re:Invent峰會(huì)上，亞馬遜云科技的一系列重磅發(fā)布，預(yù)示著這家云計(jì)算巨頭已經(jīng)將生成式AI嵌入到越來(lái)越多云服務(wù)中，幫助企業(yè)在云上便捷、快速地構(gòu)建生成式AI應(yīng)用。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理 陳曉建

一方面，Anthropic、Stability AI這樣的頭部科技公司始終需要更高效更具性?xún)r(jià)比的生成式AI基礎(chǔ)設(shè)施。另一方面，更多企業(yè)需要的不是通用的基礎(chǔ)大模型，而是如何更快開(kāi)始借助生成式AI進(jìn)行業(yè)務(wù)創(chuàng)新，加速應(yīng)用落地。

面對(duì)這些差異化的需求，亞馬遜云科技都能滿足，這種能力來(lái)自其最新升級(jí)的全棧生成式AI三層架構(gòu)。

最底層是用于基礎(chǔ)模型訓(xùn)練和推理的基礎(chǔ)設(shè)施，包括芯片、軟件、網(wǎng)絡(luò)環(huán)境等。

中間層是構(gòu)建生成式AI的工具層，包括提供豐富的基礎(chǔ)大模型選擇的Amazon Bedrock平臺(tái)和Guardrails、Agents等。

最上層是開(kāi)箱即用的應(yīng)用程序，包括企業(yè)級(jí)生成式AI助手Amazon Q、Amazon CodeWhisperer等。

覆蓋硬件、軟件、網(wǎng)絡(luò)環(huán)境的基礎(chǔ)設(shè)施底座

在生成式AI的芯片布局中，亞馬遜云科技堅(jiān)持開(kāi)放合作和自研芯片兩大策略。

“今年re:Invent上可以看到我們?cè)谂Φ厥棺约撼蔀樵粕咸峁┯ミ_(dá)GPU最好的云計(jì)算廠商。”亞馬遜云科技大中華區(qū)基礎(chǔ)設(shè)施產(chǎn)品技術(shù)總監(jiān)郭峰向媒體表示。

亞馬遜云科技始終保持著在云上用英偉達(dá)芯片進(jìn)行AI創(chuàng)新的領(lǐng)先地位。今年早些時(shí)候，亞馬遜云科技是全球第一家將英偉達(dá)H100 GPU和Amazon EC2 P5實(shí)例推出市場(chǎng)的主要云服務(wù)商。

在re:Invent2023，亞馬遜云科技與英偉達(dá)的合作進(jìn)一步升級(jí)。

亞馬遜云科技是首家將全新超級(jí)芯片GH200導(dǎo)入云計(jì)算的云服務(wù)商，首款使用英偉達(dá)最新芯片GH200 NVL32 的英偉達(dá)DGX云即將登陸亞馬遜云科技。同時(shí)，雙方還將開(kāi)展“Project Ceiba”合作項(xiàng)目，它將配備1.6萬(wàn)個(gè)英偉達(dá)GH200超級(jí)芯片，并結(jié)合亞馬遜云科技高性能網(wǎng)絡(luò)傳輸服務(wù)EFA與虛擬化芯片Nitro，能夠達(dá)到65 ExaFLOPS的性能，將成為全球最快、基于GPU的AI超級(jí)計(jì)算機(jī)。

自研芯片方面，今年新推出了新一代通用芯片Amazon Graviton4和訓(xùn)練芯片Amazon Trainium2。

Amazon Graviton4的創(chuàng)新可以參考智能進(jìn)化論此前文章《云上算力進(jìn)化無(wú)止境，Amazon Graviton4已出發(fā)》。

相比上代產(chǎn)品，Amazon Trainium2性能提升了四倍，特別針對(duì)于千億甚至萬(wàn)億參數(shù)的大模型訓(xùn)練做了調(diào)優(yōu)。Anthropic 正計(jì)劃用 Amazon Trainium2 芯片構(gòu)建模型。

Amazon Graviton芯片的應(yīng)用越來(lái)越廣泛，涵蓋了Web服務(wù)、數(shù)據(jù)庫(kù)應(yīng)用、大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)。

由于廣泛的應(yīng)用場(chǎng)景，Amazon Graviton已被全球范圍各行各業(yè)的客戶用來(lái)降本增效。

全球知名廣告服務(wù)商FreeWheel在廣告推薦場(chǎng)景中廣泛使用Amazon Graviton3的實(shí)例，在相同成本下，得益于CPU性能的提升，Amazon Graviton3的工作負(fù)載量增加了30%。知名游戲公司Habby采用Amazon Graviton3實(shí)例，實(shí)現(xiàn)性能提升25%。

在算力之外，軟件與網(wǎng)絡(luò)環(huán)境也是制約大模型訓(xùn)練推理效率的瓶頸。亞馬遜云科技UltraClusters、EFA、Neuron為更高性能的AI訓(xùn)練提供保障。

EC2 UltraClusters是一種超大規(guī)模集群，由高性能計(jì)算、網(wǎng)絡(luò)和云存儲(chǔ)組成。每個(gè) EC2 UltraCluster 都是一臺(tái)強(qiáng)大的超級(jí)計(jì)算機(jī)，使客戶能夠在多個(gè)系統(tǒng)上運(yùn)行最復(fù)雜的 AI 訓(xùn)練和分布式 HPC 工作負(fù)載。

高性能網(wǎng)絡(luò)傳輸服務(wù)Amazon EFA提供了高達(dá)3.2T的網(wǎng)絡(luò)互聯(lián)能力，客戶可以在單個(gè)集群中部署多達(dá)兩萬(wàn)個(gè)GPU芯片的超級(jí)規(guī)模集群，提供相當(dāng)于20個(gè)ExaFLOPS的集成能力，等同于一臺(tái)超級(jí)計(jì)算機(jī)。

數(shù)據(jù)是決定生成式AI應(yīng)用差異化的關(guān)鍵

在全棧生成式AI架構(gòu)中，中間層是以Amazon Bedrock為代表的工具層。

Amazon Bedrock可以讓用戶通過(guò)API的方式調(diào)用豐富的基礎(chǔ)大模型。目前，Amazon Bedrock支持的最新基礎(chǔ)大模型包括200K標(biāo)記上下文窗口的Claude2.1模型、70B的Llama 2大語(yǔ)言模型等。

數(shù)據(jù)是決定生成式AI應(yīng)用差異化優(yōu)勢(shì)的關(guān)鍵因素。如何將企業(yè)自身數(shù)據(jù)與基礎(chǔ)模型能力更好地結(jié)合？亞馬遜云科技推出三種基于基礎(chǔ)模型進(jìn)行差異化定制的能力：

首先，對(duì)基礎(chǔ)模型的微調(diào)。

目前，Amazon Bedrock對(duì)Cohere Command Lite，Meta Llama 2, Amazon Titan Text Lite & Express的微調(diào)能力已經(jīng)發(fā)布，針對(duì)Anthropic Claude的微調(diào)能力即將推出。

其次，基于檢索增強(qiáng)生成(RAG)能力打造企業(yè)的內(nèi)部知識(shí)庫(kù)。

目前，內(nèi)部知識(shí)庫(kù)依然是企業(yè)客戶應(yīng)用生成式AI的核心場(chǎng)景之一。今年推出的Amazon Knowledge Base服務(wù)可以快速搭建知識(shí)庫(kù)類(lèi)應(yīng)用，它原生支持檢索增強(qiáng)生成，并支持多種類(lèi)型的向量數(shù)據(jù)庫(kù)。

第三，如果企業(yè)有大量的私域數(shù)據(jù)，可以基于云上基礎(chǔ)模型做持續(xù)的預(yù)訓(xùn)練。

新推出的Amazon Titan Text Lite和Express，更適合企業(yè)客戶對(duì)行業(yè)模型、場(chǎng)景模型進(jìn)行預(yù)訓(xùn)練。

在構(gòu)建工具層，今年亞馬遜云科技一個(gè)重磅發(fā)布就是可以幫助企業(yè)快速創(chuàng)建生成式 AI 應(yīng)用程序的工具Amazon Bedrock Agents。它可以跨公司系統(tǒng)和數(shù)據(jù)源執(zhí)行多步驟任務(wù)，開(kāi)發(fā)者只需點(diǎn)擊幾下，就能創(chuàng)建完全托管的 Agents。

以電商退貨場(chǎng)景為例，Amazon Bedrock Agents會(huì)通過(guò)自己的推理能力來(lái)分析和規(guī)劃任務(wù)，自動(dòng)推算出如果要做退貨，后臺(tái)需要經(jīng)過(guò)幾個(gè)步驟，需要調(diào)用哪些API，什么時(shí)候開(kāi)始調(diào)用。然后它就會(huì)執(zhí)行這個(gè)計(jì)劃，采取措施、搜集信息來(lái)完成任務(wù)。整個(gè)過(guò)程都是自動(dòng)執(zhí)行的，大大加速了創(chuàng)建生成式 AI 應(yīng)用的進(jìn)程。

在數(shù)據(jù)安全方面，客戶的任何數(shù)據(jù)都不會(huì)用于訓(xùn)練底層模型。所有數(shù)據(jù)在傳輸和靜態(tài)時(shí)均經(jīng)過(guò)加密，用于自定義模型的數(shù)據(jù)將保留在客戶的VPC內(nèi)。安全監(jiān)管產(chǎn)品Guardrails for Amazon Bedrock，可以根據(jù)應(yīng)用程序需求和政策定制保障措施，阻止生成式AI應(yīng)用程序中不需要的話題，根據(jù)AI策略過(guò)濾有害內(nèi)容。

提升各個(gè)角色生產(chǎn)力的專(zhuān)家助手

在生成式AI應(yīng)用層，企業(yè)級(jí)生成式AI助手Amazon Q是最重磅的新產(chǎn)品。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建介紹，目前Amazon Q有四大應(yīng)用場(chǎng)景，今后更多的亞馬遜云科技的云服務(wù)內(nèi)嵌到Amazon Q的能力。

第一， 作為亞馬遜云科技的專(zhuān)家，幫助開(kāi)發(fā)人員更好地選擇和使用云服務(wù)。

用戶可以用自然語(yǔ)言詢(xún)問(wèn)Amazon Q任何關(guān)于亞馬遜科技產(chǎn)品的相關(guān)問(wèn)題，比如什么樣的EC2實(shí)例更匹配自己的工作負(fù)載，或了解故障發(fā)生的原因和解決辦法。

在亞馬遜云科技內(nèi)部，某團(tuán)隊(duì)通過(guò)使用Amazon Q，短短兩天之內(nèi)就把一千多項(xiàng)應(yīng)用做了Java的升級(jí)，把Java底層版本從Java8升級(jí)到了Java17。

陳曉建還舉例說(shuō)，如果用戶想把今年re:Invent的眾多視頻從YouTube上下載，通過(guò)Amazon Transcribe把視頻文字摘取出來(lái)，然后通過(guò)翻譯服務(wù)把文字從英文轉(zhuǎn)成中文。只要一條簡(jiǎn)單的自然語(yǔ)言指令，Amazon Q就可以幫助我們生成相應(yīng)的代碼，去完成所有上述一系列操作。

第二， 幫助業(yè)務(wù)人員更高效地完成工作。

Amazon Q目前可以連接40多種流行的數(shù)據(jù)源，包括像Amazon S3、Google Drive、Microsoft 365、Gmail、Salesforce、ServiceNow、Slack等，可以為員工的業(yè)務(wù)問(wèn)題提供答案。Amazon Q而且嚴(yán)格遵守訪問(wèn)控制全新，僅返回用戶角色授權(quán)可以查看的信息。

第三， 更強(qiáng)的商業(yè)智能BI能力。

將Amazon Q的能力嵌入商業(yè)智能工具Amazon QuickSight，可以獲得更智能的BI能力。用戶僅需通過(guò)自然語(yǔ)言提問(wèn)，就可以自動(dòng)化生成業(yè)務(wù)分析圖表，輔助用戶做出更精準(zhǔn)的商業(yè)決策。

第四，將生成式AI能力嵌入云呼叫中心Amazon Connect。

Amazon Connect中的Amazon Q可以深入了解客戶意圖，根據(jù)實(shí)時(shí)的客戶問(wèn)題為坐席提供建議和行動(dòng)，幫助坐席在與客戶實(shí)時(shí)溝通中做出準(zhǔn)確的響應(yīng)和行動(dòng)，為客戶提供更快速、更準(zhǔn)確的支持。

寫(xiě)在最后

可以看出，亞馬遜云科技推出的全棧生成式AI架構(gòu)，為生成式AI時(shí)代各個(gè)角色的參與者都提供了相對(duì)應(yīng)的解決方案，無(wú)論是開(kāi)發(fā)者、架構(gòu)師、IT人員，或是對(duì)大模型相關(guān)技術(shù)并不了解、只是想使用生成式AI的業(yè)務(wù)人員。

這也驗(yàn)證了在生成式AI時(shí)代，云服務(wù)商兼具基礎(chǔ)設(shè)施底座和加速應(yīng)用構(gòu)建的多重價(jià)值。

“生成式AI正在以意想不到的方式提升人類(lèi)的生產(chǎn)力，同時(shí)也在激發(fā)人類(lèi)的智慧和創(chuàng)造力，我相信未來(lái)生成式AI和各行各業(yè)業(yè)務(wù)的結(jié)合會(huì)充滿著無(wú)限的可能性。”陳曉建分享道。

本文為「智能進(jìn)化論」原創(chuàng)作品。