智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影
智東西5月31日報道，5月29日-30日，亞馬遜云科技中國峰會在上海舉行。峰會第二日，亞馬遜云科技大中華區(qū)產(chǎn)品總經(jīng)理陳曉建分享了構(gòu)建和應(yīng)用生成式AI的多款創(chuàng)新產(chǎn)品；亞馬遜云科技大中華區(qū)解決方案架構(gòu)總經(jīng)理代聞以橋梁設(shè)計做精巧比喻，從三個方向分享生成式AI時代下架構(gòu)的演進(jìn)與迭代。
企業(yè)開展生成式AI應(yīng)用落地的過程中面臨新的挑戰(zhàn)，主要體現(xiàn)在：1）底層算力資源短缺；2）缺乏合適的工具，用于訪問和部署世界一流模型，從而進(jìn)行端到端的生成式AI應(yīng)用構(gòu)建；3）缺少匹配自身需求的，可開箱即用快速上手的應(yīng)用。
為了助力企業(yè)生成式AI應(yīng)用落地，亞馬遜云科技打造三層生成式AI技術(shù)棧：
1）底層是以GPU和自研芯片為代表的基礎(chǔ)設(shè)施，用于基礎(chǔ)模型的訓(xùn)練以及在生產(chǎn)環(huán)境中運(yùn)行推理；
2）中間層是以Amazon Bedrock為代表的，提供可以訪問所需基礎(chǔ)模型，以及構(gòu)建和擴(kuò)展生成式AI應(yīng)用程序的工具；
3）頂層則是以Amazon Q為代表的，利用基礎(chǔ)模型構(gòu)建的開箱即用的生成式AI應(yīng)用程序，用戶無需任何專業(yè)知識即可快速上手生成式AI。
一、技術(shù)棧底層：聯(lián)手英偉達(dá)構(gòu)建AI超算，上線零一萬物、百川智能基礎(chǔ)模型
亞馬遜云科技大中華區(qū)產(chǎn)品總經(jīng)理陳曉建談道，生成式AI應(yīng)用開始于基礎(chǔ)模型的訓(xùn)練和推理，這兩種工作負(fù)載對算力有大量需求，也是限制企業(yè)模型開發(fā)步伐的關(guān)鍵制約因素。
為了幫助企業(yè)降低經(jīng)濟(jì)壓力，亞馬遜云科技推出了一系列專門構(gòu)建的、高性價比的芯片和計算實例供企業(yè)選擇，用于運(yùn)行模型的訓(xùn)練和推理工作負(fù)載。
今天的模型規(guī)模需要分布式的調(diào)度以及相應(yīng)的存儲和網(wǎng)絡(luò)的性能。以訓(xùn)練500億參數(shù)量的模型為例，需要提供1T（1萬億）token的數(shù)據(jù)量，如果用一張A100的GPU需要74年的時間才能完成，而用2048張GPU則只需要13天。Stability AI訓(xùn)練Stable Diffusion用了4000張A100 GPU，而Meta訓(xùn)練Llama 3則使用了超過16000張A100 GPU。
算法工程師通過分布式訓(xùn)練的技術(shù)，同時使用數(shù)千張甚至上萬張的GPU卡來訓(xùn)練基礎(chǔ)模型，需要更好的卡到卡之間，實例到實例之間的高帶寬來降低通信延遲，提高GPU利用率，進(jìn)而縮短整個集群的訓(xùn)練時間。
Amazon?UltraCluster提供了超大規(guī)模、超高帶寬以及超高穩(wěn)定的高性能計算集群，F(xiàn)Sx for Lustre和S3提供了高性能存儲的穩(wěn)定方案。
基于英偉達(dá)全新GPU資源的系列實例建立在亞馬遜云科技的高性能存儲和網(wǎng)絡(luò)服務(wù)基礎(chǔ)之上，支持廣泛的編排選項和開源框架，通過EFA網(wǎng)絡(luò)，允許企業(yè)配置高達(dá)2萬個GPU的超級集群來支持最大工作負(fù)載。
Project Ceiba項目是亞馬遜云科技為英偉達(dá)構(gòu)建的AI超級計算機(jī)，由英偉達(dá)和亞馬遜云科技聯(lián)合開發(fā)，搭載了超過2萬個英偉達(dá)Grace架構(gòu)的Blackwell GB200超級芯片和亞馬遜云科技第四代EFA網(wǎng)絡(luò)。每個超級芯片可提供高達(dá)800Gbps的網(wǎng)絡(luò)帶寬，其算力將能達(dá)到驚人的414Exaflops。
基于英偉達(dá) A10G GPU的Amazon EC2 G5實例在中國區(qū)正式可用，性能達(dá)到Amazon EC2?G4DN的3倍，推理性價比提高了40%。
過去5年，亞馬遜云科技在定制芯片領(lǐng)域的投資帶來了機(jī)器學(xué)習(xí)訓(xùn)練和推理成本的大幅下降。其中，基于Amazon Trainium的Trn1 EC2實例和基于Amazon Inferentia芯片的Inf2 EC2實例，與基于英偉達(dá)GPU的Amazon EC2實例相比，可分別將訓(xùn)練成本降低高達(dá)50%，推理成本降低高達(dá)40%。
訓(xùn)練和推理也需要合適的軟件工具。亞馬遜云科技推出了Amazon SageMaker托管機(jī)器學(xué)習(xí)服務(wù)，幫助企業(yè)輕松構(gòu)建、訓(xùn)練、微調(diào)和部署模型。
亞馬遜云科技宣布來自零一萬物的Yi-1.5 6B/9B/34B的基礎(chǔ)模型在中國區(qū)域正式上線SageMaker Jumpstart，同時來自百川智能的Baichuan-2 7B基礎(chǔ)模型也即將上線中國區(qū)域的SageMaker Jumpstart，為開發(fā)生成式AI應(yīng)用提供更多基礎(chǔ)模型選擇。
Amazon SageMaker JumpStart是Amazon SageMaker的一項重要服務(wù)，可幫助客戶獲取、微調(diào)和部署來自業(yè)界最新公開的可用預(yù)訓(xùn)練基礎(chǔ)模型，包括Meta Llama 3、Cohere Command等。
該服務(wù)還為機(jī)器學(xué)習(xí)從業(yè)者提供深度模型定制和評估功能，允許其通過已經(jīng)使用的環(huán)境輕松訪問基礎(chǔ)模型。
此外，Amazon SageMaker HyperPod正式可用，專門助力大規(guī)模分布式訓(xùn)練，能夠?qū)⒂?xùn)練模型的時間減少多達(dá)40%。
二、技術(shù)棧中間層：用基礎(chǔ)模型加速應(yīng)用構(gòu)建，四大價值讓生成式AI觸手可及
技術(shù)棧的中間層對于大部分企業(yè)來說更加重要，構(gòu)建生成式AI應(yīng)用通常是從選用既有的基礎(chǔ)模型開始，而不是直接參與構(gòu)建基礎(chǔ)模型。
所以如何選擇更加適合自身業(yè)務(wù)的模型，便成為了企業(yè)首先需要作答的問題。
在模型選擇方面，Amazon Bedrock是一項全面托管的服務(wù)，用戶可通過單一的API訪問來自Al21 Labs、Anthropic、Cohere、Meta、Mistral Al、Stability AI和亞馬遜等領(lǐng)先AI公司的高性能基礎(chǔ)模型。
值得一提的是最新推出的亞馬遜云科技自研Embedding模型Amazon Titan Text Embeddings V2模型，針對檢索增強(qiáng)生成（RAG）工作流程進(jìn)行了優(yōu)化。
另一款最新推出的Titan Text Premier基礎(chǔ)模型，是Titan Text系列中先進(jìn)的型號，旨在為各種企業(yè)應(yīng)用程序提供卓越的性能，并對RAG及Agent提供了專門優(yōu)化，提供了更高的準(zhǔn)確性。
為了幫助企業(yè)選擇合適的模型，亞馬遜云科技正式推出了Amazon Bedrock模型評估功能，可將模型評估時間從數(shù)個星期壓縮至幾個小時。
在模型定制方面，Amazon Bedrock支持企業(yè)自定義模型的導(dǎo)入。企業(yè)可將基于Amazon SageMaker或其他工具開發(fā)的存儲在Amazon S3里面的定制模型導(dǎo)入到Amazon Bedrock中，以完全托管的API形式進(jìn)行訪問，而無需管理底層基礎(chǔ)設(shè)施。
目前Amazon Bedrock自定義模型導(dǎo)入已提供預(yù)覽版，支持Llama、Mistral、Flan-T5三種流行的開放模型架構(gòu)，同時還將在未來進(jìn)一步擴(kuò)展支持范圍。
從數(shù)據(jù)準(zhǔn)備到數(shù)據(jù)運(yùn)用，亞馬遜云科技打造了一套全面的數(shù)據(jù)服務(wù)體系，涵蓋數(shù)據(jù)庫、數(shù)據(jù)湖、數(shù)據(jù)治理、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和生成式AI五大維度。
該體系可以幫助企業(yè)連接現(xiàn)有的數(shù)據(jù)源，定制面向生成式AI應(yīng)用構(gòu)建的高質(zhì)量企業(yè)數(shù)據(jù)資源，配合Amazon Bedrock提供的微調(diào)、持續(xù)預(yù)訓(xùn)練、RAG等功能，打造與企業(yè)業(yè)務(wù)相關(guān)的生成式AI應(yīng)用。
為了進(jìn)一步幫助企業(yè)使用RAG技術(shù)優(yōu)化模型的個性化響應(yīng)，亞馬遜云科技正式推出了 完全托管的Amazon Bedrock知識庫功能。
該功能支持企業(yè)使用上下文相關(guān)的內(nèi)部數(shù)據(jù)自定義基礎(chǔ)模型響應(yīng)。Amazon Bedrock上的知識庫會自動執(zhí)行端到端的RAG工作流程，使用者無需編寫自定義代碼來集成數(shù)據(jù)源和管理查詢。
在應(yīng)用集成方面，Amazon Bedrock的Agent功能提供了一種工具，支持開發(fā)人員定義特定的任務(wù)、工作流程或決策過程，增強(qiáng)控制和自動化，同時確保與預(yù)期用例保持一致。
Agents for Amazon Bedrock現(xiàn)已支持Claude 3 Sonnet和Haiku模型。
亞馬遜云科技還提供了一站式生成式AI應(yīng)用開發(fā)工作站Amazon Bedrock Studio。借助這一工作站，開發(fā)者可以使用簡單易用的交互界面進(jìn)行模型選擇、模型評估，還可以與團(tuán)隊成員協(xié)作，共同試驗，創(chuàng)建和完善生成式AI應(yīng)用。
在負(fù)責(zé)任的AI方面，亞馬遜云科技承諾以負(fù)責(zé)任的方式構(gòu)建服務(wù)，同時重點(diǎn)考慮公正性、隱私性和安全性、可解釋性、可治理性、穩(wěn)健性、透明性6大方面。
企業(yè)在構(gòu)建生成式AI應(yīng)用程序時，通常希望其客戶和應(yīng)用之間的交互是安全并遵守企業(yè)指導(dǎo)方針的。對此，亞馬遜云科技推出了Amazon Bedrock的Guardrails功能，可幫助企業(yè)輕松實施生成式AI應(yīng)用程序的保護(hù)措施，并根據(jù)自身需求和負(fù)責(zé)任AI政策進(jìn)行定制。
同Amazon Bedrock上基礎(chǔ)模型原生提供的保護(hù)能力相比，Amazon Bedrock的Guardrails功能可幫助企業(yè)用戶阻止多達(dá)85%的有害內(nèi)容。
三、技術(shù)棧上層：開箱即用的生成式AI應(yīng)用
亞馬遜云科技構(gòu)建的生成式AI助手Amazon Q可幫助企業(yè)達(dá)成加速軟件開發(fā)、發(fā)揮業(yè)務(wù)數(shù)據(jù)價值等目標(biāo)。
目前，Amazon Q Developer、Amazon Q Business、Amazon Q in Connect、Amazon Q in QuickSight均已正式可用。
Amazon Q Developer可協(xié)助開發(fā)人員完成從編碼、測試、升級應(yīng)用到故障排查、安全掃描和修復(fù)、優(yōu)化云資源等繁瑣重復(fù)的工作，讓開發(fā)者把更多時間專注于創(chuàng)新體驗的開發(fā)，加快應(yīng)用部署速度。
在實際應(yīng)用中，Amazon Q Developer共包含3大核心應(yīng)用場景：1）大規(guī)模消除技術(shù)冗余；2）提高開發(fā)人員生產(chǎn)力；3）近乎實時生成代碼建議和推薦，幫助開發(fā)人員更快、更安全地進(jìn)行構(gòu)建。
為了幫助企業(yè)發(fā)揮大量難以訪問和解析的數(shù)據(jù)的價值，亞馬遜云科技推出了具有從任意數(shù)據(jù)中獲取洞見能力的Amazon Q Business。
通過它，企業(yè)員工可以通過連接企業(yè)數(shù)據(jù)庫，來提問關(guān)于公司政策、產(chǎn)品信息、業(yè)務(wù)結(jié)果、代碼庫、人員等諸多問題，從而總結(jié)數(shù)據(jù)邏輯、分析趨勢并就數(shù)據(jù)進(jìn)行對話。
Amazon Q Business有四大應(yīng)用場景：統(tǒng)一的對話檢索式體驗、生成總結(jié)與提煉關(guān)鍵發(fā)現(xiàn)、提升內(nèi)容創(chuàng)作的效率、簡化任務(wù)流程。
Amazon Q Business中的Amazon Q Apps功能公開預(yù)覽。借此創(chuàng)建應(yīng)用程序非常簡單，員工可以用自然語言描述他們想要的應(yīng)用程序類型，或者只需告訴Amazon Q Apps從Amazon Q幫助解決問題的對話中執(zhí)行即可。
Amazon Q Developer 和 Amazon Q Business截止到6月30號免費(fèi)試用。
四、亞馬遜云科技全方位助力人才成長，三大力量驅(qū)動架構(gòu)創(chuàng)新
亞馬遜云科技計劃到2025年向全球2900萬人提供免費(fèi)培訓(xùn)，而目前已經(jīng)有2100萬人受益。
為了讓更多的開發(fā)者有機(jī)會低門檻體驗到前沿的生成式AI服務(wù)，亞馬遜云科技推出了云上探索實驗室CloudLab平臺。開發(fā)者不需要注冊賬號、不需要購買云資源，只需掃碼進(jìn)入云上探索實驗室，即可在24小時之內(nèi)盡情構(gòu)建。
同時，亞馬遜云科技還為中國開發(fā)者量身定做了“從基礎(chǔ)到應(yīng)用：LLM 全景培訓(xùn)”課程。
生成式AI時代，構(gòu)建應(yīng)用有什么不一樣的方法？有何種新的架構(gòu)趨勢？
亞馬遜云科技大中華區(qū)解決方案架構(gòu)總經(jīng)理代聞?wù)f，技術(shù)架構(gòu)演進(jìn)過程里面不變的三個主題需求——基礎(chǔ)組件能力，架構(gòu)體系創(chuàng)新，多元技術(shù)融合。
代聞從橋梁發(fā)展歷程入手，提出橋梁的發(fā)展和構(gòu)建是由基礎(chǔ)材料，建筑架構(gòu)和多元化需求三者共同作用的結(jié)果，而技術(shù)的發(fā)展往往也是如此。
最基礎(chǔ)的組件，例如材料、技術(shù)往往決定了能采用的架構(gòu)。對于信息技術(shù)來說，最基礎(chǔ)的材料就是算力。
云計算的最基礎(chǔ)組件是計算、存儲和網(wǎng)絡(luò)，其中又以計算作為最核心的組件。
自2006年推出Amazon EC2服務(wù)以來，Amazon EC2從最初的70種實例類型增長到超過750種，亞馬遜云科技在虛擬化技術(shù)和硬件加速方面正持續(xù)進(jìn)步。
亞馬遜云科技已發(fā)布五代Nitro芯片。Nitro提供了一個隔離的敏感數(shù)據(jù)處理環(huán)境Nitro Enclaves，可以為客戶自己的實例帶來額外的隔離，保護(hù)正在使用的數(shù)據(jù)免受任何未經(jīng)授權(quán)的訪問，即使是來自客戶管理員級別的用戶。
在自研處理器方面，從2018年的Amazon Graviton到2023年的Amazon Graviton4，每一代的Graviton都會上一代有兩位數(shù)的性能提升，并且單位算力的功耗在不斷下降。
亞馬遜云科技在全球規(guī)?；峁┑幕贕raviton的Amazon EC2實例種類達(dá)150多個，已經(jīng)構(gòu)建的Graviton處理器數(shù)量超過200萬個，并擁有超過50000客戶。
如今亞馬遜云科技的諸多托管服務(wù)都全面采用了Graviton架構(gòu)，如Amazon DocumentDB、Amazon Aurora、Amazon RDS等，這些服務(wù)不僅提高了性能，還降低了成本，為客戶提供了更高的性價比。
代聞?wù)J為，構(gòu)建的風(fēng)險管理意識非常重要，企業(yè)在構(gòu)建時往往要面臨著大量的不確定性，各種風(fēng)險因素層出不窮，因此架構(gòu)韌性成為了重中之重。
通過單元化架構(gòu)，亞馬遜云科技將IAM拆分成細(xì)小的計算和存儲單元，實現(xiàn)了高可用性和極小的故障影響范圍，不僅保障了服務(wù)的穩(wěn)定性，也使得IAM能夠每秒處理超過10億個API調(diào)用。
架構(gòu)創(chuàng)新的第三大驅(qū)動力量是多元技術(shù)融合。
通過Zero-ETL集成，亞馬遜云科技消除了數(shù)據(jù)提取、轉(zhuǎn)換和加載的復(fù)雜性，使得用戶可以無縫地將數(shù)據(jù)從Amazon DocumentDB同步到Amazon OpenSearch Service，或者將 Amazon DynamoDB的數(shù)據(jù)直接用于Amazon Redshift的分析。這種無縫集成不僅簡化了數(shù)據(jù)流動，也提高了數(shù)據(jù)的價值和業(yè)務(wù)的敏捷性。
結(jié)語：推動服務(wù)和架構(gòu)創(chuàng)新，助力生成式AI普惠化
過去十年，云計算為創(chuàng)新和創(chuàng)業(yè)提供了前所未有的便利。未來十年，生成式AI帶來了重塑各行各業(yè)的新機(jī)遇。
整體應(yīng)用架構(gòu)是多元技術(shù)均衡的結(jié)果，需要考慮成本、合規(guī)、擴(kuò)展性、可持續(xù)發(fā)展、韌性、安全、性能、訪問可達(dá)性、可用性等因素。一個良好的架構(gòu)需能隨著多元因素的影響不斷演進(jìn)。
亞馬遜云科技的優(yōu)良架構(gòu)體系到現(xiàn)在已經(jīng)超過十年，從卓越運(yùn)營、安全、可靠、性能效率四個維度演進(jìn)到六個維度，新增了可持續(xù)發(fā)展和成本優(yōu)化。隨著客戶對各種組件更深入的使用，架構(gòu)師的決定和組件選擇會直接影響到整塊的應(yīng)用負(fù)載在云上的成本。
伴隨著技術(shù)的進(jìn)步，亞馬遜云科技將繼續(xù)推動架構(gòu)的演進(jìn)，通過創(chuàng)新的服務(wù)和架構(gòu)，突破技術(shù)壁壘，助力生成式AI普惠化。
