4月1日-2日，以“大拐點(diǎn) 新征程”為主題的2025中國(guó)生成式AI大會(huì)（北京站）隆重舉行。
在這場(chǎng)匯聚了50余位產(chǎn)學(xué)研嘉賓、1500名觀眾的盛會(huì)上，GMI Cloud?亞太區(qū)總裁?King Cui發(fā)表了主題為《AI推理的全球算力革命：從單點(diǎn)爆發(fā)到全球擴(kuò)容》的演講。
其提到，GMI Cloud的核心價(jià)值在于：通過(guò)頂級(jí)生態(tài)協(xié)作獲取高端硬件資源，依托自研Cluster Engine云平臺(tái)和Inference Engine推理引擎云平臺(tái)實(shí)現(xiàn)算力的全球化智能調(diào)度、擴(kuò)容與極致性能釋放。
在目前這個(gè)AI推理的時(shí)代，重構(gòu)AI算力的成本效益模型，為AI應(yīng)用的研發(fā)提供“隨需而變”的全球化算力底座，助力企業(yè)在用戶(hù)激增、競(jìng)爭(zhēng)激烈的全球市場(chǎng)中，以算力優(yōu)勢(shì)構(gòu)筑商業(yè)壁壘，推動(dòng)“全球AGI”從技術(shù)可能邁向商業(yè)必然。
隨著DeepSeek等國(guó)產(chǎn)大模型改寫(xiě)全球商業(yè)競(jìng)爭(zhēng)格局，AI應(yīng)用出海浪潮席卷全球。King?在演講中分享了一個(gè)數(shù)據(jù)：“中國(guó)AI應(yīng)用下載量年增速超100%，但算力穩(wěn)定性與成本效率仍是核心瓶頸?！痹谌駻I應(yīng)用爆發(fā)式增長(zhǎng)的產(chǎn)業(yè)變革期，算力已成為驅(qū)動(dòng)技術(shù)落地與商業(yè)擴(kuò)張的核心生產(chǎn)要素。
作為NVIDIA全球TOP10?NCP，GMI?Cloud?目前已在北美、歐洲、亞太部署12座數(shù)據(jù)中心，幫助企業(yè)實(shí)現(xiàn)全球算力調(diào)度與擴(kuò)容。GMI Cloud深耕AI全球化的算力基礎(chǔ)設(shè)施領(lǐng)域，以“技術(shù)縱深+全球布局”雙輪驅(qū)動(dòng)，構(gòu)建起覆蓋硬件適配、彈性調(diào)度、性能優(yōu)化與穩(wěn)定保障的全棧解決方案，破解企業(yè)出海面臨的算力部署難題。
以下為King Cui的演講實(shí)錄精華：
大家下午好！我是來(lái)自GMI Cloud的King Cui，今天為大家分享的主題是《AI推理的全球算力革命：從單點(diǎn)爆發(fā)到全球擴(kuò)容》。從GMI?Cloud的角度出發(fā)，我們探討如何幫助企業(yè)實(shí)現(xiàn)全球化的推理云服務(wù)。
一、GMI?Cloud：從GPU硬件架構(gòu)到頂層應(yīng)用，建立全棧AI基礎(chǔ)設(shè)施平臺(tái)
在今天正式演講之前，我首先快速地和大家再介紹一下GMI?Cloud，我們是一家AI Native Cloud公司，致力于為全球化AI應(yīng)用提供英偉達(dá)最新的GPU云服務(wù)。作為NVIDIA全球TOP 10的NVIDIA Cloud Partner（NCP），GMI Cloud與NVIDIA保持密切合作，定期進(jìn)行技術(shù)交流，以幫助我們將AI應(yīng)用做的更完善。同時(shí)，得益于投資者的支持，GMI?Cloud在亞太地區(qū)擁有最新的GPU分配權(quán)，能夠快速獲取最新、最強(qiáng)的GPU云服務(wù)。
我們推出了“Cluster Engine自研云平臺(tái)”，專(zhuān)注于為從事大語(yǔ)言模型、文生圖、文生視頻模型的公司提供訓(xùn)練云平臺(tái)的支持。同時(shí)，因?yàn)镚MI Cloud相信，未來(lái)的AI應(yīng)用將快速遍布全球，未來(lái)將是一個(gè)全新的“推理世界”，Token changes?the world，因此GMI Cloud面向全球打造了AI推理引擎平臺(tái)“Inference?Engine”。
(上圖）從技術(shù)架構(gòu)來(lái)看，GMI Cloud提供從底層GPU硬件到支持應(yīng)用層的全棧服務(wù)：
第一，底層提供NVIDIA生態(tài)體系內(nèi)最新、最強(qiáng)的GPU云資源，同時(shí)也提供適合AI存儲(chǔ)的云服務(wù)，支持NVMe高速存儲(chǔ)和普通存儲(chǔ)，適配不同場(chǎng)景的存儲(chǔ)介質(zhì)，提供不同的云服務(wù)。在網(wǎng)絡(luò)層面，我們提供高速帶寬的數(shù)據(jù)通道，確保AI應(yīng)用的高效運(yùn)行。再往上就是MaaS( Model as a Service)模型的推理，同時(shí)我們集成了大量已經(jīng)開(kāi)源的大模型，并且基于自己的技術(shù)自研了Inference Engine推理引擎平臺(tái)。
第二，GMI Cloud研發(fā)了一套計(jì)算存儲(chǔ)網(wǎng)絡(luò)，具備laaS能力。在計(jì)算資源方面，提供裸金屬服務(wù)器、云主機(jī)、K8s云服務(wù)等多種計(jì)算形態(tài)。
第三，MaaS（Model as a Service）層集成了大量開(kāi)源大模型，并基于Inference Engine自研推理引擎平臺(tái)，將英偉達(dá)H100、H200或更先進(jìn)的B200進(jìn)行適配，以提升模型的token吞吐速度。同時(shí)，我們具備端到端的監(jiān)控能力，幫助企業(yè)快速發(fā)現(xiàn)、定位和解決問(wèn)題。
第四，應(yīng)用層得益于各行業(yè)企業(yè)的實(shí)踐。特別強(qiáng)調(diào)的是，IaaS層和MaaS層均為GMI Cloud自主研發(fā)，MaaS層還支持所有B2B服務(wù)企業(yè)接入，以MarketPlace的方式為企業(yè)提供更好的MaaS服務(wù)。
二、AI 應(yīng)用全球化服務(wù)趨勢(shì)下，推理服務(wù)的及時(shí)性、擴(kuò)展性、穩(wěn)定性是核心挑戰(zhàn)
自2022年底OpenAI發(fā)布ChatGPT以來(lái)，AI產(chǎn)業(yè)在算力和模型方面投入巨大，每隔三到六個(gè)月，大模型能力便提升一個(gè)臺(tái)階。
如今，多模態(tài)大模型的生成內(nèi)容質(zhì)量更高，同時(shí)，如今的大模型對(duì)物理世界的理解及生成質(zhì)量的可控性也更強(qiáng)，而且許多公司都已經(jīng)具備這些能力，在產(chǎn)業(yè)層面，這為應(yīng)用層的爆發(fā)提供了很大基礎(chǔ)?？梢哉f(shuō)，AI的應(yīng)用爆發(fā)具備了技術(shù)條件。
2024年，全球AI應(yīng)用產(chǎn)品已有1890個(gè)，其中中國(guó)相關(guān)產(chǎn)品有356個(gè)，出海產(chǎn)品有143個(gè)。從訪問(wèn)量來(lái)看，2024年初為30多億，年底已超過(guò)140億，增速超過(guò)300%。AI下載的應(yīng)用數(shù)量也比以前有所增加，中國(guó)AI應(yīng)用出海在大規(guī)模高速增長(zhǎng)。
所以如果大家要做出海，就需要了解在就近國(guó)家是否有相應(yīng)的應(yīng)用算力提供服務(wù)。我們摘取了中國(guó)頭部應(yīng)用出海的下載量情況（如圖）：
中國(guó)AI應(yīng)用出海主要集中在美國(guó)、印度、亞太、德國(guó)和歐洲等地區(qū)。收入方面，美國(guó)付費(fèi)意愿較強(qiáng)，亞太地區(qū)則以東北亞和東南亞部分地區(qū)為主。
中國(guó)頭部出海AI產(chǎn)品的下載主要集中在印度、亞太、德國(guó)和歐洲地區(qū)。從收入角度來(lái)看，美國(guó)的付費(fèi)意愿相對(duì)較強(qiáng)。
從全球化角度分析，中國(guó)的AI應(yīng)用已經(jīng)得到了全世界的廣泛認(rèn)可，大家的出海在商業(yè)化層面已經(jīng)邁出了一大步。這里有幾個(gè)例子，首先是Manus，前段時(shí)間非?；鸨l(fā)布7天之內(nèi)達(dá)到了200萬(wàn)的等待清單，原因是后端的算力和Web Service不足以支撐那么多用戶(hù)的請(qǐng)求。Deepseek在春節(jié)前也非?；鸨?。它創(chuàng)造了全球所有應(yīng)用獲取用戶(hù)從0~1億的最快速度，7天達(dá)到1億。當(dāng)時(shí)大家用時(shí)發(fā)現(xiàn)很多服務(wù)不被響應(yīng)，這也是因?yàn)楹蠖怂懔Σ蛔阋灾芜@么多請(qǐng)求量。當(dāng)大量用戶(hù)涌入時(shí)，如果后端的推理云服務(wù)算力能夠及時(shí)跟上，整個(gè)服務(wù)的穩(wěn)定性和響應(yīng)及時(shí)性將顯著提升，從而幫助提高用戶(hù)留存率。
從這兩個(gè)案例中，我們發(fā)現(xiàn)在AI全球化服務(wù)浪潮下，推理服務(wù)的及時(shí)性、可擴(kuò)展性和穩(wěn)定性是提高用戶(hù)留存的核心。
總結(jié)一下就是，當(dāng)AI應(yīng)用選擇出海，它將會(huì)分布在歐洲、美洲、東南亞、東北亞以及拉美等各個(gè)地區(qū)，因此大家需要找到在不同地區(qū)提供就近的推理算力服務(wù)商，以響應(yīng)AI應(yīng)用請(qǐng)求。當(dāng)用戶(hù)增長(zhǎng)爆發(fā)時(shí)，推理相關(guān)的算力彈性還需要提高才能滿(mǎn)足客戶(hù)需求，這意味著云廠商的推理服務(wù)需要具備自動(dòng)擴(kuò)容能力。
在具備大規(guī)模用戶(hù)在線時(shí)，我們要考慮如何保障AI應(yīng)用的穩(wěn)定性和可靠性。
三、Inference Engine四大核心能力破解AI應(yīng)用全球化難題
GMI Cloud推出的推理服務(wù)能夠有效應(yīng)對(duì)上述挑戰(zhàn)。在英偉達(dá)技術(shù)峰會(huì)GTC上，我們發(fā)布了GMI Cloud?Inference Engine。這套Inference Engine部署在我們自己研發(fā)的Cluster Engine上，Cluster Engine專(zhuān)注于做云管平臺(tái)，目前整個(gè)中間態(tài)部分，這是一套自己研發(fā)GM I云推理引擎的全球調(diào)度策略，能夠幫助企業(yè)客戶(hù)在全球范圍內(nèi)就近調(diào)度所需要的GPU云服務(wù)。
為了應(yīng)對(duì)AI應(yīng)用的推理需求，Inference Engine主要包括四個(gè)特性：
01?彈性伸縮，跨集群自動(dòng)擴(kuò)容
AI應(yīng)用的全球用戶(hù)分布廣泛，資源靠近用戶(hù)可顯著降低延遲，而在推理過(guò)程中，資源越遠(yuǎn)，用戶(hù)推理請(qǐng)求的延時(shí)就越高。當(dāng)用戶(hù)量快速增長(zhǎng)時(shí)，系統(tǒng)需快速?gòu)椥詳U(kuò)容，提供大量GPU云服務(wù)。在CPU云時(shí)代，大家都知道ECS的CPU云服務(wù)速度非?？欤糠昼娍梢哉?wù)搸资f(wàn)核，而在GPU時(shí)代，對(duì)資源的可控性和調(diào)度準(zhǔn)確性要求非常高。
根據(jù)不同客戶(hù)的需求，我們的服務(wù)節(jié)點(diǎn)主要分布在歐洲、美洲和亞洲（尤其是東北亞和東南亞地區(qū)），Inference Engine能夠動(dòng)態(tài)感知用戶(hù)網(wǎng)絡(luò)壓力負(fù)載，根據(jù)負(fù)載變化調(diào)整負(fù)載均衡；基于不同IP請(qǐng)求調(diào)度到不同地區(qū)，并且利用不同地區(qū)的資源提供inference服務(wù)。同時(shí)，我們的調(diào)度服務(wù)也支持與企業(yè)內(nèi)部自建的GPU集群之間進(jìn)行打通，實(shí)現(xiàn)統(tǒng)一調(diào)度。
02?可視化部署工作流，快速高效部署
對(duì)于AI應(yīng)來(lái)說(shuō)，部署分布式推理集群雖然不難，但整個(gè)流程較為復(fù)雜。首先需準(zhǔn)備對(duì)應(yīng)資源，然后下載模型服務(wù)，進(jìn)行資源配置，最后進(jìn)行軟硬件調(diào)優(yōu)。這整個(gè)流程耗費(fèi)企業(yè)的Inference團(tuán)隊(duì)人力資源。
針對(duì)熱門(mén)開(kāi)源模型（如DeepSeek、通義千問(wèn)和Llama等），GMI?Cloud已完成高端GPU云資源的適配，企業(yè)可直接在Marketplace上部署；針對(duì)自研模型，Inference?Engine提供可視化工作臺(tái)，支持從部署鏡像構(gòu)建到推理服務(wù)上線的全流程可視化操作、零代碼操作。
03?集成最先進(jìn)的高性能GPU，提供高效推理性能
Inference Engine已集成英偉達(dá)最先進(jìn)的高性能GPU服務(wù)。根據(jù)英偉達(dá)提供的DeepSeek-FP4版本報(bào)告，優(yōu)化后的H200的token吞吐量是H100的6倍，B200的token吞吐量更是達(dá)到H100的25倍。從效率和經(jīng)濟(jì)成本來(lái)看，使用更先進(jìn)、更高性能的GPU，實(shí)際上綜合成本會(huì)下降。黃教主說(shuō)，”The More You Buy，The More You Save“。
04 主動(dòng)監(jiān)控：自動(dòng)容錯(cuò)+故障診斷+極速恢復(fù)
大家都知道提供目前的云服務(wù)不可能是SLA?Service 100%，但GMI Cloud盡可能提供主動(dòng)監(jiān)控功能，幫助所有企業(yè)用戶(hù)及時(shí)發(fā)現(xiàn)問(wèn)題。
GMI?Cloud擁有一個(gè)可視化的云推理監(jiān)控服務(wù)平臺(tái)，可以看到整個(gè)IP請(qǐng)求從進(jìn)來(lái)到落到每臺(tái)服務(wù)器上，以及整個(gè)網(wǎng)絡(luò)鏈路上出現(xiàn)擁塞。我們可以精準(zhǔn)定位問(wèn)題、找到問(wèn)題原因并以最短的停機(jī)時(shí)間快速修復(fù)。所有流程都可以在Inference?Engine控制臺(tái)上實(shí)現(xiàn)可視化。同時(shí)GMI?Cloud可以將API暴露給所有企業(yè)，幫助企業(yè)提升自己的監(jiān)控管理平臺(tái)。
結(jié)語(yǔ)：一朵云+兩個(gè)引擎，高效穩(wěn)定的云服務(wù)架構(gòu)
GMI Cloud致力于提供全棧AI基礎(chǔ)設(shè)施，包括一朵云和兩個(gè)引擎（Cluster Engine和Inference Engine），Cluster Engine為企業(yè)客戶(hù)提供高穩(wěn)定性的模型訓(xùn)練服務(wù)，Inference Engine則為企業(yè)客戶(hù)提供走向全球化應(yīng)用的AI推理服務(wù)。
感謝大家的關(guān)注，希望大家的AI應(yīng)用出海越來(lái)越順利！
