芯東西（公眾號(hào)：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
芯東西10月28日?qǐng)?bào)道，昨夜，高通發(fā)布面向數(shù)據(jù)中心的下一代AI推理優(yōu)化解決方案，包括基于云端AI芯片Qualcomm AI200和AI250的加速卡及機(jī)架。
兩款芯片均采用高通Hexagon NPU，預(yù)計(jì)將分別于2026年和2027年實(shí)現(xiàn)商用。
高通稱，憑借該公司在NPU技術(shù)方面的優(yōu)勢(shì)，這些解決方案可提供機(jī)架級(jí)性能和出色的內(nèi)存容量，以高性價(jià)比實(shí)現(xiàn)快速的生成式AI推理，有助于實(shí)現(xiàn)可擴(kuò)展、高效且靈活的生成式AI。
沙特支持的AI創(chuàng)企Humain將從2026年開始部署200兆瓦的高通新型AI機(jī)架。
受此消息影響，高通股價(jià)飆升11%。
Qualcomm AI200推出一款專用機(jī)架級(jí)AI推理解決方案，旨在為大語(yǔ)言模型和多模態(tài)模型（LLM、LMM）推理及其他AI工作負(fù)載提供更高的內(nèi)存容量、更低的總擁有成本（TCO）和優(yōu)化的性能，支持每卡768GB LPDDR。
Qualcomm AI250解決方案將首次采用基于近存計(jì)算的創(chuàng)新內(nèi)存架構(gòu)，通過(guò)提供超過(guò)10倍的有效內(nèi)存帶寬和更低的功耗，不僅支持分解式AI推理，還能高效利用硬件資源，同時(shí)滿足客戶對(duì)性能和成本的要求。
兩種機(jī)架解決方案均采用直接液冷以提高熱效率，采用PCIe進(jìn)行縱向擴(kuò)展，采用以太網(wǎng)進(jìn)行橫向擴(kuò)展，采用機(jī)密計(jì)算以確保安全的AI工作負(fù)載，機(jī)架級(jí)功耗為160kW。
這些解決方案都具有豐富的軟件棧和與AI框架的無(wú)縫兼容性，使企業(yè)和開發(fā)人員能夠跨數(shù)據(jù)中心部署安全、可擴(kuò)展的生成式AI。
其AI軟件棧端到端覆蓋從應(yīng)用層到系統(tǒng)軟件層，并針對(duì)AI推理進(jìn)行了優(yōu)化。開發(fā)者可通過(guò)高通的Efficient Transformers Library和高通AI推理套件，獲得無(wú)縫模型導(dǎo)入和Hugging Face模型的一鍵部署。
高通高級(jí)副總裁兼技術(shù)規(guī)劃、邊緣解決方案和數(shù)據(jù)中心總經(jīng)理Durga Malladi稱，憑借Qualcomm AI200和AI250，高通正在重新定義機(jī)架級(jí)AI推理的可能性。
Malladi還透露，高通將單獨(dú)出售其AI芯片和其他部件，尤其是針對(duì)那些喜歡自行設(shè)計(jì)機(jī)架的超大規(guī)模數(shù)據(jù)中心客戶。其他AI芯片公司也可能成為高通部分?jǐn)?shù)據(jù)中心部件（如CPU）的客戶。
高通數(shù)據(jù)中心路線圖每年更新一次，聚焦實(shí)現(xiàn)業(yè)界領(lǐng)先的AI推理性能、能效和業(yè)界領(lǐng)先的TCO。
近年來(lái)，高通努力擺脫對(duì)智能手機(jī)市場(chǎng)的依賴，將業(yè)務(wù)拓展至PC和汽車市場(chǎng)，如今又向廣闊的數(shù)據(jù)中心市場(chǎng)發(fā)起進(jìn)攻。
