芯東西(公眾號(hào):aichip001)
作者 | ?ZeR0
編輯 | ?漠影

芯東西1月29日?qǐng)?bào)道,今日,阿里巴巴集團(tuán)全資半導(dǎo)體芯片業(yè)務(wù)主體平頭哥官網(wǎng)上線高端AI訓(xùn)推一體芯片真武810E

剛剛,阿里AI芯片“真武810E”來了!已實(shí)現(xiàn)多個(gè)萬卡集群部署

這就是此前被央視《新聞聯(lián)播》曝光的阿里自研芯片PPU。據(jù)悉,“真武”PPU已在阿里云實(shí)現(xiàn)多個(gè)萬卡集群部署,服務(wù)了國家電網(wǎng)、中科院、小鵬汽車、新浪微博400多家客戶。(阿里自研AI芯片曝光!

至此,由通義實(shí)驗(yàn)室、阿里云、平頭哥組成的阿里巴巴AI黃金三角“通云哥”首次浮出水面。

平頭哥成立于2018年11月,注冊地址在上海,已推出AI推理芯片含光800、訓(xùn)推一體AI加速芯片真武810E、Arm服務(wù)器CPU倚天710、高性能SSD主控芯片鎮(zhèn)岳510超高頻RFID電子標(biāo)簽芯片羽陣611羽陣600等芯片,并不斷豐富產(chǎn)品線。

剛剛,阿里AI芯片“真武810E”來了!已實(shí)現(xiàn)多個(gè)萬卡集群部署

真武810E采用自研并行計(jì)算架構(gòu)ICN片間互聯(lián)技術(shù),單卡采用96GB HBM2e內(nèi)存,支持7個(gè)獨(dú)立ICN鏈路,片間互聯(lián)帶寬達(dá)到700GB/s,可靈活配置多卡組合,應(yīng)用于AI訓(xùn)練、AI推理和自動(dòng)駕駛,已在阿里云實(shí)現(xiàn)多個(gè)萬卡集群部署

剛剛,阿里AI芯片“真武810E”來了!已實(shí)現(xiàn)多個(gè)萬卡集群部署

阿里巴巴已將“真武”PPU大規(guī)模用于千問大模型的訓(xùn)練和推理,并結(jié)合阿里云完整的AI軟件棧進(jìn)行深度優(yōu)化,為客戶提供一體化產(chǎn)品和服務(wù)。

據(jù)業(yè)內(nèi)人士透露,對(duì)比關(guān)鍵參數(shù),“真武”PPU的整體性能超過英偉達(dá)A800和主流國產(chǎn)GPU,與英偉達(dá)H20相當(dāng)

另據(jù)外媒最新報(bào)道,升級(jí)版“真武”PPU的性能強(qiáng)于英偉達(dá)A100

多位行業(yè)從業(yè)者稱,“真武”PPU性能具有優(yōu)異穩(wěn)定、性價(jià)比突出等特點(diǎn),在業(yè)內(nèi)口碑良好。

阿里巴巴正在將“通云哥”打造成一臺(tái)AI超級(jí)計(jì)算機(jī),它同時(shí)擁有全棧自研芯片的平頭哥、亞太第一的阿里云,以及在全球享有盛譽(yù)的開源模型“千問”,可在芯片架構(gòu)、云平臺(tái)架構(gòu)和模型架構(gòu)上協(xié)同創(chuàng)新,從而實(shí)現(xiàn)在阿里云上訓(xùn)練和調(diào)用大模型時(shí)達(dá)到最高效率。

平頭哥官網(wǎng)列出了真武810E的六大優(yōu)勢:全自研、高性能、強(qiáng)互聯(lián)、高易用、規(guī)模驗(yàn)證、芯云一體

剛剛,阿里AI芯片“真武810E”來了!已實(shí)現(xiàn)多個(gè)萬卡集群部署

ICN(Inter-Chip-Network)是平頭哥自研的片間互聯(lián)技術(shù),具有高性能、高帶寬、低延遲優(yōu)勢,適用于大模型訓(xùn)練和推理應(yīng)用。

每顆真武810E芯片配備7個(gè)ICN片間互聯(lián)端口,配合平頭哥自研互聯(lián)加速庫,實(shí)現(xiàn)多卡協(xié)同工作,從而高效支持大模型訓(xùn)練及推理需求。

平頭哥自主研發(fā)的AI產(chǎn)品軟件棧,具備完備的軟件生態(tài)及工具鏈,擁有獨(dú)立知識(shí)產(chǎn)權(quán),具備統(tǒng)一的編程接口,可端到端支持用戶自主業(yè)務(wù)落地和擴(kuò)展,向上支持開發(fā)者和業(yè)務(wù)快速展開,向下兼容底層硬件和優(yōu)化性能,實(shí)現(xiàn)軟硬件高效協(xié)同。

(1)高效性:通過軟件棧提供的API,用戶可以基于SDK直接開發(fā)真武應(yīng)用程序,支持自研生態(tài);

(2)高兼容性:沿用當(dāng)今主流編程環(huán)境,開發(fā)者可調(diào)用軟件棧中統(tǒng)一的API,支持主流AI生態(tài),無需修改應(yīng)用代碼。

官網(wǎng)列出了真武910E的四大應(yīng)用場景

(1)自動(dòng)駕駛:經(jīng)過驗(yàn)證兼容超過50個(gè)自動(dòng)駕駛常見模型,在感知、預(yù)測和端到端等多種模型架構(gòu)下,全面支持智駕模型訓(xùn)推,并已形成多個(gè)萬卡級(jí)別集群的部署應(yīng)用。

(2)AI訓(xùn)練:原生支持多種框架,具有高速片間互聯(lián)和優(yōu)異的集群線性加速比,兼容主流AI生態(tài),提供高性能、高易用的訓(xùn)練算力。

(3)AI推理:原生支持主流推理引擎,并提供平頭哥自研專用推理框架和算子庫,結(jié)合大容量內(nèi)存,為大模型推理提供針對(duì)性優(yōu)化。

(4)多模態(tài)模型:在文生視頻、圖文生視頻、圖文生文等場景的推理和訓(xùn)練實(shí)測中均表現(xiàn)出不俗的性能,為基于多模態(tài)模型的應(yīng)用場景提供高性價(jià)比算力。

阿里巴巴2009年創(chuàng)建阿里云,2018年成立平頭哥芯片公司,2019年啟動(dòng)大模型研究,經(jīng)過長達(dá)17年的戰(zhàn)略投入和垂直整合,實(shí)現(xiàn)“通云哥”全棧AI的完整布局。

官網(wǎng)顯示,平頭哥致力于AI時(shí)代的芯片基礎(chǔ)設(shè)施創(chuàng)新,打造數(shù)據(jù)中心算力、存力、網(wǎng)力芯片和IoT芯片, 通過端云一體全棧產(chǎn)品系列為數(shù)字化、智能化時(shí)代提供無處不在的普惠算力。

該公司重點(diǎn)布局高性能、高性價(jià)比的自研數(shù)據(jù)中心芯片,提升數(shù)據(jù)中心能力和效率,通過軟硬一體解決方案,加速新一代數(shù)據(jù)中心的規(guī)?;渴穑龠M(jìn)AI從數(shù)字世界向物理世界的滲透。