芯東西（公眾號(hào)：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
芯東西2月25日?qǐng)?bào)道，2月24日，由兩位前谷歌工程師創(chuàng)辦的美國(guó)AI芯片創(chuàng)企MatX宣布完成5億美元（約合人民幣34億元）B輪融資，其大模型芯片MatX One預(yù)計(jì)一年內(nèi)完成流片。
據(jù)外媒報(bào)道，MatX透露其目前的估值已達(dá)數(shù)十億美元，也就是已躋身獨(dú)角獸行列。
MatX宣稱MatX One能實(shí)現(xiàn)遠(yuǎn)超其他芯片的吞吐量，同時(shí)延遲也最低。這款芯片基于可分割的脈動(dòng)陣列，兼具大型脈動(dòng)陣列出色的能效和面積效率，同時(shí)在小型矩陣上也能實(shí)現(xiàn)高利用率。
據(jù)MatX披露，該芯片結(jié)合了SRAM優(yōu)先設(shè)計(jì)的低延遲和HBM的長(zhǎng)上下文支持。這些特性加上對(duì)數(shù)值計(jì)算的新詮釋，使其在大語(yǔ)言模型上的吞吐量高于任何已發(fā)布的系統(tǒng)，同時(shí)延遲與SRAM優(yōu)先設(shè)計(jì)相當(dāng)。
MatX的測(cè)試表明，根據(jù)每平方毫米的計(jì)算性能指標(biāo)，其規(guī)劃芯片的性能可以超越英偉達(dá)即將推出的Rubin Ultra。
2022年，MatX由Reiner Pope和Mike Gunter創(chuàng)辦，目標(biāo)打造一款最適合大語(yǔ)言模型的芯片。
Reiner Pope曾為谷歌的芯片和AI模型開發(fā)軟件，Mike Gunter曾是谷歌TPU的硬件工程師。
如今，MatX的團(tuán)隊(duì)規(guī)模已發(fā)展到約100人。
由前OpenAI研究員Leopold Aschenbrenner創(chuàng)立的投資公司Situational Awareness與Jane Street領(lǐng)投了MatX的B輪融資。
在Aschenbrenner看來，MatX的芯片非常適合處理預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)，“它很有可能成為這一代最重要的AI芯片公司?！?/p>
前特斯拉AI總監(jiān)、OpenAI聯(lián)合創(chuàng)始人Andrej Karpathy，以及Alchip、Marvell等供應(yīng)鏈上的投資者也參與了本輪融資。
Andrej Karpathy在社交平臺(tái)上分享了他參投MatX的想法。
他認(rèn)為，token需求激增，為大語(yǔ)言模型的底層內(nèi)存和計(jì)算資源的合理配置提供了絕佳機(jī)會(huì)。一個(gè)根本且不易察覺的限制是，受限于芯片制造工藝，內(nèi)存池會(huì)分為兩個(gè)完全不同的池（物理實(shí)現(xiàn)方式也不同）：1）緊鄰計(jì)算單元的片上SRAM，速度極快但容量極低；2）片外DRAM容量很大，但內(nèi)容難獲取。
此外，還有許多架構(gòu)細(xì)節(jié)（例如脈動(dòng)陣列）、數(shù)值計(jì)算等因素需要考慮。如何設(shè)計(jì)最優(yōu)的物理基礎(chǔ)架構(gòu)，并在大語(yǔ)言模型的核心工作流程（推理預(yù)填充/解碼、訓(xùn)練/微調(diào)等）中合理配置內(nèi)存和計(jì)算資源，以實(shí)現(xiàn)最佳吞吐量/延遲/成本比，這或許是當(dāng)今最具吸引力且回報(bào)最高的智力難題之一。
“這一切都是為了快速、低成本地獲取大量token?？梢哉f，最重要的工作流程（在緊湊的智能體循環(huán)中對(duì)長(zhǎng)token上下文進(jìn)行推理解碼）是目前兩種陣營(yíng)（HBM優(yōu)先的英偉達(dá)陣營(yíng)和SRAM優(yōu)先的Cerebras陣營(yíng)）最難同時(shí)實(shí)現(xiàn)的?！盞arpathy寫道。
官網(wǎng)顯示，對(duì)于大型100層MoE模型，MatX的AI芯片每秒可輸出超過2000個(gè)token，其橫向擴(kuò)展互連能力可支持包含數(shù)十萬(wàn)張芯片的集群。
當(dāng)前，英偉達(dá)和谷歌的AI芯片都主要依賴HBM來處理訓(xùn)練AI模型所需的大量計(jì)算。還有一些芯片公司采用靜態(tài)隨機(jī)存取存儲(chǔ)器（SRAM）來更快地處理單個(gè)用的查詢，以滿足日益增長(zhǎng)的推理需求。
“我們的立場(chǎng)是，實(shí)際上可以在同一個(gè)產(chǎn)品中同時(shí)實(shí)現(xiàn)這兩點(diǎn)，而且這樣會(huì)得到一個(gè)更好的產(chǎn)品?！盡atX創(chuàng)始人兼CEO Reiner Pope談道。
他在社交平臺(tái)X上回復(fù)網(wǎng)友說：“與其他HBM廠商不同，我們擁有足夠的SRAM和互連帶寬，足以支持將權(quán)重存儲(chǔ)在SRAM中。HBM中的key值對(duì)不會(huì)增加延遲，因?yàn)槊芗x取可以預(yù)取，而稀疏讀取的數(shù)據(jù)量很小。除了內(nèi)存系統(tǒng)之外，我們還擁有最高的FLOPS/mm2?！?/p>
據(jù)外媒報(bào)道，MatX預(yù)計(jì)在今年完成芯片的最終設(shè)計(jì)，并希望在2027年開始出貨。該公司計(jì)劃與臺(tái)積電合作生產(chǎn)該產(chǎn)品。
