AI應(yīng)用風(fēng)向標(biāo)（公眾號(hào)：ZhidxcomAI）
作者｜江宇
編輯｜漠影
智東西1月23日?qǐng)?bào)道，昨日，由開(kāi)源項(xiàng)目vLLM核心團(tuán)隊(duì)創(chuàng)立的AI基礎(chǔ)設(shè)施創(chuàng)企Inferact宣布完成1.5億美元（約合人民幣10.4億元）種子輪融資，投后估值達(dá)8億美元（約合人民幣55.7億元）。
Inferact創(chuàng)始成員游凱超稱：“我們的使命，是將vLLM打造成全球領(lǐng)先的AI推理引擎?！?/p>
▲Inferact創(chuàng)始成員游凱超轉(zhuǎn)載官宣貼（圖源：X）
本輪融資由a16z與Lightspeed領(lǐng)投，真格基金、Sequoia Capital、Altimeter Capital和Redpoint Ventures等跟投。
vLLM是當(dāng)前最具影響力的開(kāi)源推理引擎之一，已支持500余種模型架構(gòu)、適配200多類加速器平臺(tái)，廣泛承載全球企業(yè)的大規(guī)模推理任務(wù)，Meta、Google、Character.ai等公司也已在生產(chǎn)環(huán)境中部署使用。
vLLM社區(qū)累計(jì)貢獻(xiàn)者已超2000人，長(zhǎng)期位居GitHub同類項(xiàng)目活躍度前列。Inferact正是在這一深厚開(kāi)源基礎(chǔ)上誕生。
▲vLLM開(kāi)源項(xiàng)目主頁(yè)（圖源：GItHub）
Inferact的創(chuàng)始團(tuán)隊(duì)幾乎全部來(lái)自vLLM核心開(kāi)發(fā)者陣營(yíng)。
Inferact CEO由vLLM原始維護(hù)者Simon Mo擔(dān)任，他曾就讀于加州大學(xué)伯克利分校電氣工程與計(jì)算機(jī)科學(xué)系（EECS），主攻機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)方向。他在此前供職的AI基礎(chǔ)設(shè)施公司Anyscale積累了豐富的落地經(jīng)驗(yàn)。
另一位聯(lián)合創(chuàng)始人是vLLM項(xiàng)目的發(fā)起人Woosuk Kwon，擁有加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)博士學(xué)位，師從于Ion Stoica教授（Databricks聯(lián)合創(chuàng)始人之一）。
▲Woosuk Kwon（圖源：X）
他提出的Paged Attention算法顯著提升了KV Cache的顯存效率，成為vLLM吞吐性能提升的關(guān)鍵機(jī)制。
團(tuán)隊(duì)中的另一位核心人物為首席科學(xué)家游凱超（Kaichao You），清華特等獎(jiǎng)學(xué)金獲得者，曾在加州大學(xué)伯克利分校EECS系擔(dān)任訪問(wèn)學(xué)者。
▲游凱超（圖源：X）
他主導(dǎo)了vLLM分布式推理功能的實(shí)現(xiàn)，尤其是對(duì)張量并行與PyTorch生態(tài)集成接口的優(yōu)化，使得大模型推理可在多卡環(huán)境中穩(wěn)定運(yùn)行，開(kāi)發(fā)門檻顯著降低。
此外，前Roblox高級(jí)機(jī)器學(xué)習(xí)工程師Roger Wang作為核心成員加盟。Databricks聯(lián)合創(chuàng)始人Ion Stoica教授和伯克利計(jì)算機(jī)科學(xué)教授Joseph Gonzalez也以深度顧問(wèn)的身份深度參與項(xiàng)目。
Inferact方面稱，未來(lái)將持續(xù)以獨(dú)立開(kāi)源項(xiàng)目形式支持vLLM，并將所有改進(jìn)回饋社區(qū)；同時(shí)，團(tuán)隊(duì)將圍繞多硬件平臺(tái)構(gòu)建更強(qiáng)大的推理基礎(chǔ)設(shè)施，助力企業(yè)穩(wěn)定部署AI模型并降低運(yùn)營(yíng)成本。
