智東西（公眾號(hào)：zhidxcom）
編譯 | 金碧輝
編輯 | 程茜

智東西6月17日消息，美國(guó)AI芯片創(chuàng)企Groq昨天宣布，其已正式成為Hugging Face Hub支持的推理服務(wù)提供商，推理服務(wù)已無(wú)縫集成至Hugging Face的JS和Python客戶端SDK，開(kāi)發(fā)者可便捷地將各類(lèi)模型與優(yōu)選服務(wù)提供商對(duì)接使用。

開(kāi)源平臺(tái)Hugging Face目前托管超50萬(wàn)個(gè)AI模型，月活躍開(kāi)發(fā)者突破300萬(wàn)，已成為全球最大的開(kāi)源AI模型社區(qū)。Groq作為首家高速推理供應(yīng)商正式接入該平臺(tái)后，開(kāi)發(fā)者僅需三行代碼，便可直接在Hugging Face Playground或API中一鍵調(diào)用Groq服務(wù)，賬單統(tǒng)一結(jié)算至平臺(tái)賬戶。

此舉使金融科技、工業(yè)研發(fā)等領(lǐng)域的AI原型驗(yàn)證周期縮短50%，為開(kāi)發(fā)者提供了低門(mén)檻高性能工具鏈支持。

一、131K上下文獨(dú)家支持，Groq推理服務(wù)集成至Hugging Face

Groq的發(fā)言人在接受VentureBeat采訪時(shí)透露：“Groq是目前唯一一家能夠支持完整131K上下文窗口的推理服務(wù)提供商，與Hugging Face的集成，極大地拓展了Groq生態(tài)系統(tǒng)的邊界。這一合作給開(kāi)發(fā)者帶來(lái)了更多選擇，進(jìn)一步降低了采用Groq快速且高效的AI推理技術(shù)的門(mén)檻?！?/p>

據(jù)外媒VentureBeat報(bào)道，雙方的聯(lián)合聲明中透露：“Hugging Face與Groq之間的合作，是推動(dòng)高性能AI推理變得更易獲取、更高效的重要一步?！?/p>

Groq面臨著基礎(chǔ)設(shè)施與成本等方面的挑戰(zhàn)，公司的發(fā)言人在接受VentureBeat采訪時(shí)還透露：“即便Groq今年將基礎(chǔ)設(shè)施的部署數(shù)量提升至計(jì)劃的兩倍，依舊難以滿足當(dāng)下的需求。這意味著市場(chǎng)對(duì)于高性能推理計(jì)算有著巨大的渴求?！?/p>

Groq為Hugging Face平臺(tái)提供的推理服務(wù)已支持Llama 3、Gemma及Qwen3 32B等10大主流模型，推理速度最高達(dá)800 token/s。此外，Groq還是目前唯一支持Qwen3 32B完整131K上下文窗口的推理服務(wù)提供商。

二、Groq解鎖Qwen3 32B全上下文能力，長(zhǎng)文檔處理效率翻倍

6月12號(hào)，Groq成為首家支持阿里巴巴Qwen3 32B模型131K全上下文窗口的高速推理服務(wù)商。

此次合作的核心亮點(diǎn)在于：Groq平臺(tái)實(shí)測(cè)Qwen3 32B推理速度達(dá)535 tokens/s，經(jīng)獨(dú)立第三方機(jī)構(gòu)Artificial Analysis驗(yàn)證為當(dāng)前全球最快；同時(shí)，Qwen3 32B支持131K超長(zhǎng)上下文窗口，Groq是全球唯一能完整運(yùn)行該模型全量語(yǔ)境的推理服務(wù)商。

Hugging Face集成Groq，三行代碼實(shí)現(xiàn)10個(gè)開(kāi)源模型推理速度超每秒800 token▲獨(dú)立基準(zhǔn)測(cè)試公司Artificial Analysis關(guān)于Qwen3 32B的相關(guān)驗(yàn)證信息

阿里巴巴Qwen3 32B是一款參數(shù)規(guī)模達(dá)328億的大語(yǔ)言模型，專(zhuān)為復(fù)雜推理與高效對(duì)話優(yōu)化，支持超100種語(yǔ)言及方言。

通過(guò)Groq創(chuàng)新的語(yǔ)言處理單元（LPU）架構(gòu)，Qwen3 32B+Groq組合首次實(shí)現(xiàn)131k完整上下文窗口支持。

成本方面，Groq為Qwen3 32B提供的按需定價(jià)為：輸入tokens 0.29美元（約合人民幣2.08元）/百萬(wàn)、輸出tokens 0.59美元（約合人民幣4.24元）/百萬(wàn)。

在Groq平臺(tái)，Qwen3 32B模型支持特有的“思考/非思考”雙模式動(dòng)態(tài)切換機(jī)制，可根據(jù)推理任務(wù)的復(fù)雜度自動(dòng)適配最優(yōu)運(yùn)行模式。

基于對(duì)超100種語(yǔ)言的支持能力，Qwen3 32B模型單次請(qǐng)求即可處理500頁(yè)技術(shù)文檔或多輪跨語(yǔ)種對(duì)話，顯著降低長(zhǎng)文本信息丟失風(fēng)險(xiǎn)；在AIME 24等基準(zhǔn)測(cè)試中，Qwen3 32B模型+Groq平臺(tái)組合以數(shù)學(xué)推理79.5分、代碼生成66.4分的實(shí)測(cè)數(shù)據(jù)，超越參數(shù)規(guī)模超過(guò)其20倍的DeepSeek R1模型。

目前，開(kāi)發(fā)者可通過(guò)GroqCloud平臺(tái)零門(mén)檻使用模型：在GroqChat中輸入qwen/qwen3-32B即可進(jìn)行交互演示，在開(kāi)發(fā)者控制臺(tái)可快速配置API，也可通過(guò)Hugging Face以三行代碼完成服務(wù)集成。

中小團(tuán)隊(duì)無(wú)需硬件投入即可在10分鐘內(nèi)在平臺(tái)部署長(zhǎng)文本分析應(yīng)用，借助LPU架構(gòu)實(shí)現(xiàn)三倍文本處理加速；中小團(tuán)隊(duì)還可以注冊(cè)免費(fèi)賬戶或升級(jí)付費(fèi)套餐可解除速率限制，支持業(yè)務(wù)彈性擴(kuò)展。

三、基礎(chǔ)設(shè)施與用戶增長(zhǎng)，Groq盈利前夜的兩大難題

據(jù)外媒VentureBeat昨日?qǐng)?bào)道，Groq的上述舉措堪稱(chēng)其向亞馬遜云服務(wù)（AWS）、谷歌云等現(xiàn)有云服務(wù)提供商發(fā)起挑戰(zhàn)的關(guān)鍵一步。但當(dāng)前Groq也面臨諸多挑戰(zhàn)，其基礎(chǔ)設(shè)施雖已覆蓋美國(guó)、加拿大及中東地區(qū)，但與AWS在全球布局的28個(gè)地理區(qū)域、谷歌云的26個(gè)區(qū)域相比，物理節(jié)點(diǎn)數(shù)量仍存在顯著差距。

Groq自研LPU芯片單系統(tǒng)部署成本達(dá)1144萬(wàn)美元（折合人民幣約8200萬(wàn)元），若按當(dāng)2000萬(wàn)token/s的處理速度推算，單臺(tái)LPU系統(tǒng)每日可處理172.8億token，僅能產(chǎn)生約500美元收入（折合人民幣約3587.3元），需連續(xù)運(yùn)營(yíng)63年才能覆蓋硬件成本。

今年6月，知名科技市場(chǎng)研究機(jī)構(gòu)CB Insights分析透露，Groq需在未來(lái)12個(gè)月內(nèi)將用戶規(guī)模提升10倍以上，才能通過(guò)規(guī)模效應(yīng)實(shí)現(xiàn)盈虧平衡。

結(jié)語(yǔ)：Groq推理速度碾壓GPU十倍，模型訓(xùn)練依賴(lài)與基建瓶頸待解

Groq憑借LPU架構(gòu)的確定性計(jì)算優(yōu)勢(shì)，從第三方機(jī)構(gòu)Artificial Analysis的驗(yàn)證基準(zhǔn)測(cè)試結(jié)果透露，實(shí)時(shí)推理場(chǎng)景中實(shí)現(xiàn)較GPU十倍的速度碾壓，為長(zhǎng)文本分析、跨國(guó)多語(yǔ)種應(yīng)用創(chuàng)造新可能。

研究公司Grand View Research今年6月透露，受各行各業(yè)AI應(yīng)用部署不斷增加的推動(dòng)，到2030年，全球AI推理芯片市場(chǎng)規(guī)模將達(dá)1549億美元（折合人民幣約為1.11萬(wàn)億元）。然而，Groq芯片僅限推理場(chǎng)景，模型訓(xùn)練仍需依賴(lài)英偉達(dá)GPU，在一定程度上增加了開(kāi)發(fā)者與企業(yè)用戶的使用成本和技術(shù)風(fēng)險(xiǎn)。同時(shí)Groq的基礎(chǔ)設(shè)施擴(kuò)張速度能否匹配Hugging Face帶來(lái)的流量爆發(fā)仍是未知數(shù)。

如果Groq的基礎(chǔ)設(shè)施無(wú)法滿足用戶增長(zhǎng)的需求，可能會(huì)導(dǎo)致服務(wù)質(zhì)量下降，影響用戶滿意度和口碑。

來(lái)源：Groq官網(wǎng)、VentureBeat