智東西(公眾號:zhidxcom)
作者 | 王涵
編輯 | 云鵬

智東西11月13日報道,今天,李飛飛團(tuán)隊的3D世界生成模型Marble向全體用戶開放。

9月17日,李飛飛創(chuàng)業(yè)公司W(wǎng)orld Labs發(fā)布推文公布了其空間智能模型Marble。該模型生成的3D世界能夠永久存在,用戶可隨心所欲地在這個模擬的世界中自主導(dǎo)航。

(智東西此前報道:炸場!李飛飛發(fā)了個「永久世界」,谷歌Genie 3瞬間不香了?

收費方面,Marble一共有四種套餐,免費模式有7000個功能使用額度,可以生成約4個世界,標(biāo)準(zhǔn)版每月20美元(約合人民幣142.3元)、Pro版每月35美元(約合人民幣248.9元)、Max版每月95美元(約合人民幣675.7元),其中Pro版首月優(yōu)惠只要1美元(約合人民幣7.1元)。

李飛飛3D世界模型免費開放!實測一鍵生成逼真《瘋狂動物城》

智東西第一時間上手體驗,體驗主要圍繞復(fù)雜室外概念場景、現(xiàn)實室外場景、復(fù)雜室內(nèi)場景三種不同類型進(jìn)行。

首先是室外概念場景,我上傳了一張迪士尼動畫電影《瘋狂動物城》中的熱帶雨林區(qū)域的截圖,并且輸入指令如下:

畫面描繪了一個生機勃勃、生物多樣的城市景觀,先進(jìn)科技與茂密的熱帶雨林環(huán)境無縫融合。建筑依偎在巨大的樹木周圍和之中,由編織的木材、活的藤蔓和拋光的石材構(gòu)成。一套復(fù)雜的多層交通系統(tǒng)清晰可見。環(huán)境霧氣氤氳,空氣濕潤,陽光從上方茂密的樹冠縫隙中穿透下來。色調(diào)以深邃的翡翠綠、鮮艷的花朵色彩以及真菌和集成照明發(fā)出的柔和生物熒光為主。

李飛飛3D世界模型免費開放!實測一鍵生成逼真《瘋狂動物城》

不到一分鐘,Marble就生成了一個可以前后左右移動,并且自由切換視角的3D世界,用戶不僅能看到輸入視圖中可見的內(nèi)容,還可以查看其背后及視野之外的部分,但背后視角的畫面結(jié)構(gòu)還不夠清晰。

再試試現(xiàn)實室外場景,我上傳了一張Taylor Swift的求婚照片,沒有輸入任何指令。

李飛飛3D世界模型免費開放!實測一鍵生成逼真《瘋狂動物城》

Marble會先根據(jù)原圖自主生成一段場景描述,再基于這段描述構(gòu)建完整世界。生成的世界不僅剔除了原圖中的人物,還補充了四周的花卉、灌木與石板路,用戶甚至能沿著石板路向外探索。

其畫面的質(zhì)感與光影效果極具真實感,具備很豐富的幾何復(fù)雜度。但美中不足的是,生成的虛擬世界和圖片中的場景還是有一些差距。

接著是復(fù)雜室內(nèi)場景,我上傳了一張中國古代宮殿的圖片,同樣沒有輸入任何指令。

李飛飛3D世界模型免費開放!實測一鍵生成逼真《瘋狂動物城》

基于Marble的風(fēng)格連貫性和幾何一致性,其生成的世界在短距離內(nèi)移動的光影符合現(xiàn)實,并且還補充了室外場景,但大范圍移動還是會出現(xiàn)畸變現(xiàn)象。

在World Labs推文評論區(qū)中好評如潮,更有不少網(wǎng)友已經(jīng)把Marble玩出花了。

例如得克薩斯大學(xué)達(dá)拉斯分校助理教授Yu Xiang,向Marble中上傳了一張隨手拍的實驗室照片,Marble就生出了一個完整的虛擬實驗室,效果十分逼真。

還有一位建筑設(shè)計師,將自己的設(shè)計的深圳清華大學(xué)研究院新大樓圖片上傳給Marble,模型直接生成了一個可以在建筑物中穿梭的虛擬世界。該網(wǎng)友非常激動:“歡迎AI終于來到我的世界——那個屬于空間的世界?。。 ?/p>

評論區(qū)網(wǎng)友說:“感覺Marble會給用無人機制作3Dmap的行業(yè)造成沖擊。”

李飛飛3D世界模型免費開放!實測一鍵生成逼真《瘋狂動物城》

《Token流寫作》作者、智能體工程師Dan Mac在Marble中生成了一個“大語言模型世界”,用戶可以穿梭在不同的模型層級當(dāng)中。他在視頻中驚嘆:“你完全可以想象這項技術(shù)將為科學(xué)、教育及科技領(lǐng)域帶來的革命性應(yīng)用!”

結(jié)語:生成式AI正大步邁向3D空間智能時代

體驗下來,Marble在處理真實室外場景時展現(xiàn)出的內(nèi)容理解、智能修補和光影還原能力令人印象深刻,且“永久世界”的概念為未來的社交、娛樂應(yīng)用提供了巨大想象空間。

但模型在面對高度依賴想象力的概念圖和結(jié)構(gòu)復(fù)雜的室內(nèi)空間時,仍會出現(xiàn)細(xì)節(jié)模糊、結(jié)構(gòu)畸變等問題,這也揭示了當(dāng)前3D生成模型在全局3D一致性和復(fù)雜幾何推理方面的普遍技術(shù)難點。

生成式AI正從2D圖像和視頻,大步邁向3D空間智能時代。