時(shí)間輸入對(duì)于3D占用預(yù)測(cè)非常重要，而現(xiàn)有方法大多遵循傳統(tǒng)的感知、轉(zhuǎn)換和融合流程。即給定順序輸入信息，感知模塊獨(dú)立獲得每個(gè)幀的場(chǎng)景表示，例如BEV特征以及體素特征；并且轉(zhuǎn)換模塊根據(jù)自車(chē)軌跡對(duì)齊多幀的時(shí)序特征信息，融合模塊融合對(duì)齊的特征表示以推斷當(dāng)前的3D占用情況。這些方法未能考慮駕駛場(chǎng)景演變的固有連續(xù)性和簡(jiǎn)單性。

為此，清華大學(xué)自動(dòng)化系提出一個(gè)基于高斯世界模型的流式三維語(yǔ)義占用預(yù)測(cè)模型GaussianWorld，現(xiàn)已開(kāi)源。與GaussianWorld相關(guān)的論文成果已投稿CVPR 2025，清華大學(xué)自動(dòng)化系智能視覺(jué)實(shí)驗(yàn)室（IVG）博士生左思成為論文一作。

清華開(kāi)源GaussianWorld：基于高斯世界模型的3D占用預(yù)測(cè)模型 | 一作左思成博士主講預(yù)告

GaussianWorld采用顯式3D高斯作為場(chǎng)景表示，而不是傳統(tǒng)的隱式 BEV/Voxel 表示，這可以實(shí)現(xiàn)物體運(yùn)動(dòng)的顯式和連續(xù)建模。給定歷史 3D 高斯和當(dāng)前視覺(jué)輸入，GaussianWorld算法模型旨在預(yù)測(cè)場(chǎng)景如何演變并預(yù)測(cè)當(dāng)前的占用情況。

為了證明提出的GaussianWorld算法模型的有效性，在nuScenes數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)。實(shí)驗(yàn)表明，GaussianWorld 可以有效地預(yù)測(cè)場(chǎng)景演變，并在不引入額外計(jì)算的情況下將單幀占用率預(yù)測(cè)提高 2% 以上（mIoU）。與現(xiàn)有方法相比，該模型在不引入額外計(jì)算開(kāi)銷的前提下，展示了SOTA的性能。

清華開(kāi)源GaussianWorld：基于高斯世界模型的3D占用預(yù)測(cè)模型 | 一作左思成博士主講預(yù)告

1月13日晚上7點(diǎn)，智猩猩邀請(qǐng)到論文一作、清華大學(xué)智能視覺(jué)實(shí)驗(yàn)室（IVG）博士生左思成參與「智猩猩新青年講座自動(dòng)駕駛專題」第42講，主講《基于高斯世界模型的流式3D占用預(yù)測(cè)》。

講者

左思成，清華大學(xué)智能視覺(jué)實(shí)驗(yàn)室（IVG）博士生

清華大學(xué)自動(dòng)化系智能視覺(jué)實(shí)驗(yàn)室（IVG）博士生，主要研究方向是計(jì)算機(jī)視覺(jué)和自動(dòng)駕駛。

第 42 講

?主 題?

《基于高斯世界模型的流式3D占用預(yù)測(cè)》

?提 綱?

1、自動(dòng)駕駛中的時(shí)序建模方法

2、基于世界模型的感知任務(wù)范式

3、基于高斯世界模型的流式OCC預(yù)測(cè)

4、在世界模型與端到端自動(dòng)駕駛上的思考

直 播 信 息?

直播時(shí)間：1月13日19:00

成果

論文標(biāo)題

《GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction》

論文鏈接

https://arxiv.org/abs/2412.10373

論文鏈接

https://github.com/zuosc19/GaussianWorld

如何報(bào)名

有講座直播觀看需求的朋友，可以添加小助手“陳新”進(jìn)行報(bào)名。已添加過(guò)“陳新”的老朋友，可以給“陳新”私信，發(fā)送“自動(dòng)駕駛42”進(jìn)行報(bào)名。對(duì)于通過(guò)報(bào)名的朋友，之后將邀請(qǐng)入群進(jìn)行觀看和交流。

清華開(kāi)源GaussianWorld：基于高斯世界模型的3D占用預(yù)測(cè)模型 | 一作左思成博士主講預(yù)告