世界模型被業(yè)內(nèi)認(rèn)為是通往自動(dòng)駕駛的唯一解。世界模型是真實(shí)世界的模擬，可以根據(jù)控制指令預(yù)測(cè)對(duì)應(yīng)的未來(lái)并反饋給決策過(guò)程，從而有效地幫助智能體的訓(xùn)練和測(cè)試。
上海人工智能實(shí)驗(yàn)室OpenDriveLab聯(lián)合香港科技大學(xué)等研究人員構(gòu)建了迄今為止最大的公共駕駛數(shù)據(jù)集OpenDV-2K，其中包含超過(guò)2000小時(shí)的駕駛視頻，比廣泛使用的nuScenes數(shù)據(jù)集大374倍?；贠penDV-2K還構(gòu)建了自動(dòng)駕駛領(lǐng)域中第一個(gè)大規(guī)模視頻預(yù)測(cè)模型GenAD。該模型通過(guò)新穎的時(shí)間推理模塊處理駕駛場(chǎng)景中的挑戰(zhàn)性動(dòng)態(tài)情況，超越了一般或駕駛特定的視頻預(yù)測(cè)模型，在真實(shí)世界駕駛應(yīng)用中的巨大潛力。與GenAD相關(guān)的論文收錄于?CVPR 2024 Highlight。
此外，針對(duì)現(xiàn)有的駕駛世界模型在泛化到未見(jiàn)環(huán)境、關(guān)鍵細(xì)節(jié)的預(yù)測(cè)保真度以及靈活應(yīng)用的動(dòng)作可控性方面存在的局限性。香港科技大學(xué)聯(lián)合上海人工智能實(shí)驗(yàn)室OpenDriveLab等研究人員又提出一種高質(zhì)量可控的通用自動(dòng)駕駛世界模型Vista。與Vista相關(guān)的論文收錄于NeurIPS 2024。
Vista能夠在高時(shí)空分辨率下預(yù)測(cè)逼真的未來(lái)，通過(guò)捕捉動(dòng)態(tài)和保持結(jié)構(gòu)的兩種新?lián)p失函數(shù)，以及詳盡的動(dòng)態(tài)先驗(yàn)以維持長(zhǎng)時(shí)間滾動(dòng)預(yù)測(cè)的一致性，其預(yù)測(cè)保真度得到了極大提升。此外，Vista的動(dòng)作可控性還可以在零樣本的情況下泛化到不同領(lǐng)域。
Vista在多個(gè)數(shù)據(jù)集上進(jìn)行了全面的實(shí)驗(yàn)，驗(yàn)證了其有效性。它優(yōu)于最具競(jìng)爭(zhēng)力的通用視頻生成工具，并在nuScenes數(shù)據(jù)集上設(shè)立了新的最先進(jìn)水平。實(shí)驗(yàn)證據(jù)表明，Vista可以用作評(píng)估動(dòng)作的獎(jiǎng)勵(lì)函數(shù)(reward function)。
10月25日晚7點(diǎn)，智猩猩邀請(qǐng)到香港科技大學(xué)在讀博士、上海AI Lab OpenDriveLab實(shí)習(xí)研究員高深遠(yuǎn)參與「智猩猩自動(dòng)駕駛新青年講座」第40講，主講《構(gòu)建通用可泛化的自動(dòng)駕駛世界模型》。
講者
高深遠(yuǎn)，香港科技大學(xué)在讀博士、上海AI Lab OpenDriveLab實(shí)習(xí)研究員
香港科技大學(xué)在讀博士，研究興趣主要圍繞具身場(chǎng)景中的世界模型。曾在CVPR、NeurIPS、ECCV以第一作者身份發(fā)表多篇論文，并擔(dān)任TPAMI、ICLR、NeurIPS、CVPR等期刊會(huì)議的審稿人。
第 40 講
主 題
《構(gòu)建通用可泛化的自動(dòng)駕駛世界模型
提綱
1. 世界模型的概念及其重要性
2. 現(xiàn)有自動(dòng)駕駛世界模型及其局限性
3. 大規(guī)模自動(dòng)駕駛長(zhǎng)視頻數(shù)據(jù)集OpenDV-2K
4. 高質(zhì)量可控的自動(dòng)駕駛世界模型Vista
5. 現(xiàn)存挑戰(zhàn)與未來(lái)展望
直 播 信 息?
直播時(shí)間：10月25日19:00
成果
論文標(biāo)題
《GenAD: Generalized Predictive Model for Autonomous Driving》
《Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability》
論文鏈接
https://arxiv.org/abs/2403.09630
https://arxiv.org/abs/2405.17398
如何報(bào)名
有講座直播觀看需求的朋友，可以添加小助手“陳新”進(jìn)行報(bào)名。已添加過(guò)“陳新”的老朋友，可以給“陳新”私信，發(fā)送“自動(dòng)駕駛40”進(jìn)行報(bào)名。對(duì)于通過(guò)報(bào)名的朋友，之后將邀請(qǐng)入群進(jìn)行觀看和交流。
