近年來，基于激光雷達的場景生成技術正在迅速發(fā)展，但現(xiàn)有方法主要是生成靜態(tài)和單幀場景，忽略了真實駕駛環(huán)境固有的動態(tài)特性。
為此，上海AI Lab聯(lián)合CMU、NUS等提出一個4D動態(tài)場景生成框架DynamicCity，該框架能夠生成大規(guī)模、高質量的動態(tài)4D點云場景。其中，CMU碩士在讀、上海AI Lab科研實習生卞恒瑋為論文一作，新加坡國立大學博士在讀、上海AI Lab科研實習生孔令東為論文二作。
DynamicCity框架采用了VAE模型學習HexPlane作為緊湊的4D表示，結合新提出的投影模塊和擴展壓縮策略，顯著提升了HexPlane的擬合質量、重建效率和精度。該框架還引入了“HexPlane展開”操作，結合基于DiT的擴散模型實現(xiàn)了HexPlane生成。
此外，DynamicCity框架通過條件化生成與HexPlane操控，支持多樣化的4D動態(tài)場景生成應用，例如軌跡驅動生成 (trajectory-guided?generation)、命令控制生成 (command-controlled generation) 、場景布局條件生成 (layout-conditioned generation) 以及場景和物體inpainting等，展現(xiàn)了優(yōu)異的4D場景生成性能和廣泛的應用前景。
1月23日晚上7點，智猩猩邀請到卡耐基梅隆大學碩士在讀、上海人工智能實驗室科研實習生，以及新加坡國立大學博士在讀、上海人工智能實驗室科研實習生孔令東參與「智猩猩新青年講座自動駕駛專題」第43講，主講《大規(guī)模4D自動駕駛場景生成》。
講者
卞恒瑋，卡耐基梅隆大學碩士在讀、上海人工智能實驗室科研實習生
卡耐基梅隆大學碩士研究生在讀，本科畢業(yè)于新加坡南洋理工大學。同期于上海人工智能實驗室3D AIGC團隊擔任科研實習生，導師是潘亮博士。研究方向為大規(guī)模3D場景生成。相關研究成果發(fā)表于CVPR、NeurIPS、MICCAI等國際會議中。
孔令東，新加坡國立大學博士在讀、上海人工智能實驗室科研實習生
新加坡國立大學計算機系博士在讀，本科畢業(yè)于華南理工大學。于上海人工智能實驗室、英偉達研究院、字節(jié)跳動AI Lab等機構進行科研實習。研究方向為3D場景感知、理解與生成。相關研究成果發(fā)表于TPAMI、CVPR、ICCV、ECCV、NeurIPS、ICLR等國際期刊和會議中。
第 43 講
?主 題?
《大規(guī)模4D自動駕駛場景生成》
?提 綱?
1、3D和4D生成概述
2、4D場景生成基礎知識
3、4D動態(tài)場景生成框架DynamicCity
4、實驗結果評估與分析
5、4D場景生成前景與應用
?直 播 信 息?
直播時間：1月23日19:00
成果
論文標題
《DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes》
論文鏈接
https://arxiv.org/abs/2410.18084
項目地址
https://dynamic-city.github.io
收錄情況
ICLR 2025 在投
如何報名
有講座直播觀看需求的朋友，可以添加小助手“陳新”進行報名。已添加過“陳新”的老朋友，可以給“陳新”私信，發(fā)送“自動駕駛43”進行報名。對于通過報名的朋友，之后將邀請入群進行觀看和交流。
