從高速到城區(qū)，自動(dòng)駕駛汽車正面臨著更復(fù)雜的路況，強(qiáng)交互的長尾場景不計(jì)其數(shù)。而直接在城區(qū)進(jìn)行測試存在極高的成本與風(fēng)險(xiǎn)。因此，在仿真測試基準(zhǔn)上進(jìn)行針對(duì)長尾場景的規(guī)控能力評(píng)測成為了業(yè)界的共同選擇。但基于學(xué)習(xí)方法中的模仿學(xué)習(xí)方案高度依賴于對(duì)所有可能出現(xiàn)情況的全覆蓋，強(qiáng)化學(xué)習(xí)方案又需要在仿真中進(jìn)行大規(guī)模的試錯(cuò)探索學(xué)習(xí)規(guī)控策略，其低效性難以應(yīng)對(duì)多達(dá)幾十種的長尾場景。
針對(duì)當(dāng)前技術(shù)難題，上海交通大學(xué)嚴(yán)駿馳老師領(lǐng)導(dǎo)的ReThinkLab提出了一種基于隱世界模型下的高效強(qiáng)化學(xué)習(xí)自動(dòng)駕駛模型Think2Drive，并成為首個(gè)完成CARLA V2全部長尾場景的模型，實(shí)現(xiàn)100%的路線完成率。與Think2Drive相關(guān)的論文收錄于ECCV 2024上。
Think2Drive通過訓(xùn)練世界模型建模自動(dòng)駕駛環(huán)境的變化規(guī)律，并在隱特征空間中進(jìn)行下游規(guī)控網(wǎng)絡(luò)的策略探索。該模型有以下特點(diǎn)：1）隱世界模型可以進(jìn)行快速狀態(tài)推理，具備極高的數(shù)據(jù)效率；2）針對(duì)將強(qiáng)化學(xué)習(xí)應(yīng)用到至自動(dòng)駕駛?cè)蝿?wù)面臨的策略退化、長尾分布、駕駛不穩(wěn)定性等挑戰(zhàn)，提出了周期性重置、自動(dòng)場景生成、終止優(yōu)先回放等特制模塊，可實(shí)現(xiàn)同一規(guī)控網(wǎng)絡(luò)應(yīng)對(duì)幾十種復(fù)雜場景。
Think2Drive建模的世界模型是隱世界模型，通過在該低維空間上基于動(dòng)作預(yù)測未來狀態(tài)，以避免在高維空間上進(jìn)行計(jì)算（像素空間、3D物理空間），極大地加速推理效率。經(jīng)過訓(xùn)練，整個(gè)隱世界模型便可以作為一個(gè)低維的“小世界”，它可以對(duì)駕駛策略采取的動(dòng)作給予獎(jiǎng)懲，也可預(yù)測基于該動(dòng)作的未來狀態(tài)，此時(shí)它表現(xiàn)為一個(gè)神經(jīng)網(wǎng)絡(luò)模擬器，是對(duì)駕駛環(huán)境的一個(gè)最小仿真。
基于Think2Drive專家模型，上海交通大學(xué)ReThinkLab又推出了首個(gè)端到端自動(dòng)駕駛綜合能力閉環(huán)評(píng)估開放平臺(tái)Bench2Drive。
Bench2Drive具有一個(gè)由最先進(jìn)的專家模型Think2Drive收集的官方訓(xùn)練數(shù)據(jù)集，包含200萬個(gè)完全標(biāo)注的幀，來源于10000個(gè)片段。這些數(shù)據(jù)涵蓋了44種不同的交互式場景。評(píng)估協(xié)議包括220條短路線，每條路線大約只有150米長，并包含一個(gè)特定的場景。
通過這種方式，對(duì)單個(gè)技能的評(píng)估被隔離出來，從而允許對(duì)44種不同技能集的自動(dòng)駕駛系統(tǒng)熟練程度進(jìn)行詳細(xì)的比較。此外，每條路線的簡短性減輕了指數(shù)衰減函數(shù)對(duì)駕駛分?jǐn)?shù)的影響，使得不同系統(tǒng)之間的性能比較更加準(zhǔn)確和有意義。該基準(zhǔn)為研究人員提供了一種在現(xiàn)實(shí)、全面和公平的環(huán)境中細(xì)化和評(píng)估其端到端自動(dòng)駕駛系統(tǒng)的重要工具。
7月31日晚7點(diǎn)，智猩猩邀請(qǐng)到論文一作、上海交通大學(xué)ReThinkLab嚴(yán)駿馳組在讀博士李奇峰參與「智猩猩自動(dòng)駕駛新青年講座」第37講，主講《首解CARLA V2:基于隱世界模型的自駕強(qiáng)化模型Think2Drive》。
講者
李奇峰，上海交通大學(xué)ReThinkLab嚴(yán)駿馳組在讀博士
李奇峰，上海交通大學(xué)ReThinkLab在讀博士，師從嚴(yán)駿馳老師。主要研究方向?yàn)榛趶?qiáng)化學(xué)習(xí)的自動(dòng)駕駛規(guī)控、端到端自動(dòng)駕駛等。
上海交通大學(xué)ReThinkLab近年來在自動(dòng)駕駛方向上的成果橫跨自動(dòng)駕駛中的感知、預(yù)測、決策領(lǐng)域，并開創(chuàng)性的深入探索了感知決策一體化自動(dòng)駕駛。其中包括清華A/CCF-A類論文10余篇，CVPR2023最佳論文、CVPR2024最佳論文候選, 兩篇Oral (<3%)工作。在CARLA V1/V2，nuScenes, Waymo等多個(gè)公開數(shù)據(jù)集上取得了國際領(lǐng)先的性能，尤其是在端到端自動(dòng)駕駛方面的工作已成為領(lǐng)域經(jīng)典算法。
第 37 講
主 題
《首解CARLA V2:基于隱世界模型的自駕強(qiáng)化模型Think2Drive》
提 綱
1、CARLA v2 閉環(huán)仿真測評(píng)基準(zhǔn)簡介
2、隱世界模型概述及其在自動(dòng)駕駛中的應(yīng)用
3、基于隱世界模型的強(qiáng)化學(xué)習(xí)自動(dòng)駕駛模型Think2Drive
4、端到端自動(dòng)駕駛閉環(huán)評(píng)估開放平臺(tái)Bench2Drive
5、先進(jìn)E2E-AD方法測試及評(píng)估
直 播 信 息
直播時(shí)間：7月31日19:00
直播地點(diǎn)：智猩猩GenAI視頻號(hào)
成果
論文標(biāo)題1
《hink2drive: Efficient reinforcement learning by thinking in latent world model for quasi-realistic autonomous driving (in carla-v2)》
論文鏈接1
https://arxiv.org/abs/2402.16720
論文標(biāo)題2
《Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving》
論文鏈接2
https://arxiv.org/abs/2406.03877
項(xiàng)目地址2
https://thinklab-sjtu.github.io/Bench2Drive/
入群申請(qǐng)
本次講座組建了學(xué)習(xí)交流群。加入學(xué)習(xí)交流群，除了可以觀看直播，并提前拿到課件外，你還能結(jié)識(shí)更多研究人員和開發(fā)者，所提問題也將會(huì)優(yōu)先解答。
希望入群的朋友可以掃描下方二維碼，添加小助手陳新進(jìn)行申請(qǐng)。已添加過陳新的老朋友，可以給陳新私信，發(fā)送“自動(dòng)駕駛37”進(jìn)行申請(qǐng)。
