「自動(dòng)駕駛新青年講座」由智猩猩企劃，致力于邀請(qǐng)全球知名高校、頂尖研究機(jī)構(gòu)以及優(yōu)秀企業(yè)的新青年，主講在環(huán)境感知、精準(zhǔn)定位、決策規(guī)劃、控制執(zhí)行等自動(dòng)駕駛關(guān)鍵技術(shù)上的最新研究成果和開發(fā)實(shí)踐。
「自動(dòng)駕駛新青年講座」目前已完結(jié)34講，有興趣分享的朋友，可以與智猩猩教研團(tuán)隊(duì)進(jìn)行郵件（class@m.loveliyi.com）聯(lián)系
自動(dòng)駕駛領(lǐng)域的算法研究和落地應(yīng)用已經(jīng)取得了諸多顯著進(jìn)展，但這些近期的工作在遇到長(zhǎng)尾事件和復(fù)雜城市駕駛場(chǎng)景時(shí)，仍存在一系列困難與挑戰(zhàn)，甚至可能引發(fā)嚴(yán)重的駕駛事故。
更具體來(lái)說(shuō)，以往的自動(dòng)駕駛方法傾向于依賴有限格式的輸入（例如傳感器數(shù)據(jù)和導(dǎo)航點(diǎn)），限制了車輛理解語(yǔ)言信息和與人交互的能力。而大語(yǔ)言模型（LLM）相關(guān)的最新研究成果則展現(xiàn)出接近“通用人工智能”的能力，包含一系列令人印象深刻的知識(shí)理解和推理能力。因此，如何將二者有效結(jié)合就成為了一個(gè)值得探索的研究課題。
LMDrive 是香港中文大學(xué)、商湯科技，以及上海人工智能實(shí)驗(yàn)室（OpenDILab 團(tuán)隊(duì)）等機(jī)構(gòu)的研究者們提出的第一個(gè)利用大語(yǔ)言模型進(jìn)行閉環(huán)端到端自動(dòng)駕駛的工作，結(jié)合了自然語(yǔ)言指令和多模態(tài)傳感器數(shù)據(jù)，實(shí)現(xiàn)了復(fù)雜駕駛場(chǎng)景中準(zhǔn)確且高效的導(dǎo)航和人機(jī)交互。
LMDrive 主要從以下四個(gè)方面進(jìn)行了深入的探索和研究：
1、提出全新的自動(dòng)駕駛框架 LMDrive：這是一個(gè)端到端、閉環(huán)、基于語(yǔ)言控制的自動(dòng)駕駛框架，能夠通過(guò)多模態(tài)多視角傳感器數(shù)據(jù)和自然語(yǔ)言指令與動(dòng)態(tài)環(huán)境進(jìn)行交互。
2、構(gòu)建了約 64K 數(shù)據(jù)量的語(yǔ)言引導(dǎo)駕駛數(shù)據(jù)集：其中每個(gè)條目包含一條導(dǎo)航指令、幾條提示指令、一系列多模態(tài)多視角傳感器數(shù)據(jù)和車輛控制信號(hào)。每個(gè)數(shù)據(jù)片段的時(shí)長(zhǎng)從 2 秒到 20 秒不等。
3、推出 LangAuto 基準(zhǔn)測(cè)試框架：用于評(píng)估以語(yǔ)言指令為導(dǎo)航輸入的自動(dòng)駕駛Agent 性能，涵蓋誤導(dǎo)性/冗長(zhǎng)指令和具有挑戰(zhàn)性的對(duì)抗性駕駛場(chǎng)景。
4、進(jìn)行廣泛的閉環(huán)實(shí)驗(yàn)：通過(guò)實(shí)驗(yàn)驗(yàn)證所提出框架的有效性，并分析 LMDrive 的不同組成部分，為沿此方向的研究提供分析。
1月22日晚7點(diǎn)，「自動(dòng)駕駛新青年講座」第35講邀請(qǐng)到 LMDriver 一作、香港中文大學(xué) MMLab 在讀博士邵昊參與，主講《LMDrive：大語(yǔ)言模型加持的閉環(huán)端到端自動(dòng)駕駛框架》。
講者
邵昊，香港中文大學(xué)MMLab在讀博士；師從李鴻升教授和王曉剛教授，研究方向?yàn)槎说蕉俗詣?dòng)駕駛，多模態(tài)大語(yǔ)言模型，視頻理解；曾在CVPR、CoRL、NeurIPS、RSS等頂級(jí)會(huì)議發(fā)表多篇論文；曾獲2022年度CARLA端到端自動(dòng)駕駛挑戰(zhàn)賽冠軍（sensor track），2020年度ActivityNet挑戰(zhàn)賽冠軍等。
第35講
主 題
《LMDrive：大語(yǔ)言模型加持的閉環(huán)端到端自動(dòng)駕駛框架》
提 綱
1、端到端閉環(huán)自動(dòng)駕駛概述
2、基于語(yǔ)言控制的端到端閉環(huán)自動(dòng)駕駛框架 LMDrive
3、64K 數(shù)據(jù)量的語(yǔ)言引導(dǎo)駕駛數(shù)據(jù)構(gòu)建
4、基于語(yǔ)言引導(dǎo)的自動(dòng)駕駛 Agent 性能評(píng)估
5、廣泛的閉環(huán)實(shí)驗(yàn)驗(yàn)證及未來(lái)研究方向探討
直 播 信 息
直播時(shí)間：1月22日19:00
直播地點(diǎn)：智東西公開課知識(shí)店鋪
成果
論文標(biāo)題《LMDrive: Closed-Loop End-to-End Driving with Large Language Models》
論文地址https://arxiv.org/abs/2312.07488
代碼鏈接https://github.com/opendilab/LMDrive
