「自動駕駛新青年講座」由智猩猩企劃，致力于邀請全球知名高校、頂尖研究機構(gòu)以及優(yōu)秀企業(yè)的新青年，主講在環(huán)境感知、精準定位、決策規(guī)劃、控制執(zhí)行等自動駕駛關(guān)鍵技術(shù)上的最新研究成果和開發(fā)實踐。
「自動駕駛新青年講座」目前已完結(jié)31講。有興趣分享的朋友，可以與智猩猩教研團隊進行郵件（class@m.loveliyi.com）聯(lián)系
在傳統(tǒng)的自動駕駛系統(tǒng)中，往往需要復(fù)雜的規(guī)則和獎勵函數(shù)設(shè)計，而且受限于數(shù)據(jù)量和采樣效率，處理罕見事件是一大挑戰(zhàn)。此外，由于神經(jīng)網(wǎng)絡(luò)的黑盒特性，現(xiàn)有基于學習的自動駕駛系統(tǒng)缺乏良好的可解釋性。
針對此問題，來自清華大學和香港大學的研究人員共同提出的一種新型類人智駕系統(tǒng) LanguageMPC，該系統(tǒng)將大語言模型（LLM）和模型預(yù)測控制（MPC）相結(jié)合，利用 LLM 像人一樣思考的能力，將人類常識和推理能力作為自動駕駛系統(tǒng)決策的指導(dǎo)。同時，基于模型預(yù)測控制算法研究員們還開發(fā)了將 LLM 給出的高層決策轉(zhuǎn)化為具體駕駛行為的方法，將高層決策與底層控制器無縫結(jié)合，可與當前各自動駕駛大廠的 MPC 框架完美結(jié)合，無縫銜接。
LanguageMPC 的核心技術(shù)包括專用于駕駛場景的思維鏈框架和高層決策與模型預(yù)測控制銜接。其中，思維鏈框架通過設(shè)計初始 prompt 和多種工具，指導(dǎo) LLM 依次完成對周車的意圖判斷和注意力分配、判斷自車所處情景、給出駕駛動作指引等任務(wù)。而高層決策與模型預(yù)測控制銜接則是通過將 LLM 的決策轉(zhuǎn)化為可操作的駕駛行為。
12月22日晚6點，「自動駕駛新青年講座」第32講邀請到 LanguageMPC 一作、清華大學的沙昊參與，主講《LanguageMPC：以大語言模型為核心的自動駕駛決策和控制系統(tǒng)》。
講者
沙昊，清華大學在讀本科生；研究方向包括2D-3D視覺、自動駕駛、大語言模型等。
第32講
主 題
《LanguageMPC：以大語言模型為核心的自動駕駛決策和控制系統(tǒng)》
提 綱
1、自動駕駛場景的 LLM 專用思維鏈框架
2、基于 LLM 高層決策指導(dǎo)底層控制器
3、在定量指標上的性能體現(xiàn)
4、協(xié)調(diào)多輛汽車等復(fù)雜任務(wù)中的應(yīng)用
直 播 信 息
直播時間：12月22日18:00
直播地點：智猩猩知識店鋪
成果
論文標題：《LanguageMPC:Large Language Models as Decision?Makers for Autonomous Driving》
論文地址：https://arxiv.org/pdf/2310.03026.pdf
