作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究方向，相比于二維圖像，三維點(diǎn)云包含了更加豐富的幾何、形狀和結(jié)構(gòu)信息，能為場(chǎng)景感知和理解提供更多可能性。但目前大多數(shù)點(diǎn)云研究集中在對(duì)靜態(tài)點(diǎn)云的建模與理解，像點(diǎn)云分割、點(diǎn)云上采樣、點(diǎn)云補(bǔ)全等，而對(duì)動(dòng)態(tài)點(diǎn)云或點(diǎn)云視頻的研究相對(duì)較少。
點(diǎn)云視頻含有豐富的視覺(jué)信息，可以充分了解我們生活的3D世界。此外，由于點(diǎn)云視頻比傳統(tǒng)視頻涵蓋更多、更精確的人體幾何位置坐標(biāo)，所以點(diǎn)云視頻為低能見(jiàn)度環(huán)境中的動(dòng)作識(shí)別提供保障。因此，理解點(diǎn)云視頻對(duì)于智能系統(tǒng)與世界交互非常重要。
目前，點(diǎn)云視頻的建模與理解有兩大挑戰(zhàn)。首先，不同于有序、規(guī)則像素的圖像，點(diǎn)云是無(wú)序、不規(guī)則的點(diǎn)集合。單幀點(diǎn)云的無(wú)序性使得獲取到的點(diǎn)集在整個(gè)視頻里出現(xiàn)的順序無(wú)法做到一致。雖然可采用點(diǎn)追蹤的方式來(lái)獲取點(diǎn)的運(yùn)動(dòng)，但追蹤本身就極具挑戰(zhàn)，很難獲得準(zhǔn)確的軌跡，尤其對(duì)于較長(zhǎng)的視頻；其次，點(diǎn)云視頻雖然在空間維度是無(wú)序不規(guī)則的，但在時(shí)間維度是規(guī)則有序的。在對(duì)點(diǎn)云視頻進(jìn)行建模與理解時(shí)，需要減少空間建模對(duì)時(shí)間建模的影響。
那如何解決這兩大挑戰(zhàn)呢？8月30日晚7點(diǎn)，智東西公開(kāi)課特邀新加坡國(guó)立大學(xué)研究員范鶴鶴主講《基于深度學(xué)習(xí)的三維點(diǎn)云視頻建模與理解》，這是學(xué)術(shù)新青年講座的第12講。
在本次講座中，范老師將從三維點(diǎn)云視頻建模的背景與難點(diǎn)出發(fā)，詳細(xì)分析局部建模的時(shí)空金字塔模型PSTNet和非局部建模的自注意力模型P4Transformer，這兩個(gè)模型都可以有效的解決點(diǎn)云視頻建模的兩大挑戰(zhàn)，最后探討這兩個(gè)模型在三維動(dòng)作識(shí)別和四維語(yǔ)義分割上的應(yīng)用。
范鶴鶴是新加坡國(guó)立大學(xué)研究員，博士畢業(yè)于悉尼科技大學(xué)。他主要從事深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)以及多媒體技術(shù)相關(guān)方面的研究，并在曾在ICLR、CVPR、ICCV等會(huì)議和期刊上發(fā)表多篇論文。
本次講座將在智東西公開(kāi)課知識(shí)社區(qū)進(jìn)行，包含主講和問(wèn)答兩個(gè)部分，其中主講環(huán)節(jié)40分鐘，問(wèn)答環(huán)節(jié)20分鐘。每個(gè)環(huán)節(jié)主講老師都將通過(guò)視頻直播進(jìn)行實(shí)時(shí)講解與互動(dòng)。
課程主題
基于深度學(xué)習(xí)的三維點(diǎn)云視頻建模與理解
課程提綱
1、三維點(diǎn)云視頻建模的背景與挑戰(zhàn)
2、基于局部建模的時(shí)空金字塔模型PSTNet
3、基于非局部建模的自注意力模型P4Transformer
4、在三維動(dòng)作識(shí)別和四維語(yǔ)義分割上的應(yīng)用
講師介紹
范鶴鶴，新加坡國(guó)立大學(xué)研究員，博士畢業(yè)于悉尼科技大學(xué)；主要從事深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)以及多媒體技術(shù)相關(guān)方面的研究，曾在ICLR、CVPR、ICCV等會(huì)議和期刊上發(fā)表多篇論文。
直播信息
直播時(shí)間：8月30日晚7:00
直播地點(diǎn)：智東西公開(kāi)課知識(shí)社區(qū)
