近期，3D擴(kuò)散模型在物體生成領(lǐng)域已取得了顯著進(jìn)展，目前已能夠生成精細(xì)且逼真的三維物體。然而，當(dāng)嘗試將這些模型應(yīng)用于更廣泛的三維場(chǎng)景生成時(shí)，卻受到了空間范圍或生成質(zhì)量的限制。具體而言，模型在處理大規(guī)模和復(fù)雜的三維場(chǎng)景時(shí)，往往難以在保證細(xì)節(jié)質(zhì)量的同時(shí)，有效地覆蓋整個(gè)場(chǎng)景空間。
為了解決以上問(wèn)題，來(lái)自慕尼黑工業(yè)大學(xué)3D AI Lab的在讀博士生孟權(quán)提出了一種基于隱式樹表征的無(wú)限三維場(chǎng)景生成模型LT3SD，實(shí)現(xiàn)了高質(zhì)量、大規(guī)模三維場(chǎng)景的高效生成。相關(guān)論文為《LT3SD: Latent Trees for 3D Scene Diffusion》。
LT3SD是一種新型的潛在擴(kuò)散模型，用于大規(guī)模3D場(chǎng)景生成。其核心是在潛在的3D場(chǎng)景空間中學(xué)習(xí)生成擴(kuò)散過(guò)程，對(duì)每個(gè)分辨率級(jí)別場(chǎng)景的潛在組件進(jìn)行建模。
隱式樹表征是一種層次化的數(shù)據(jù)結(jié)構(gòu)，用于捕捉三維場(chǎng)景中的層次關(guān)系。該結(jié)構(gòu)將三維場(chǎng)景逐步分解為由粗到細(xì)的層次化的結(jié)構(gòu)，每個(gè)層次包括幾何體和潛在特征的分解，以有效編碼低頻幾何圖形和高頻細(xì)節(jié)。
為了合成不同尺寸的大規(guī)模場(chǎng)景，LT3SD在每個(gè)分辨率級(jí)別訓(xùn)練潛在擴(kuò)散模型，使用分塊訓(xùn)練策略學(xué)習(xí)場(chǎng)景局部結(jié)構(gòu)，并通過(guò)跨多個(gè)場(chǎng)景塊的擴(kuò)散生成共享，實(shí)現(xiàn)任意大小的三維場(chǎng)景生成。
實(shí)驗(yàn)證明，LT3SD在大規(guī)模高質(zhì)量無(wú)條件三維場(chǎng)景生成，以及基于部分場(chǎng)景的概率補(bǔ)全方面都具備有效性和優(yōu)勢(shì)。
10月17日10點(diǎn)，智猩猩邀請(qǐng)到論文一作、慕尼黑工業(yè)大學(xué)3D AI Lab在讀博士生孟權(quán)參與「智猩猩AI新青年講座」253講，主講《無(wú)限三維場(chǎng)景生成》。
講者
孟權(quán)
慕尼黑工業(yè)大學(xué)3D AI Lab的在讀博士生
第253講
主題
無(wú)限三維場(chǎng)景生成
提綱
1、現(xiàn)有三維場(chǎng)景生成方法及難點(diǎn)
2、三維場(chǎng)景的隱式樹表征
3、分塊訓(xùn)練的潛在場(chǎng)景擴(kuò)散模型
4、無(wú)限三維場(chǎng)景生成結(jié)果與應(yīng)用
直播信息
直播時(shí)間：10月17日10:00
成果
論文標(biāo)題
《LT3SD: Latent Trees for 3D Scene Diffusion》
論文鏈接
https://arxiv.org/abs/2409.08215
項(xiàng)目網(wǎng)站
https://quan-meng.github.io/projects/lt3sd/
如何報(bào)名
有講座直播觀看需求的朋友，可以添加小助手“米婭”進(jìn)行報(bào)名。已添加過(guò)“米婭”的老朋友，可以給“米婭”私信，發(fā)送“ANY253”進(jìn)行報(bào)名。對(duì)于通過(guò)報(bào)名的朋友，之后將邀請(qǐng)入群進(jìn)行觀看和交流。
