「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年,主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進對人工智能前沿研究的理解,相應領域的專業(yè)知識也能夠得以積累加深。同時,通過與AI新青年的直接交流,大家在AI學習和應用AI的過程中遇到的問題,也能夠盡快解決。

有興趣分享學術成果的朋友,可以與智東西公開課教研團隊進行郵件(class@m.loveliyi.com)聯(lián)系。

人臉生成具有廣泛的應用,現有較好的基于StyleGAN的人臉生成方法,然而其僅能生成2D人臉,在3D人臉生成上無能為力。3D感知人臉生成旨在通過語義分割圖生成3D人臉,而其目前主要面臨兩大問題,一是生成的人臉分辨率較低,二是對生成的高清人臉很難進行實時的編輯。

為了解決上述問題,清華大學三維視覺實驗室在讀博士孫景翔等人提出了三維人臉語義編輯系統(tǒng)IDE-3D,這是一個兩全其美的系統(tǒng),既能生成高清的3D人臉,也能對人臉進行實時地編輯。

IDE-3D主要由三個部分組成:

(1)一個基于StyleGAN2的3D語義感知人臉生成模型,用來生成視角一致的、紋理和幾何相互解耦的人臉圖像和語義掩碼。
(2)一種混合GAN反演方法,通過語義和紋理編碼器對單視角圖像進行編碼,得到初始的隱式編碼,并通過進一步的優(yōu)化策略實現高保真的人臉編輯。
(3)一個高效的正則空間人臉編輯器,將正則視角下編輯的語義掩碼轉化成隱式編碼,從而產生高質量的局部編輯結果。

通過這三個部分,IDE-3D能夠支持許多靈活和交互式的人臉任務,例如自由視角人臉生成、編輯和風格遷移,以及真實人臉的反演與實時編輯,并且在照片寫實、忠實度和效率方面達到最先進的水平。

10月11日晚6點,「AI新青年講座」第163講邀請到清華大學三維視覺實驗室在讀博士孫景翔參與,主講《基于StyleGAN2的高清3D感知人臉生成與編輯》。

講 者

孫景翔,清華大學三維視覺實驗室在讀博士;師從劉燁斌教授,碩士畢業(yè)于伊利諾伊大學香檳分校,研究方向為三維視覺,特別是三維場景表征與生成,曾在CVPR、ECCV、SIGGRAPH Asia等會議和期刊發(fā)表文章多篇。

主 題

《基于StyleGAN2的高清3D感知人臉生成與編輯》

提 綱

1、現有3D感知人臉生成與編輯的困境
2、基于StyleGAN2的3D感知人臉生成模型
3、利用混合GAN反演實現高保真3D人臉編輯
4、在人臉生成與編輯任務中的應用

直播信息

直播時間:10月11日18:00
直播地點:智東西公開課知識店鋪

成 果

IDE-3D:《IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis》
論文鏈接:https://arxiv.org/pdf/2205.15517.pdf
開源代碼:https://github.com/MrTornado24/IDE-3D