在「生成對抗網(wǎng)絡(luò)GAN專題講座」前4講中,獨(dú)立藝術(shù)家、游戲開發(fā)者大谷Spitzer,港中文MMLab實驗室在讀博士劉睿,中科院計算所博士(京東DMT)何振梁和羅格斯大學(xué)在讀博士韓立功,分別講解了《人工智能影像修復(fù)與AI藝術(shù)創(chuàng)作》、《基于條件生成對抗網(wǎng)絡(luò)的多樣化圖像生成》、《GAN的層次化可解釋維度學(xué)習(xí)》和《基于雙投影判別器的條件生成對抗網(wǎng)絡(luò)》等內(nèi)容。錯過直播的朋友可以點擊“閱讀原文”觀看。

12月10日晚7點,南洋理工大學(xué)MMLab實驗室在讀博士姜瑜銘將以《對話驅(qū)動的高細(xì)粒度人臉編輯》為主題,帶來第5講的直播講解。

日常生活中,經(jīng)常會用到一些人臉編輯軟件(抖音、快手、美圖秀秀)讓照片有更好的效果和呈現(xiàn),在抖音、快手等的人臉特效中,GAN的身影處處都可見。但現(xiàn)有的人臉編輯大多采用手動的交互方式,需要手動選擇想要的發(fā)型、妝容,并且這些發(fā)型、妝容大多是固定的版式且細(xì)節(jié)信息不足,這與想要的效果有很大差異。那如何設(shè)計一個多樣且細(xì)粒度的交互式人臉編輯呢?

交互式的人臉編輯系統(tǒng)“Talk-to-Edit”可以滿足上面的需求,它通過用戶和系統(tǒng)之間的對話進(jìn)行細(xì)粒度的人臉屬性操作。在Talk-to-Edit系統(tǒng)中,只需告訴它你想怎么編輯,它就會分分鐘幫你搞定。

Talk-to-Edit系統(tǒng)通過StyleGAN模型進(jìn)行預(yù)訓(xùn)練,為了對人臉做到連續(xù)且細(xì)粒度的編輯,在StyleGAN的隱空間中構(gòu)建了一個語義場。語義場是一個非線性的向量場,它具有兩個特性:1) 對同一個人臉來說,不斷改變某一個屬性,所需要的編輯方向是不斷變化的。2)在編輯同一個屬性時,對于不同人,所需要的編輯方向也是不同的?;谡Z義場可以在人臉編輯過程中更好的保留這個人的身份特征,并且在編輯某一個語義特征時減少對其他無關(guān)語義特征的改變。

同時,Talk-to-Edit還用一個基于LSTM的Language Encoder來理解用戶的編輯要求,并將編碼后的編輯要求傳遞給語義場從而指導(dǎo)人臉編輯。更多Talk-to-Edit系統(tǒng)的實現(xiàn)細(xì)節(jié),姜瑜銘博士將在本次講座中進(jìn)行深度解讀,感興趣的小伙伴千萬不要錯過。

姜瑜銘是新加坡南洋理工大學(xué)MMLab實驗室在讀博士,師從劉子緯教授和呂健勤教授。他本科畢業(yè)于電子科技大學(xué),主要研究方向為圖像的生成、編輯和復(fù)原。

本次講座將在智東西公開課知識店鋪進(jìn)行,包含主講和問答兩個部分,其中主講環(huán)節(jié)40分鐘,問答環(huán)節(jié)20分鐘。本次講座已組建交流群,并邀請姜瑜銘博士加入,歡迎感興趣的朋友申請。

主題

對話驅(qū)動的高細(xì)粒度人臉編輯

提綱

1、人臉編輯問題的研究
2、基于預(yù)訓(xùn)練StyleGAN的人臉編輯
3、Talk-to-Edit:對話式交互的高細(xì)粒度人臉編輯系統(tǒng)
4、視覺語言人臉屬性數(shù)據(jù)集 CelebA-Dialog
5、未來展望

主講人介紹

姜瑜銘,新加坡南洋理工大學(xué)MMLab實驗室在讀博士,師從劉子緯教授和呂健勤教授;本科畢業(yè)于電子科技大學(xué),主要研究方向為圖像的生成、編輯和復(fù)原。

直播信息

直播時間:12月10日19:00
直播地點:智東西公開課知識店鋪