還記得之前抖音爆火的人臉特效嗎？輸入一張人臉照片，就可生成一張動(dòng)漫人臉圖像。這背后的技術(shù)離不開基于樣例的人臉風(fēng)格化，它通過渲染人臉照片使其風(fēng)格與指定的動(dòng)漫樣例畫風(fēng)一致，從而生成自己喜歡的動(dòng)漫角色。
然而現(xiàn)在的動(dòng)漫人臉生成方法要么依賴大量的訓(xùn)練數(shù)據(jù)，雖然取得了不錯(cuò)的效果，但這類方法只適用于小尺寸圖像，難以滿足實(shí)際需求；要么是基于StyleGAN在小規(guī)模動(dòng)漫人臉數(shù)據(jù)集上微調(diào)，但該方法只能學(xué)習(xí)數(shù)據(jù)集的一個(gè)總體風(fēng)格，無法精確模擬數(shù)據(jù)集中指定的動(dòng)漫人像樣例的風(fēng)格。那如何在小樣本數(shù)據(jù)集上實(shí)現(xiàn)高清的動(dòng)漫人臉風(fēng)格呢？
針對(duì)上述難題，南洋理工大學(xué)博士后研究員楊帥等人提出了DualStyleGAN網(wǎng)絡(luò)。它是在StyleGAN的基礎(chǔ)上添加外部風(fēng)格控制模塊，構(gòu)建全新的雙路風(fēng)格生成網(wǎng)絡(luò)。
DualStyleGAN通過漸進(jìn)的遷移學(xué)習(xí)方法在小規(guī)模數(shù)據(jù)上學(xué)習(xí)外部風(fēng)格，能夠在保持自身人臉領(lǐng)域風(fēng)格建模的同時(shí)，接受外部動(dòng)漫人臉風(fēng)格上的條件控制，有效地模仿動(dòng)漫的畫風(fēng)，實(shí)現(xiàn)高清的動(dòng)漫人臉風(fēng)格化。此外，DualStyleGAN 對(duì)訓(xùn)練數(shù)據(jù)非常高效，只需大約 200 張圖片，便可以訓(xùn)練得到不錯(cuò)的結(jié)果。該工作被CVPR 2022接收。想要給自己人臉照片換個(gè)畫風(fēng)的朋友可以試試下面的代碼。
5月6日，「AI新青年講座」第13講特邀南洋理工大學(xué)博士后研究員楊帥參與，主講《基于小樣本的高清動(dòng)漫人臉風(fēng)格生成網(wǎng)絡(luò)DualStyleGAN》。
講者
楊帥，南洋理工大學(xué)MMLab實(shí)驗(yàn)室博士后研究員，博士畢業(yè)于北京大學(xué)王選計(jì)算機(jī)研究所，主要研究興趣為圖像/文字風(fēng)格化、圖像轉(zhuǎn)換和圖像編輯等；發(fā)表一作頂會(huì)頂刊論文十余篇，獲得IEEE ICME 2020最佳論文獎(jiǎng)。
主題
基于小樣本的高清動(dòng)漫人臉風(fēng)格生成網(wǎng)絡(luò)DualStyleGAN
提綱
1、基于樣例的人臉風(fēng)格化
2、圖像轉(zhuǎn)換與StyleGAN方法的局限性
3、小樣本上的高清人臉風(fēng)格化網(wǎng)絡(luò)DualStyleGAN
4、模仿動(dòng)漫風(fēng)格的人臉生成Demo
直播信息
直播時(shí)間：5月6日19:00
直播地點(diǎn)：智東西公開課知識(shí)店鋪
論文成果
論文名稱：
Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer
論文地址：
https://arxiv.org/pdf/2203.13248.pdf
代碼地址：
https://github.com/williamyang1991/DualStyleGAN
