「CV前沿講座」，是智東西公開課針對計算機視覺推出的一檔講座，聚焦于計算機視覺前沿領(lǐng)域研究成果與進展。我們將持續(xù)邀請研究者、專家與資深開發(fā)者，為大家?guī)碇辈ブv解。畫家創(chuàng)作時通常會參考其他人的作品?:?如果其他作品中有某些細(xì)節(jié)很適合于手頭上的作品，也許會直接“復(fù)制”到自己的作品上。但是，與完全的“復(fù)制”有所不同，通常畫家會改變原作品的風(fēng)格，使其與自己的創(chuàng)作風(fēng)格一致，這就帶來了大量藝術(shù)品的鑒別問題。隨著計算機視覺的發(fā)展，近幾年國內(nèi)外學(xué)者開始探索運用AI輔助藝術(shù)品的鑒別。當(dāng)計算機視覺邂逅藝術(shù)，又會摩擦出怎樣的火花呢？AI又將如何輔助名畫鑒別呢？
藝術(shù)史學(xué)家們常常費勁心力在一個大型畫作數(shù)據(jù)集中試圖找到作品之間的重復(fù)的細(xì)節(jié)從而建立作品之間的聯(lián)系。這個任務(wù)在計算機視覺里可以歸類成Object Discovery。 Object Discovery 是一個在無標(biāo)注的數(shù)據(jù)集中，找到相似物體的任務(wù)。在CVPR 2019會議中，來自巴黎高科路橋大學(xué)的在讀博士沈西分享了在這一課題上的研究進展。沈博所在團隊提出一種基于空間一致性 (spaitial consistency)的方法，對ImageNet特征進行微調(diào)(fine-tuning)，使得ImageNet特征可以匹配不同風(fēng)格的圖片。使用微調(diào)后的特征，通過在大規(guī)?？顼L(fēng)格的經(jīng)典畫作數(shù)據(jù)集Brueghel上運行一個簡單的Object Discovery算法，便可以找到跨時代的不同畫家之間作品的聯(lián)系。
此外，這種空間一致性的思想稍加改變后，就能應(yīng)用在歷史水印識別上。歷史水印識別是檔案工作者和歷史學(xué)家面臨的一個高度實用但尚未解決的任務(wù)。歷史水印具有極少標(biāo)注 (約6K)、 ?圖片噪聲過大、識別類別過多(16K) 和不同類別之間細(xì)微的差異等難點。面對這一難點，沈博所在團隊選擇運用極少的標(biāo)注微調(diào)局部特征 (local feature instead of global pooled feature)。微調(diào)后的局部特征，可以實現(xiàn)跨域識別(cross-domain recognition) ,?在超過16K細(xì)粒度分類的數(shù)據(jù)集中。相比于傳統(tǒng)強基線方法，準(zhǔn)確率得到了顯著提升。
在ECCV 2020會議中， 為解決圖像之間的對齊問題，沈博所在團隊新提出了一種無監(jiān)督學(xué)習(xí)的二階圖像對齊方法。該方法包括兩階段：首先，使用預(yù)訓(xùn)練的分類特征進行匹配，并利用Random Sample Consensus(RANSAC)算法，過濾掉噪音匹配并得到粗略對齊(Homography); 然后通過神經(jīng)網(wǎng)絡(luò)預(yù)測光流，并優(yōu)化粗略對齊圖像之間的標(biāo)準(zhǔn)結(jié)構(gòu)相似度度量(SSIM)，整個過程無需人為的監(jiān)督信息。實驗上證，該方法在很多任務(wù)上都有不錯的效果，如3D重建、多張圖片對齊、無監(jiān)督光流等。
9月22日晚8點，智東西公開課邀請到巴黎高科路橋大學(xué)在讀博士沈西參與到「CV前沿講座」第18講，帶來主題為《計算機視覺邂逅藝術(shù)?–?名畫鑒別中的圖像識別》的直播講解。沈博將從數(shù)據(jù)集中的object discovery出發(fā)，介紹一種簡單的特征自適應(yīng)的方法；然后在該方法的基礎(chǔ)上調(diào)整局部特征進行古文檔水印的識別；最后詳解新提出的一種無監(jiān)督學(xué)習(xí)的光流算法，可精細(xì)對準(zhǔn)具有較大差別光照和視角的圖片。感興趣的朋友一定不要錯過！
沈西是巴黎高科路橋大學(xué)在讀博士，是Imagine實驗室成員，導(dǎo)師為Mathieu Aubry教授。他的主要研究方向為無監(jiān)督以及弱監(jiān)督學(xué)習(xí)，應(yīng)用包括度量學(xué)習(xí)，三維重建以及光流等。沈博曾在CVPR，ECCV，ICLR等頂級學(xué)術(shù)會議上發(fā)表多篇論文。
課程內(nèi)容
課程主題
《計算機視覺邂逅藝術(shù)?–?名畫鑒別中的圖像識別》
課程提綱
1、藝術(shù)畫作數(shù)據(jù)集中的臨摹和借鑒問題
2、ArtMiner：基于自監(jiān)督學(xué)習(xí)的自適應(yīng)特征模式識別方法
3、通用圖像對齊：一種無監(jiān)督學(xué)習(xí)的二階圖像對齊方法
4、AI鑒別名畫項目實踐
講師介紹
沈西，巴黎高科路橋大學(xué)在讀博士，Imagine 實驗室，導(dǎo)師是Mathieu Aubry；主要研究方向為無監(jiān)督以及弱監(jiān)督學(xué)習(xí)，應(yīng)用包括度量學(xué)習(xí)，三維重建以及光流等；曾在CVPR，ECCV，ICLR等頂級學(xué)術(shù)會議上發(fā)表多篇論文。
直播信息
直播時間：9月22日20:00
直播地點：智東西公開課小程序
答疑地址：「圖像檢測與識別討論群」
加入討論群
本次課程的講解分為主講和答疑兩部分，主講以視頻直播形式，答疑將在「圖像檢測與識別討論群」進行。
加入討論群，除了可以免費收看直播之外，還能認(rèn)識講師，與更多同行和同學(xué)一起學(xué)習(xí)，并進行深度討論。
添加小助手糖糖（ID：hitang20）即可申請，備注“姓名-公司/學(xué)校/單位-職位/專業(yè)”的朋友將會優(yōu)先審核通過哦~
