智東西（公眾號(hào)：zhidxcom）
文 | Lina
智東西4月25日消息，今天，為期三天的ICLR國際學(xué)習(xí)表征會(huì)議（International Conference on Learning Representations）在法國土倫舉行。
可別小看ICLR這個(gè)名字拗口的大會(huì)，它可是由深度學(xué)習(xí)三巨頭之二——Yann LeCun和Yoshua Bengio共同組織舉辦的，ICLR雖然只舉辦了5年，但隨著深度學(xué)習(xí)的日漸火熱，這一聲名鵲起的學(xué)術(shù)大會(huì)已然成為深度學(xué)習(xí)領(lǐng)域最重要的會(huì)議之一。
這三天里，來自世界各地的機(jī)器學(xué)習(xí)專家大牛集聚一堂，探討有關(guān)表征學(xué)習(xí)、深度學(xué)習(xí)等最技術(shù)中最為前沿的發(fā)展。其研究主旨大概可以總結(jié)為一句：如何讓算法的應(yīng)用更廣、消耗更少、開源節(jié)流。這些技術(shù)應(yīng)用的領(lǐng)域范圍也非常廣泛，視覺、語音、文字理解、游戲、音樂等等，不一而足。（大會(huì)的21個(gè)演講見文內(nèi)表格）
本文將介紹ICLR的3篇最佳論文、6位學(xué)術(shù)大牛，21個(gè)主題演講、以及業(yè)內(nèi)人士對(duì)于這個(gè)會(huì)議態(tài)度不一的看法，還有贊助商小八卦喲~
一、ICLR的前世今生
（左Yoshua Bengio，右Yann LeCun）
從1999年以來，Yann LeCun和Yoshua Bengio這兩位大牛就一同組織過不少學(xué)術(shù)研討會(huì)，第一屆ICLR在2013年美國亞利桑州斯科茨代爾市舉辦，共有28篇論文入選，今年這一數(shù)字飆升到了648篇（490篇Conforence Track公開論文，以及158篇Workshop Track研討會(huì)論文）
主辦人之一Yann LeCun是現(xiàn)任Facebook人工智能研究院的院長，兼任美國紐約大學(xué)教授，同時(shí)還是深度學(xué)習(xí)重要分支——卷積神經(jīng)網(wǎng)絡(luò)（CNN, Convolutional Neural Nets）的發(fā)明人之一；此前曾來北京清華大學(xué)做過一次《深度學(xué)習(xí)與AI未來》的主題演講，智東西也去到了現(xiàn)場(chǎng)（一票難求的清華深度學(xué)習(xí)課！我們“偷”來了全套干貨）。
至于Yoshua Bengio則是加拿大蒙特利爾大學(xué)的全職教授，同時(shí)也是蒙特利爾學(xué)習(xí)算法研究所（MILA）的負(fù)責(zé)人；Google去年年底宣布在蒙特利爾設(shè)立一個(gè)深度學(xué)習(xí)和人工智能研究部門，并為包括Yoshua Bengio在內(nèi)的蒙特利爾學(xué)習(xí)算法學(xué)院8為學(xué)究提供了337萬美元的研究資金。
二、3篇最佳論文
（人聲鼎沸的大會(huì)現(xiàn)場(chǎng)）
雖然大會(huì)才剛剛拉開帷幕，但是其中三篇最佳論文已經(jīng)在開幕前由ICLR組委會(huì)評(píng)選而出。大會(huì)舉行的三天當(dāng)中，每天都有一篇最佳論文的演講。這三篇論文的主題分別為：簡(jiǎn)化神經(jīng)編程算法架構(gòu)、保護(hù)訓(xùn)練數(shù)據(jù)隱私、以及一篇最具爭(zhēng)議性的——主題為實(shí)際談?wù)撃Ｐ蛷?fù)雜性的論文。
這三篇最佳論文分別為：
1、《了解深度學(xué)習(xí)需要重新思考泛化 (Understanding deep learning requires rethinking generalization)》
本文來自美國麻省理工大學(xué)、谷歌、以及加州伯克利大學(xué)，第一署名作者為麻省理工大學(xué)的Chiyuan Zhang。
概要：基于同樣大數(shù)據(jù)樣本的不同算法也能獲得相似結(jié)論，一個(gè)具有足夠規(guī)模參數(shù)的簡(jiǎn)單淺層網(wǎng)絡(luò)能夠產(chǎn)生完美的有限樣本表達(dá)性。文章引入非結(jié)構(gòu)化的噪音數(shù)據(jù)進(jìn)行測(cè)試，證實(shí)了圖像識(shí)別算法模型的可靠性。
2、《基于隱私數(shù)據(jù)訓(xùn)練的半監(jiān)督式知識(shí)轉(zhuǎn)化深度學(xué)習(xí)算法 (Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data)》
本文來自賓夕法尼亞州立大學(xué)、谷歌、以及OpenAI，第一署名作者為賓夕法尼亞州立大學(xué)的Nicolas Papernot。
概要：由于一些機(jī)器學(xué)習(xí)應(yīng)用（如臨床醫(yī)療病例）的的訓(xùn)練涉及到敏感數(shù)據(jù)，而模型可能會(huì)無意中泄露用戶隱私，文章引入噪音數(shù)據(jù)和黑盒算法，實(shí)現(xiàn)對(duì)隱私數(shù)據(jù)的保護(hù)。
3、《通過遞歸法使神經(jīng)編程架構(gòu)更為廣泛化 (Making Neural Programming Architectures Generalize via Recursion)》
本文來自加州大學(xué)伯克利分校，聯(lián)合署名作者為：Jonathon Cai, Richard Shin, Dawn Song。
概要：由于通過數(shù)據(jù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)比較雜亂，本文提出了一種應(yīng)用于神經(jīng)網(wǎng)絡(luò)解譯程式的遞歸算法，包括四項(xiàng)任務(wù)：基礎(chǔ)運(yùn)算、冒泡算法、拓?fù)漕悺⒖焖倥判?，將任?wù)細(xì)分化，增強(qiáng)數(shù)據(jù)訓(xùn)練的準(zhǔn)確性。
值得一提的是第一篇《了解深度學(xué)習(xí)需要重新思考泛化》論文，文章一經(jīng)評(píng)選，立刻引發(fā)一陣激烈討論。有人認(rèn)為這篇論文做了一項(xiàng)十分具有顛覆性的工作，將會(huì)啟發(fā)未來數(shù)年里有關(guān)深度學(xué)習(xí)的研究；也有人認(rèn)為這篇論文被高估了，其中指出泛化對(duì)隨機(jī)標(biāo)簽是個(gè)糟糕的問題這個(gè)觀點(diǎn)“沒有什么意思”；不過，大多人也有不少人與智東西持一樣的態(tài)度，有爭(zhēng)議、能夠引發(fā)大家討論的文章，才是有意思的文章，畢竟深度學(xué)習(xí)還是一門發(fā)展中的科學(xué)，好與壞本身都太主觀。
除了三篇最佳論文外，ICLR還別出心裁地設(shè)立了最佳評(píng)論獎(jiǎng)，選出了15位對(duì)論文內(nèi)容的評(píng)論及后續(xù)討論最有價(jià)值的留言者，每位給予100美元的鼓勵(lì)。
三、6位主講大牛與21個(gè)演講
如上文提到的，從大會(huì)的整體趨勢(shì)而言，研究主旨大概可以總結(jié)為一句：如何讓算法的應(yīng)用更廣、消耗更少、開源節(jié)流。而細(xì)分到具體論文主題則包括：尋找廣義算法、解決大數(shù)據(jù)處理/圖像信息處理的問題、引入數(shù)學(xué)/統(tǒng)計(jì)學(xué)優(yōu)化算法提高效率和容錯(cuò)性/魯棒性、多任務(wù)合作等。
大會(huì)邀請(qǐng)了15位論文發(fā)布者進(jìn)行演講展示，其中就包括了三篇最佳論文。此外還有6位相關(guān)領(lǐng)域的大牛進(jìn)行特邀嘉賓演講，六位演講嘉賓包括：
1）Eero Simoncelli，美國紐約大學(xué)白銀教授（Yann LeCun在紐約大學(xué)也是這個(gè)稱號(hào)，Silver Professor），IEEE 國際電子技術(shù)與信息科學(xué)工程師協(xié)會(huì)會(huì)員。
2）Benjamin Recht，美國加州伯克利大學(xué)電子工程和計(jì)算機(jī)科學(xué)學(xué)院。
3）Chloé-Agathe Azencott，法國巴黎高等礦業(yè)學(xué)院計(jì)算生物學(xué)系，法國巴黎居里研究所及法國國家科研中心研究員。
4）Riccardo Zecchina，意大利博科尼大學(xué)理論物理學(xué)系，都靈人類基因基金會(huì)項(xiàng)目負(fù)責(zé)人。
5）Regina Barzilay，美國麻省理工大學(xué)電氣工程及計(jì)算機(jī)科學(xué)系，微軟研究員，麻省理工大學(xué)自然語言處理研究小組成員。
6）Alex Graves，加拿大多倫多大學(xué)計(jì)算機(jī)科學(xué)系。值得一提的是，多倫多大學(xué)計(jì)算機(jī)科學(xué)系負(fù)責(zé)人Geoffrey Hinton正是第三位深度學(xué)習(xí)巨頭，除了教授身份外，Geoffrey Hinton還任谷歌大腦的多倫多分布負(fù)責(zé)人，同時(shí)也是多倫多向量學(xué)院的首席科學(xué)顧問。曾在2012年的ImageNet比賽中憑借深度學(xué)習(xí)一舉創(chuàng)下計(jì)算機(jī)圖片分辨正確率新高。
（左Geoffrey Hinton，右Yann LeCun）
大會(huì)所有演講的流程如下：
四、贊助商變遷史
好了，學(xué)術(shù)講得差不多了，我們說點(diǎn)有趣的——ICLR贊助商的變遷歷史，仔細(xì)探究會(huì)發(fā)現(xiàn)非常有趣。細(xì)心的人在看到上文演講流程時(shí)會(huì)發(fā)現(xiàn)，有三部分會(huì)議環(huán)節(jié)中標(biāo)注著“百度贊助”、“谷歌贊助”和“亞馬遜贊助”。ICLR的贊助商分為白金、金、銀、銅四個(gè)級(jí)別，毫不意外地，這三家企業(yè)都是白金級(jí)別的贊助商，也都是在近期十分看重人工智能、深度學(xué)習(xí)的企業(yè)。尤其是谷歌，從2013年的第一屆ICLR開始就開始對(duì)其進(jìn)行贊助。
除了百度、谷歌、亞馬遜之外，今年的白金贊助商還有DeepMind、Facebook、英特爾、英偉達(dá)、Salesforce。去年的白金贊助商只有4個(gè)，今年多達(dá)8個(gè)，猛增了一倍之多，可見各家企業(yè)對(duì)深度學(xué)習(xí)及這場(chǎng)大會(huì)的重視程度。值得一提的，國內(nèi)創(chuàng)企深鑒科技也在贊助商的名單上，其聯(lián)合創(chuàng)始人韓松有兩篇論文入選。
（2017年ICLR贊助商名單）
（英偉達(dá)在ICLR會(huì)上的展臺(tái)）
五、行業(yè)聲音
智東西也去問到了AI及深度學(xué)習(xí)的從業(yè)者們，看看他們是怎么看待這場(chǎng)熱鬧的大會(huì)的。
在回答智東西提出的“我們大概什么時(shí)候能看到ICLR的新技術(shù)的應(yīng)用落地？”時(shí)，身處土倫現(xiàn)場(chǎng)的英偉達(dá)大中華區(qū)高性能計(jì)算及Applied Deep Learning部門技術(shù)總監(jiān)賴俊杰博士表示，這個(gè)會(huì)議相對(duì)來說不是特別重視應(yīng)用。而他本次來的關(guān)注點(diǎn)并非最佳論文，而是更側(cè)重訓(xùn)練加速（Training Acceleration）、量化（Quantification）、剪枝法（Pruning）等領(lǐng)域，尤其是在剪枝法方面，馬里蘭大學(xué)和英偉達(dá)研究院都有一些相關(guān)技術(shù)的新進(jìn)展。
網(wǎng)友李嫣然則從更學(xué)術(shù)的角度解讀了本次ICLR，她認(rèn)為縱觀本次ICLR 2017論文可以看出，GAN（生成式對(duì)抗網(wǎng)絡(luò)）確實(shí)火得不能再火。在這次 ICLR 2017全部GAN 的論文里，主要集中在三個(gè)方向：如何提高GAN穩(wěn)定性，用新角度/框架去理解和建模GAN，以及GAN 與 （semi）-supervised 的結(jié)合。而除了GAN外，其實(shí)Attention和 Memory這倆已經(jīng)火了兩年的方向也還在發(fā)展。
極視角聯(lián)合創(chuàng)始人羅韻更是直言道，“GAN簡(jiǎn)直稱霸半邊天，Generative這個(gè)詞的出現(xiàn)頻率簡(jiǎn)直。。厲害了word的哥。。?！?/p>
不過，行業(yè)內(nèi)也有不同聲音存在。曾在百度硅谷研究院工作、現(xiàn)為SLAM創(chuàng)企業(yè)Perceptln聯(lián)合創(chuàng)始人劉少山認(rèn)為，（關(guān)于ICLR熱度不斷上升這方面）其實(shí)是挺好玩兒的一個(gè)現(xiàn)象。學(xué)術(shù)捧得比較高的一個(gè)東西，在到底在工程上能不能做，其實(shí)未必。在深度學(xué)習(xí)和SLAM各個(gè)方面我們看過很多論文很好，但未必能實(shí)現(xiàn)（的項(xiàng)目），很少像AlphaGo這樣，實(shí)現(xiàn)出來能有用，能應(yīng)用到具體場(chǎng)景里面。
?結(jié)語、結(jié)結(jié)實(shí)實(shí)火了起來的深度學(xué)習(xí)
隨著2012年神經(jīng)網(wǎng)絡(luò)在ImageNet獲得重大突破以來，以深度學(xué)習(xí)為主的人工智能浪潮已經(jīng)漸漸涌來，在最近一年里更是勢(shì)頭強(qiáng)勁，迅速占領(lǐng)了街頭巷尾。無論你贊成還是反對(duì)，看好還是唱衰，深度學(xué)習(xí)都已經(jīng)來到了你身邊，從早年無人知曉的ICLR大會(huì)如今人滿為患、贊助廠商翻倍、論文如紙片般飛來的現(xiàn)狀可見一斑。
深度學(xué)習(xí)，這個(gè)看似玄幻的科技詞匯，已經(jīng)著著實(shí)實(shí)火了起來。
但也正是由于這股熱潮來臨，深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工智能這三個(gè)概念被一度混淆，深度學(xué)習(xí)算法作為機(jī)器學(xué)習(xí)算法的一種，隸屬于人工智能這個(gè)大范疇內(nèi)。近年來，深度學(xué)習(xí)在語音、圖像的檢索分類方面取得突破性進(jìn)展的同時(shí)，它在訓(xùn)練數(shù)據(jù)過大、訓(xùn)練時(shí)間過長、計(jì)算功耗太大、難以大范圍推廣應(yīng)用等問題上依舊存在局限，并不是解決人工智能的萬能之策。
每日一頭條
趨勢(shì)·深度·犀利·干貨，最專業(yè)的行業(yè)解讀
深喉爆料、投稿：guoren@m.loveliyi.com
