今年7月，智東西公開課教研團隊全新策劃「大廠講壇」，將邀請國內(nèi)科技/互聯(lián)網(wǎng)大廠開設(shè)專區(qū)，圍繞最新研究成果、核心技術(shù)、業(yè)務(wù)創(chuàng)新，持續(xù)帶來多場直播講解。
8月份，「大廠講壇」第二個專區(qū)——商湯專區(qū)，正式上線。
智東西公開課特邀商湯科技工具鏈團隊的三位研究員在商湯專區(qū)帶來三場直播講解，深度講解其如何在模型量化領(lǐng)域從算法創(chuàng)新和工具沉淀兩個維度助力SenseCore AI大裝置，降低量化模型的生產(chǎn)成本，打造具有極致部署效率和規(guī)模化落地能力的量化模型生產(chǎn)體系，并分享該體系中的核心算法原理以及工具使用介紹，希望推動整個領(lǐng)域和社區(qū)的共同發(fā)展。
8月23日晚7點，商湯科技高級研究員龔睿昊將圍繞《離線量化算法研究》這一主題率先帶來商湯專區(qū)第一講的直播講解。
在深度學習的各個垂直領(lǐng)域中，模型量化對高效推理部署是至關(guān)重要的。而作為一個在各個已有工具中都會做的校準過程，離線量化是生產(chǎn)量化模型最簡單高效的方式，也是被主流深度學習硬件廠商廣泛支持的方式。然而它也面臨很多挑戰(zhàn)，比如單純的校準過程只能得到一個基線結(jié)果。
而在本次的課程中，龔睿昊老師將會圍繞該問題，首先向大家介紹DFQ（Data Free Quantization）和Adaround等經(jīng)典算法的解決思路。其中DFQ提出了Weight Equalization/Bias Correction等相關(guān)算法，能夠有效地解決離線量化中遇到的精度問題，顯著地提升離線量化精度；Adaround算法則在校準模型張量統(tǒng)計范圍的基礎(chǔ)上更進一步，直接通過優(yōu)化過程決定了模型張量中每個數(shù)值的取整方向，極大地提升了離線量化模型的精度，在學術(shù)模型中4bit下能夠接近FP32的精度。
最后，他將重點解析商湯所提出的原創(chuàng)算法Brecq。Brecq是在Adaround的基礎(chǔ)上，平衡了全局優(yōu)化的難度和逐層優(yōu)化的效果之間的平衡關(guān)系，基于梯度分析得出塊重建算法，使得離線量化算法有了更進一步的提升。
龔睿昊碩士畢業(yè)于北航計算機學院，大三下加入商湯科技實習，現(xiàn)為商湯科技高級研究員。期間他先后從事視頻結(jié)構(gòu)化解析系統(tǒng)開發(fā)，模型量化壓縮框架的設(shè)計開發(fā)和相關(guān)算法研究，服務(wù)大量業(yè)務(wù)線模型的壓縮落地。他曾獲得商湯科技未來之星、騰訊犀牛鳥人才培養(yǎng)計劃、CCF優(yōu)秀大學生、北京市三好學生、國家獎學金等，在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊會議上發(fā)表15篇論文(其中3篇一作，4篇二作)，現(xiàn)階段主要研究和工作方向為: 深度學習模型壓縮和部署編譯，致力于打破硬件彩票假設(shè)，最大化榨取模型和系統(tǒng)的潛力。
本次課程將在智東西公開課知識社區(qū)進行，包含主講和問答兩個部分，其中主講環(huán)節(jié)40分鐘，問答環(huán)節(jié)20分鐘。每個環(huán)節(jié)主講老師都將通過視頻直播進行實時講解與互動。
同時，我們還組建了相應(yīng)的技術(shù)討論群。加入討論群，除了可以免費收看直播進行學習之外，還能與講師，以及更多研究人員和開發(fā)者認識和交流。
直播課介紹
課 程 主 題
《離線量化算法研究》
課 程 提 綱
1、離線量化算法的研究及挑戰(zhàn)
2、DFQ和Adaround等經(jīng)典算法解析
3、基于塊重建的離線量化算法Brecq
講 師 介 紹
龔睿昊，商湯科技高級研究員；期間他先后從事視頻結(jié)構(gòu)化解析系統(tǒng)開發(fā)，模型量化壓縮框架的設(shè)計開發(fā)和相關(guān)算法研究，服務(wù)大量業(yè)務(wù)線模型的壓縮落地；曾獲得商湯科技未來之星、騰訊犀牛鳥人才培養(yǎng)計劃、CCF優(yōu)秀大學生、北京市三好學生、國家獎學金等；在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊會議上發(fā)表15篇論文(其中3篇一作，4篇二作)；現(xiàn)階段主要研究和工作方向為: 深度學習模型壓縮和部署編譯，致力于打破硬件彩票假設(shè)，最大化榨取模型和系統(tǒng)的潛力。
直 播 信 息
直播時間：8月23日19:00
直播地點：智東西公開課知識店鋪
