今年7月，智東西公開課教研團(tuán)隊(duì)全新策劃「大廠講壇」，將邀請國內(nèi)科技/互聯(lián)網(wǎng)大廠開設(shè)專區(qū)，圍繞最新研究成果、核心技術(shù)、業(yè)務(wù)創(chuàng)新，持續(xù)帶來多場直播講解。騰訊優(yōu)圖實(shí)驗(yàn)室專區(qū)則是此次「大廠講壇」的第一個(gè)系列性講解，目前已經(jīng)確定下來六講，將圍繞優(yōu)圖實(shí)驗(yàn)室在弱監(jiān)督目標(biāo)定位、圖文多模態(tài)、TNN、高效模型、3D人臉、人臉隱私訓(xùn)練及開源項(xiàng)目Tface這六個(gè)領(lǐng)域的重要研究成果進(jìn)行講解和交流。

在騰訊優(yōu)圖實(shí)驗(yàn)室專區(qū)的前兩講中，優(yōu)圖實(shí)驗(yàn)室研究員興甲和志文兩位講師，分別圍繞主題《弱監(jiān)督目標(biāo)定位的研究及應(yīng)用》和《多模態(tài)圖文內(nèi)容的識別與定位》，為我們講解了優(yōu)圖實(shí)驗(yàn)室在弱監(jiān)督目標(biāo)定位、圖文多模態(tài)領(lǐng)域的最新研究成果及應(yīng)用。錯(cuò)過直播的朋友可以點(diǎn)擊文章底部“閱讀原文”進(jìn)行回看。

9月15日晚7點(diǎn)，騰訊優(yōu)圖實(shí)驗(yàn)室專區(qū)第3講繼續(xù)開講，騰訊優(yōu)圖實(shí)驗(yàn)室高級研究員、TNN項(xiàng)目成員丹迪老師將以《開源推理框架TNN模型部署加速與優(yōu)化》為主題，深度剖析TNN中的高性能加速方案。

深度學(xué)習(xí)在圖像分類、目標(biāo)檢測分割、自然語言處理等等廣泛場景中的有效性驗(yàn)證，致使模型計(jì)算量和OP類型都在急速增長，模型落地面臨性能、內(nèi)存等一系列問題。而針對這些問題，業(yè)界涌現(xiàn)出了NCNN、TNN、MNN等一系列的開源推理框架，嘗試給出各自的解決方案。

在推理加速框架中，高性能計(jì)算相關(guān)技術(shù)發(fā)揮著至關(guān)重要的作用。高性能計(jì)算在推理框架的應(yīng)用主要是通過在軟件層面上的優(yōu)化，發(fā)揮出底層硬件的性能。近年來，底層制造工藝難以按照摩爾定律取得進(jìn)展，硬件性能提升更多的是通過多核、SIMD，VILW等技術(shù)獲得，因此業(yè)界也出現(xiàn)了許多專注AI計(jì)算的領(lǐng)域?qū)Ｓ眉軜?gòu)(DSA)。

上層應(yīng)用想要發(fā)揮硬件性能，越來越需要軟件的優(yōu)化。當(dāng)前的推理框架中，通常使用的是手工匯編優(yōu)化的方式。此方式需要針對每個(gè)硬件平臺、每個(gè)OP進(jìn)行單獨(dú)優(yōu)化，工作量較大，并且當(dāng)模型中存在不支持OP時(shí)，推理框架必須要更新代碼，實(shí)現(xiàn)對應(yīng)OP才能運(yùn)行。而騰訊所推出的TNN推理框架實(shí)現(xiàn)了多個(gè)層面的自動化方法，可以有效的優(yōu)化研發(fā)效率。

在TNN中，其通過JIT（即時(shí)編譯）技術(shù)，避免完全手寫匯編，可通過一定的抽象實(shí)現(xiàn)不同平臺的ABI通用以及tiling尺寸搜索；其次，TNN打通TVM Relay IR，并在TVM基礎(chǔ)上進(jìn)行了format和scheduler的優(yōu)化，以進(jìn)行自動調(diào)優(yōu)；再次，TNN針對Pytorch模型提出了TNN-Torch加速方案，可在存在不支持算子的情況下進(jìn)行子圖加速。這些方法都大大提升了模型部署的工作效率。而在本次的課程中，丹迪老師將會圍繞以上內(nèi)容對TNN進(jìn)行深入的講解，敬請大家期待！

丹迪是騰訊優(yōu)圖實(shí)驗(yàn)室的高級研究員，高性能計(jì)算碩士畢業(yè)生，也是TNN項(xiàng)目成員，目前主要負(fù)責(zé)TNN前沿技術(shù)(包括編譯優(yōu)化、原生框架支持等)的探索和應(yīng)用。他也負(fù)責(zé)過NVIDIA GPU、 X86 等多個(gè)平臺的推理框架加速工作，在底層Kernel優(yōu)化，量化模型落地等方面有豐富經(jīng)驗(yàn)。

直播課介紹

課 程 主 題

《開源推理框架TNN模型部署加速與優(yōu)化》

課 程 提 綱

1、推理框架的現(xiàn)狀及高性能加速
2、TNN框架中的自動調(diào)優(yōu)方法
3、針對PyTorch的模型部署加速方案TNN-Torch
4、基于TNN的部署案例解析

講 師 介 紹

丹迪，騰訊優(yōu)圖實(shí)驗(yàn)室高級研究員，高性能計(jì)算碩士，TNN項(xiàng)目成員；負(fù)責(zé)過NVIDIA GPU、 X86 等多個(gè)平臺的推理框架加速工作，在底層Kernel優(yōu)化，量化模型落地等方面有豐富經(jīng)驗(yàn)；近期主要負(fù)責(zé)TNN前沿技術(shù)(包括編譯優(yōu)化、原生框架支持等)的探索和應(yīng)用。

直 播 信 息

直播時(shí)間：9月15日19:00
直播地點(diǎn)：智東西公開課知識店鋪