智東西（公眾號：zhidxcom）
作者 | 韋世瑋
編輯 | 心緣
近年來隨著物聯(lián)網(wǎng)及AIoT行業(yè)的興起，邊緣計(jì)算作為一種能夠在本地智能分析、處理數(shù)據(jù)的計(jì)算方式，以時(shí)延低、效率高、安全隱私性高等優(yōu)勢，逐漸成為行業(yè)青睞的技術(shù)，需求呈井噴式爆發(fā)。
據(jù)市場研究機(jī)構(gòu)CB Insights數(shù)據(jù)，預(yù)計(jì)2016-2023年，邊緣計(jì)算市場的復(fù)合增長率將達(dá)35%，到2023年，整體市場規(guī)模將接近340億美元。還有分析師預(yù)測，從2025年開始，邊緣側(cè)AI芯片的市場營收規(guī)模將超過云端AI芯片。
在這個(gè)趨勢下，整個(gè)行業(yè)也掀起了一股邊緣計(jì)算創(chuàng)新創(chuàng)業(yè)浪潮。其中，OPEN AI LAB（開放智能）是這股浪潮中不可小覷的玩家之一。
從2016年12月成立至今，OPEN AI LAB不斷深耕邊緣計(jì)算AI（人工智能）開發(fā)平臺，推出了國內(nèi)自主的邊緣AI計(jì)算框架和一系列滿足各類場景需求的生產(chǎn)工具，助力國內(nèi)AI生態(tài)發(fā)展的同時(shí)，也通過賦能幫助企業(yè)完成數(shù)字化轉(zhuǎn)型和智能化升級。
2020年，OPEN AI LAB聯(lián)合創(chuàng)始人兼CTO黃明飛曾告訴智東西，國內(nèi)AI開源生態(tài)仍在起步階段，而OPEN AI LAB的基本工作是把產(chǎn)品做好，為開發(fā)者提供更豐富的內(nèi)容和工具，享受更加簡單靈活的開發(fā)體驗(yàn)，一同推動開源生態(tài)的發(fā)展。
現(xiàn)在，OPEN AI LAB取得了哪些收獲和技術(shù)進(jìn)展？國內(nèi)的AIoT行業(yè)又發(fā)生了什么新變化？時(shí)隔一年，智東西再度與黃明飛進(jìn)行深入交流，了解他們在過去一年的成長閃光點(diǎn)。
5月25日，覆蓋輕量級神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)、模型壓縮、AI推理引擎、嵌入式AI芯片架構(gòu)創(chuàng)新等主題的GTIC 2021嵌入式AI創(chuàng)新峰會將于北京新云南皇冠假日酒店舉行。屆時(shí)，黃明飛將帶來《Tengine：加速邊緣計(jì)算中的AI部署與落地》主題演講。
一、過去一年：生態(tài)拓展是關(guān)鍵詞，Tengine深入行業(yè)合作
“在疫情的影響下，實(shí)際上整個(gè)行業(yè)的發(fā)展節(jié)奏放慢了。”黃明飛談到，在過去一年時(shí)間里，OPEN AI LAB的工作主要是兩件事，一是通過AI實(shí)現(xiàn)快速行業(yè)落地，降低企業(yè)開發(fā)門檻，二是做生態(tài)建設(shè)。
一方面，OPEN AI LAB在2020年打造了一個(gè)能實(shí)現(xiàn)從數(shù)據(jù)到算法、從算法到應(yīng)用、從應(yīng)用到部署，并自動更新迭代的邊云自動化部署平臺MLOps，能大大簡化企業(yè)應(yīng)用部署環(huán)節(jié)，降低開發(fā)門檻。
另一方面，越來越多的開發(fā)者從云計(jì)算入場邊緣計(jì)算場景，這也讓OPEN AI LAB在生態(tài)構(gòu)建的同時(shí)，積累了越來越多的行業(yè)伙伴。
“從行業(yè)大背景上看，2020年還有一個(gè)國際關(guān)系問題。”黃明飛解釋，以華為為例，中美貿(mào)易摩擦對華為芯片供應(yīng)鏈的影響，讓國產(chǎn)化芯片成為人們十分關(guān)注的行業(yè)話題，這也給OPEN AI LAB帶來了更多思考。
“這么多的國產(chǎn)芯片，實(shí)際上更需要一個(gè)像Tengine這樣的AI框架，通過開放更多內(nèi)容，讓大家一起促進(jìn)中國AI生態(tài)的繁榮?！彼f，因此公司在過去一年仍將工作重點(diǎn)放在Tengine的生態(tài)發(fā)展上。
簡單來說，Tengine是一個(gè)嵌入式的AI推理框架，能夠幫助開發(fā)者解決AI在快速產(chǎn)業(yè)化落地中遇到的各個(gè)瓶頸難題。與同行相比，Tengine有兩個(gè)特點(diǎn)，一是重點(diǎn)面向嵌入式邊緣計(jì)算應(yīng)用，涉及海量的AIoT應(yīng)用設(shè)備，而非服務(wù)器集群；二是它的工作重點(diǎn)在于AI推理，并非AI訓(xùn)練。
在生態(tài)發(fā)展上，過去一年開始Tengine陸續(xù)與MegEngine、OneFlow、PaddlePaddle等業(yè)內(nèi)主流開源框架進(jìn)行了深度合作與拓展，包括通過連接訓(xùn)練和推理兩個(gè)平臺形成完整的解決方案。
此外，Tengine還與老牌跨平臺計(jì)算機(jī)視覺庫OpenCV進(jìn)一步深入合作，成為OpenCV在AI領(lǐng)域的重要部分。
二、Tengine Framework的三大重構(gòu)，面向開發(fā)者與用戶
一直以來，國內(nèi)邊緣側(cè)應(yīng)用規(guī)?；涞氐碾y點(diǎn)在于，行業(yè)中大部分的云端訓(xùn)練框架和算法模型無法與邊緣AI芯片直接適配，需要一個(gè)聚焦邊緣側(cè)的計(jì)算部署平臺。
Tengine就在這一需求下應(yīng)運(yùn)而生，它可以實(shí)現(xiàn)從芯片到場景的全棧打通。
其中，Tengine Framework是OPEN AI LAB自主設(shè)計(jì)的邊緣AI計(jì)算框架，向下幾乎兼容所有主流國產(chǎn)AI芯片，現(xiàn)階段已與超20+主流芯片廠商SoC的底層全面適配，例如紫光展銳、全志科技、地平線、寒武紀(jì)、恒玄等；向上則支撐所有主流訓(xùn)練框架及網(wǎng)絡(luò)模型，包括TensorFlow、PyTorch、Caffe、PaddlePaddle等。
另一方面，OPEN AI LAB推出的商業(yè)化的邊云自動化部署平臺，名為Tengine MLOps。它是一個(gè)能實(shí)現(xiàn)從數(shù)據(jù)到算法、從算法到應(yīng)用、從應(yīng)用到部署的AI系統(tǒng)平臺，能大大簡化企業(yè)應(yīng)用部署環(huán)節(jié)，降低開發(fā)門檻。
目前商業(yè)項(xiàng)目已覆蓋數(shù)十個(gè)細(xì)分行業(yè)場景：安全生產(chǎn)、智慧教育、智慧電力、智慧社區(qū)、信創(chuàng)領(lǐng)域等；產(chǎn)業(yè)鏈合作伙伴達(dá)上千個(gè)，覆蓋芯片公司、算法公司、IDH公司、OEM/ODM公司、行業(yè)解決方案商等；為數(shù)百個(gè)AI項(xiàng)目落地提供加速動力。
黃明飛談到，為了不斷滿足客戶的需求，公司在疫情期間對Tengine Framework進(jìn)行了重構(gòu)，主要涉及三個(gè)方面。
一是根據(jù)Tengine發(fā)布四年來從開源社區(qū)和商業(yè)客戶中得到的大量反饋，對整個(gè)框架進(jìn)行了軟件的優(yōu)化升級，目的是讓開發(fā)者能更高效地使用Tengine，從而更好地參與到架構(gòu)的開發(fā)建設(shè)中。
二是針對Tengine Framework做了新的生態(tài)項(xiàng)目，包括Tengine Kit、Tengine Factory，目的是讓用戶能更容易地使用Tengine。
三是AutoKernel，也是Tengine Framework的子項(xiàng)目。不同的是，它主要負(fù)責(zé)底層算子的自動化優(yōu)化。“這個(gè)工具將是我們對國內(nèi)開源社區(qū)的一個(gè)非常大貢獻(xiàn)，因?yàn)橹拔覀儑鴥?nèi)一直沒有底層算子自動優(yōu)化的開源項(xiàng)目。”黃明飛說。
三、成本是AI落地本質(zhì)問題，未來將開放更多Tengine功能
在黃明飛看來，現(xiàn)在AI行業(yè)已經(jīng)從最初的概念驗(yàn)證階段轉(zhuǎn)向落地的關(guān)鍵階段，但在這個(gè)落地階段也面臨著不少困難，其中最本質(zhì)的問題是成本問題。例如，許多解決方案都采用機(jī)器視覺來做監(jiān)控，但成本卻降不下來，還不如用原來的員工更實(shí)惠。
黃明飛認(rèn)為，實(shí)際上解決這個(gè)問題就需要平臺和工具來降低開發(fā)成本，尤其是軟件產(chǎn)品的成本，能夠用于一些低成本的硬件平臺，從而真正實(shí)現(xiàn)性價(jià)比提升。
其次，當(dāng)成本下降突破落地的第一道關(guān)口后，還需要進(jìn)一步思考國產(chǎn)AI芯片的發(fā)展問題。他解釋，OPEN AI LAB成立時(shí)，曾預(yù)期國產(chǎn)AI芯片可能在2019-2020年爆發(fā)，但目前看來整體還處在發(fā)展期。
黃明飛談到，盡管國家一直投入資金扶持國產(chǎn)芯片的發(fā)展，但行業(yè)仍需一個(gè)開源生態(tài)來讓玩家共同推動。
“如果說什么東西都自己干，實(shí)際上效率是不高的，需要大家各自做擅長的地方，通過生態(tài)合作產(chǎn)生合力，才能形成一個(gè)良好環(huán)境，讓國產(chǎn)AI生態(tài)從芯片到基礎(chǔ)軟件都迅速發(fā)展?！秉S明飛說。
“目前邊緣計(jì)算已經(jīng)成為AI行業(yè)公認(rèn)的發(fā)展趨勢?！痹邳S明飛看來，與過去幾年比較熱門的云原生相似，行業(yè)在未來也可能會出現(xiàn)類似的邊緣原生技術(shù)?；诖?，OPEN AI LAB也將繼續(xù)打造一個(gè)從開發(fā)到部署的一整套邊緣原生的AI系統(tǒng)平臺。
談及產(chǎn)品的后續(xù)計(jì)劃，黃明飛談到，未來Tengine會逐步開放更多內(nèi)容，與越來越多芯片廠商合作；另一方面，OPEN AI LAB也會逐步將Tengine MLOps中的功能開放到Tengine Factory中，開源更多內(nèi)容，從而讓整個(gè)生態(tài)更加獲益。
結(jié)語：從軟件源頭推動邊緣計(jì)算發(fā)展
從云端到邊緣側(cè)，人工智能的發(fā)展給我國高新技術(shù)行業(yè)催生了無數(shù)創(chuàng)業(yè)創(chuàng)新機(jī)會。如今嵌入式邊緣計(jì)算作為信息數(shù)據(jù)處理的重要手段之一，如何從軟件層出發(fā)大大降低開發(fā)及部署門檻，也是這股浪潮中每一位玩家都在思考的事。
OPEN AI LAB作為我國AI開源大軍中的一股重要力量，一手開源框架推動國內(nèi)生態(tài)社區(qū)發(fā)展，一手端到端AI系統(tǒng)平臺助力企業(yè)智能化轉(zhuǎn)型，也給未來AI行業(yè)的廣泛落地深踩了一腳油門。
