芯東西（公眾號(hào)：aichip001）
編輯 |? GACS
9月14日~15日，2023全球AI芯片峰會(huì)（GACS 2023）在深圳南山圓滿舉行。在首日AI芯片架構(gòu)創(chuàng)新專場(chǎng)上，肇觀電子的CEO馮歆鵬分享了主題為《AI視覺(jué)芯片打造機(jī)器人的核心感知能力》的主題演講。
馮歆鵬先介紹了VPU的定義以及學(xué)科基礎(chǔ)背景，認(rèn)為VPU的市場(chǎng)規(guī)模和GPU相當(dāng)，在世界正在從2D轉(zhuǎn)向3D的技術(shù)革新中，是未來(lái)機(jī)器人等智能設(shè)備必不可少的重要組成部分。
肇觀電子在產(chǎn)業(yè)內(nèi)積累數(shù)年之久，也從其中汲取了不少落地經(jīng)驗(yàn)，并將其賦能與產(chǎn)業(yè)。馮歆鵬還提到肇觀電子幾個(gè)有趣的落地場(chǎng)景案例。比如說(shuō)，如何打造能夠在冷庫(kù)中工作的機(jī)器人，又如何讓汽車能夠巧妙的避開障礙物等等。此外，他還認(rèn)為未來(lái)世界，將會(huì)是機(jī)器人和人類共存的狀態(tài)。
以下為馮歆鵬的演講實(shí)錄：
大家好！我是肇觀電子CEO馮歆鵬，很高興今天有機(jī)會(huì)能夠跟大家分享。肇觀電子名字聽(tīng)起來(lái)比較獨(dú)特，肇是開啟，觀是視覺(jué)，開啟視覺(jué)的意思，英文是NextVPU，也就是Next Vision Processing Unit，下一代視覺(jué)處理器的意思。
我們是一家做計(jì)算機(jī)視覺(jué)和人工智能端側(cè)的芯片和模組核心元器件的公司，我們做的事情就是幫助所有智能設(shè)備，讓它看懂世界，賦予它看懂世界能力的事情。我們的下游也比較廣泛，在機(jī)器人、車載、工業(yè)、安防、消費(fèi)都有諸多的應(yīng)用。
一、要讓機(jī)器人看懂世界，需解決五大技術(shù)問(wèn)題
今天我講的主題聚焦在機(jī)器人方面，機(jī)器人在過(guò)去的很長(zhǎng)一段時(shí)間，一直是熱點(diǎn)的領(lǐng)域，也經(jīng)歷了很多年的發(fā)展，到現(xiàn)在機(jī)器人領(lǐng)域在快速地發(fā)展，而且將來(lái)市場(chǎng)非常廣大。所以特斯拉馬斯克說(shuō)過(guò)特斯拉現(xiàn)在已經(jīng)不是一個(gè)車載公司，是機(jī)器人公司。
大家想要解決的問(wèn)題其實(shí)很類似，當(dāng)今世界面臨很多挑戰(zhàn)，解決這些挑戰(zhàn)的一個(gè)現(xiàn)實(shí)有效的措施，是提高生產(chǎn)效率。如何能夠快速地提高生產(chǎn)效率？就得利用發(fā)明或者創(chuàng)造更加智能的設(shè)備，來(lái)自動(dòng)幫人解決很多問(wèn)題。
我們都希望將來(lái)的世界大概率會(huì)是一個(gè)無(wú)人工廠、無(wú)人農(nóng)場(chǎng)、可穿戴設(shè)備、無(wú)人駕駛汽車，是一個(gè)高度自動(dòng)化的世界，這些智能設(shè)備可以提高每個(gè)人的工作效率以及生活的質(zhì)量。咱們這個(gè)會(huì)場(chǎng)可能有很少的機(jī)器人，但是過(guò)數(shù)年后，全球可能是300億個(gè)機(jī)器人和90億人口共存的一個(gè)世界。
300億個(gè)智能設(shè)備很重要的就是具有視覺(jué)能力，機(jī)器人要能自主地在空間中移動(dòng)，去解決它的這些問(wèn)題，完成它的任務(wù)。這些設(shè)備自主移動(dòng)、需要全天候地移動(dòng)，需要24小時(shí)在各種惡劣條件下、各種環(huán)境下，能夠正確地解決它的問(wèn)題，這需要它有相當(dāng)程度的視覺(jué)能力。
我們肇觀電子做的事情，就是幫助所有設(shè)備賦予它“視覺(jué)能力”。
視覺(jué)，大家都比較理解，它對(duì)于每個(gè)智能生物和智能設(shè)備都非常重要，人對(duì)信息的采集主要是通過(guò)眼睛，同樣對(duì)設(shè)備而言，視覺(jué)能力是它的核心技術(shù)能力，所以我們?cè)谧鲞@樣一件事情。
我們讓設(shè)備看懂世界的話，要解決幾個(gè)子問(wèn)題，就是設(shè)備要看懂世界，首先得看得見(jiàn)世界，還得看得清楚、看得懂。
看得見(jiàn)和看得清楚，在現(xiàn)場(chǎng)這樣的光照下是挑戰(zhàn)相對(duì)比較低的場(chǎng)景。但是如果需要一個(gè)智能設(shè)備在完全無(wú)人化地去解決它的問(wèn)題，在全天候、全場(chǎng)景地去做，這個(gè)問(wèn)題就變得非常復(fù)雜。
機(jī)器人往往會(huì)被要求在人眼都睜不開的強(qiáng)光下，還能夠正常地成像；在很黑暗的區(qū)域，比如黑燈工廠，它還要能正常成像；還有在強(qiáng)逆光下，比如智能車很大的挑戰(zhàn)就是遠(yuǎn)光燈打過(guò)來(lái)的時(shí)候，人都覺(jué)得晃眼，車也是一樣，所以這些設(shè)備要在強(qiáng)光下、弱光下、逆光下都能正常成像，看得見(jiàn)這些該被看見(jiàn)的東西，這些是非常重要的基礎(chǔ)。
因此，成像對(duì)智能設(shè)備能看懂世界非常重要，它首先得看得見(jiàn)、看得清楚世界。
這是我們肇觀電子從成立到現(xiàn)在，一直在孜孜不倦解決的方向。成像這個(gè)方向可以做50年、100年，是非常浩瀚和非常長(zhǎng)的領(lǐng)域。我們?nèi)〉昧艘恍╇A段性成果，但還是在持之以恒地繼續(xù)做。
另外一個(gè)很重要的對(duì)于機(jī)器人的基礎(chǔ)能力就是3D感知，機(jī)器人如果固定在那里，不跟周圍環(huán)境交互，這個(gè)問(wèn)題相對(duì)好一些，但一旦機(jī)器人動(dòng)起來(lái)，就涉及到跟環(huán)境中的物體如何互動(dòng)的問(wèn)題，那么機(jī)器人不能撞到人、不能撞到寵物、不能撞到機(jī)器人，所以遇到這些問(wèn)題的時(shí)候，機(jī)器人要移動(dòng)。
像慢速的機(jī)器人，大概每秒鐘移動(dòng)0.2米到1米；如果像人的步速機(jī)器人，大概每秒鐘是1.5到2.5米的速度；如果是兩輪車或者四輪車，速度越來(lái)越快；還有像飛機(jī)這樣更加高速移動(dòng)的設(shè)備，這些設(shè)備但凡要移動(dòng)起來(lái)，就會(huì)跟周圍的空間環(huán)境帶來(lái)一些關(guān)聯(lián)。
對(duì)于周圍做正確的3D感知是每一個(gè)自主設(shè)備，每一個(gè)要在空間中移動(dòng)的設(shè)備的核心基礎(chǔ)能力。3D感知是機(jī)器人讓它變得更智能的核心能力，這也是肇觀電子在芯片上做了一系列的事情，使得這些機(jī)器人的應(yīng)用能夠更好地感知周圍的環(huán)境。
AI是機(jī)器人的另一大方面，剛才很多嘉賓分享了在AI方面諸多的成績(jī)。AI對(duì)于機(jī)器人，當(dāng)它能夠正確識(shí)別什么是地板、什么是墻壁、什么是天花板，其實(shí)這都是很有挑戰(zhàn)的事情。大部分情況下，人一看就知道這是地板，但對(duì)機(jī)器人而言，要嚴(yán)格意義上讓它99.99%的情況下知道是地面還是桌面，要加以區(qū)分，是非常困難的一件事情。
所以AI解決的就是這樣的問(wèn)題，桌子、椅子、茶杯是不一樣的物體，如何做語(yǔ)義分割，如何在高速移動(dòng)物體情況下還能正確識(shí)別，這是非常重要的事情。AI的處理能力對(duì)機(jī)器人也是一個(gè)基礎(chǔ)能力。
VSLAM，也就是Visual Simultaneous Localization And Mapping，實(shí)時(shí)定位和構(gòu)圖技術(shù)對(duì)機(jī)器人也非常重要，對(duì)于空間的復(fù)刻，數(shù)字化整個(gè)環(huán)境，顯示定位自身，把周圍地圖都畫出來(lái)，是智能設(shè)備、智能生物的基礎(chǔ)能力。
SoC，當(dāng)我們解決了諸多的這些問(wèn)題之后，我們需要考慮到一個(gè)工程化系統(tǒng)層面可執(zhí)行、可落地、可商用，能夠切實(shí)給我們下游帶來(lái)好處，形成價(jià)值鏈閉環(huán)的載體，就是SoC，片上系統(tǒng)。一個(gè)完整的芯片必須具有諸多的功能，這樣使得我們不用在電路板上用多個(gè)芯片搭出來(lái)一個(gè)系統(tǒng)，而是直接在一個(gè)板子上用一顆芯片，一顆芯片解決所有問(wèn)題，這樣才能做到高性能、低功耗、低成本、低系統(tǒng)復(fù)雜度，有諸多好處。
可以看到，解決這些機(jī)器人看懂世界是我們的目標(biāo)，我們要解決的事情，要在成像、3D、AI、VSLAM、SoC解決這五個(gè)問(wèn)題，這五個(gè)問(wèn)題也是肇觀電子從成立到現(xiàn)在一直在積累的能力。
二、攝像頭正在從2D向3D躍遷，VPU市場(chǎng)與GPU市場(chǎng)相當(dāng)
機(jī)器人的發(fā)展在這幾年非常快速，我們也切實(shí)地看到了在一些比較艱苦的工作環(huán)境下，高溫下、低溫下，在比較惡劣的環(huán)境下，以及枯燥的、繁重的這些勞動(dòng)下，機(jī)器人換人的比例在非常快速地上升，機(jī)器人的滲透率不斷地走高。
機(jī)器人有很多種機(jī)器人，有工業(yè)機(jī)器人、服務(wù)機(jī)器人、人形機(jī)器人、特種機(jī)器人、無(wú)人機(jī)等各種移動(dòng)物體，如果速度再快一些，可能四個(gè)輪子的汽車也是一種機(jī)器人。這些設(shè)備在不知不覺(jué)地快速發(fā)展，而且這些設(shè)備上面都需要越來(lái)越強(qiáng)大的視覺(jué)能力，能夠看懂周圍。
很多機(jī)器人它不像人，咱們?nèi)酥灰翱淳涂梢粤耍芏鄼C(jī)器人比人更先進(jìn)，它需要四面八方都要看，所以它的身上要裝很多眼睛，這也是我們?cè)趲椭覀兊南掠巫龅氖虑椤?/p>
視覺(jué)的前身是圖像處理，發(fā)展了很多年，正在面臨比較大的變革，就是從2D往3D在發(fā)展。我們知道蘋果在消費(fèi)端發(fā)布了Vision Pro，在內(nèi)容生產(chǎn)上做了一些事情。世界是3D的，無(wú)論現(xiàn)在手機(jī)也好，各種照相設(shè)備也好，都是2D成像，它帶來(lái)了一維信息的損失，這個(gè)損失其實(shí)是非?？上У囊约胺浅Ｖ匾?，因?yàn)槟且痪S信息很重要，所以往前走，大家所有的采集信息拍照設(shè)備一定會(huì)變成3D。
我們知道從量的角度來(lái)講，現(xiàn)在全球每年大概15億只手機(jī)，大概9000萬(wàn)輛車，每個(gè)車上有十幾個(gè)攝像頭，有很多的家電，所有這些上面的傳感器、攝像頭將來(lái)都要從2D往3D躍遷，所以我們現(xiàn)在面臨比較大的技術(shù)變革。
我們做的VPU，跟GPU比較相似的名字定義，GPU大家已經(jīng)非常熟悉了，GPU的學(xué)科基礎(chǔ)是計(jì)算機(jī)圖形學(xué)，VPU的學(xué)科基礎(chǔ)就是計(jì)算機(jī)視覺(jué)，計(jì)算機(jī)視覺(jué)跟計(jì)算機(jī)圖形學(xué)這兩個(gè)學(xué)科是完全相逆的，VPU干的事是更接近人的智能的本質(zhì)，它是讓設(shè)備看懂世界，看懂世界之后這個(gè)設(shè)備就具有了相當(dāng)程度的智能，我們都說(shuō)解決AI問(wèn)題一半的問(wèn)題在于視覺(jué)，所以解決視覺(jué)問(wèn)題也解決了相當(dāng)程度的人工智能問(wèn)題。所以VPU的市場(chǎng)非常之廣闊，GPU市場(chǎng)大家都知道很大，VPU其實(shí)不比GPU小。
這是我們做的階段性成像成果，我們?cè)诎倒?、逆光、?qiáng)光下做一些事情，這些成像是永無(wú)止境的事情，我們調(diào)整了很多傳感器，和各類傳感器廠商的關(guān)系也非常好，大家互相扶持，也幫助前面的透鏡、中間的光電轉(zhuǎn)換以及SoC，這大家在成像系統(tǒng)里面屬于三個(gè)重要的部分。我們互相扶持幫助彼此解決對(duì)方的問(wèn)題，形成一個(gè)非常好的成像系統(tǒng)。
成像系統(tǒng)可以說(shuō)永無(wú)止境，不同的客戶有不同的需求，而且不同客戶要求也越來(lái)越高，所以在這個(gè)領(lǐng)域我們做了非常多的事情。
在實(shí)際落地中有各種各樣奇奇怪怪的問(wèn)題，透鏡有透鏡的問(wèn)題，現(xiàn)場(chǎng)又有特別奇怪的光照情況，在這里面這些問(wèn)題都需要加以解決，肇觀電子在過(guò)去一段時(shí)間幫助各種客戶解決他們實(shí)際的問(wèn)題。
這是我們正在做的一些3D技術(shù)，無(wú)論是在純室外、室內(nèi)外切換的場(chǎng)景還是純室內(nèi)場(chǎng)景，我們做了系列3D的技術(shù)，這都是用芯片來(lái)去做一些計(jì)算。在室外，比如像車，以及像各種室外工作的機(jī)器人，都需要我們這樣的技術(shù)，來(lái)解決3D感知的問(wèn)題，使得機(jī)器人能避開障礙，知道自己在哪里，能獲得這些重要的信息。
這是我們基于芯片做的一個(gè)VSLAM的案例，我們的一位員工拿著智能3D深度相機(jī)在空間中移動(dòng)，紅色的線是相機(jī)移動(dòng)的軌跡，通過(guò)這些掃旁邊的一張桌子，把它掃描出來(lái)，這是實(shí)時(shí)掃描的結(jié)果，我們?cè)谛酒献隽撕芏嗵卣鼽c(diǎn)的加速，各種濾波的加速，在上面做很多VSLAM硬件的底層硬件加速的事情，使得離線在端側(cè)實(shí)時(shí)做三維重建成為可能。
很多應(yīng)用對(duì)實(shí)時(shí)性要求非常高，一個(gè)機(jī)器人，我們不希望它像恐龍一樣，看到的東西等它反應(yīng)過(guò)來(lái)已經(jīng)是1秒之后了，這是不行的，很多機(jī)器人希望0.1秒，也就是100毫秒就要反應(yīng)過(guò)來(lái)；這就涉及到感知，從光子打到傳感器到它全部處理完然后作出反應(yīng)，100毫秒內(nèi)要解決問(wèn)題。所以很多時(shí)候，端側(cè)的處理能力非常重要，因?yàn)橛行r(shí)候是來(lái)不及往云端傳輸數(shù)據(jù)，解決完再傳回來(lái)。當(dāng)然云端也非常重要，所以云和端都是在很繁榮地往前發(fā)展。
AI大家比較熟悉了，這些都是具體的落地應(yīng)用，肇觀服務(wù)了非常多的各種各樣的客戶，解決客戶的問(wèn)題。
三、一款汽車多個(gè)部位用到VPU芯片，VPU做機(jī)器人的眼睛
我們的芯片被用在了汽車上，用在車的三個(gè)鏡子上，車內(nèi)后視鏡以及車的兩個(gè)外后視鏡上，以及被用在車的攝像頭里面，以及被用來(lái)做ADAS比如LDW（車道預(yù)警）、交通標(biāo)志輔助識(shí)別、駕駛員疲勞監(jiān)測(cè)、乘客監(jiān)測(cè)、DVR，做BSD盲區(qū)檢測(cè)等等。在車載領(lǐng)域，我們是車規(guī)、國(guó)產(chǎn)、高畫質(zhì)、低延時(shí)，性能還不錯(cuò)。大家如果對(duì)車載芯片有需求，我們是比較好的選擇之一。
一個(gè)具體的應(yīng)用案例是一個(gè)電子后視鏡，在下雨的時(shí)候，畫質(zhì)非常清晰。在黑暗的場(chǎng)景，通過(guò)屏幕看，電子后視鏡仍然很清晰。
四、基于肇觀自研芯片打造費(fèi)曼系列智能深度相機(jī)，更進(jìn)一步服務(wù)下游客戶
我平常隨身也帶著芯片，放在一個(gè)小盒子里，給大家展示一下；做芯片就是有這個(gè)好處，產(chǎn)品非常小，可以隨身攜帶。
我們基于自己芯片的電路板做了智能深度相機(jī)，這就是機(jī)器人的眼睛，我隨身帶的一個(gè)機(jī)器人的眼睛。工業(yè)機(jī)器人、服務(wù)機(jī)器人、人形機(jī)器人、特種機(jī)器人、無(wú)人機(jī)器人等各種各樣的機(jī)器人，都需要這樣的眼睛。這個(gè)眼睛解決的問(wèn)題是幫助機(jī)器人3D感知，AI識(shí)別全在里面做了，成像，以及輸出碼流。
所以，一個(gè)小的模組，像口香糖一樣大的模組，就解決了機(jī)器人眼睛所有的問(wèn)題。
我們花了很多力氣在做這個(gè)產(chǎn)品，來(lái)解決客戶的問(wèn)題。舉例來(lái)講，很多很嚴(yán)苛的客戶，要求我們把眼睛要做到世界第一；在沒(méi)有我們的時(shí)候，是有一家海外的巨頭來(lái)提供類似的模組。有了我們之后，我們被客戶要求替代掉海外巨頭，被要求在很多的技術(shù)點(diǎn)上要磨到世界第一。
舉一個(gè)很簡(jiǎn)單的例子，像這樣的模組，它的連接是USB3.0的連接，大家可能有些人比較熟悉，就是一根線，拖出來(lái)插到電腦上充電也好，數(shù)據(jù)傳輸也好，都可以用。從技術(shù)角度而言，USB協(xié)議其實(shí)不是一個(gè)特別穩(wěn)定可靠的協(xié)議。大家如果關(guān)注這一點(diǎn)，在工業(yè)這種場(chǎng)景下，不穩(wěn)定可靠是致命的，如果通過(guò)USB連接，把這個(gè)數(shù)據(jù)穩(wěn)定傳出來(lái)，我們的客戶要求我們10萬(wàn)小時(shí)的連接不能中斷一次，這就要求非常高了。所以為了達(dá)到這樣的目標(biāo)，就是海外巨頭都做不到這一點(diǎn)，因?yàn)樗幸恍┨焐牟蛔銓?dǎo)致的問(wèn)題。
為了達(dá)到這個(gè)10萬(wàn)小時(shí)一次連接都不斷，我們被迫要去在芯片級(jí)、在所有的底層驅(qū)動(dòng)都重新寫一遍，在跟它連接的另外一端的軟件也要重新寫一遍，所以全部的硬件軟件都要重新做，所以才能做到10萬(wàn)小時(shí)不斷連接的場(chǎng)景，這只是客戶的諸多非常細(xì)的要求之一。
在這個(gè)過(guò)程中，我們能夠提供給客戶穩(wěn)定的、可靠的、智能的、3D的深度的相機(jī)，適用于各種極限場(chǎng)景，比如說(shuō)我們有冷庫(kù)機(jī)器人的客戶，它的機(jī)器人常年在零下18度搬海鮮的客戶，它的眼睛就需要在零下18度每次都能正常啟動(dòng)，完成它的任務(wù)，然后再關(guān)機(jī)。但是比如海外巨頭的產(chǎn)品在零下18度開機(jī)都開不出來(lái)，我們被要求在如此低溫下能正常工作。我們也被要求在非常高溫下要能正常工作，所以這里面有非常多的客戶需求。
所以我們?cè)诟T多客戶在過(guò)去很多年一直在打磨，我們積累了非常多解決方案，這些解決方案反過(guò)來(lái)幫助了肇觀如何能夠設(shè)計(jì)出更好的芯片和模組來(lái)切實(shí)解決客戶的問(wèn)題，這是非常重要的。
在這個(gè)過(guò)程中，我們也深刻理解了客戶的使用場(chǎng)景，客戶面對(duì)的各種問(wèn)題。因?yàn)檫@些模組主要賣給這些toB的客戶。我們作為一個(gè)核心元器件廠商，如何幫助他們解決問(wèn)題，在這里面肇觀也收獲了很多寶貴的經(jīng)驗(yàn)。
五、支持荷蘭語(yǔ)德語(yǔ)等各種語(yǔ)言，OCR識(shí)別正確率全球領(lǐng)先
肇觀也應(yīng)一類客戶要求，在OCR的領(lǐng)域做了很多事情。不謙虛地講，在自然光照條件下各種復(fù)雜文本的采集分析方面，我們?cè)谶@個(gè)領(lǐng)域，在全球范圍內(nèi)做得算是比較領(lǐng)先。
舉例子來(lái)講，比如彎曲的各種文字、不同的背景下，我們文字的采集、文字識(shí)別和處理做得比較領(lǐng)先。比如說(shuō)，右下角這是一個(gè)日本的報(bào)紙，日文報(bào)紙有豎排、橫排混在一起，我們就被客戶要求把它完全正確處理出來(lái)，而且把順序排好，要能夠語(yǔ)義能夠理解出來(lái)。所以在OCR領(lǐng)域，我們做了很多事情，現(xiàn)在已經(jīng)支持十幾種不同國(guó)家的語(yǔ)言了，在這個(gè)領(lǐng)域算法做得比較領(lǐng)先。
這是我們OCR的具體例子，我們的識(shí)別準(zhǔn)確率，我們支持中文、英文、日文、韓文、阿拉伯語(yǔ)、西班牙語(yǔ)、葡萄牙語(yǔ)、法文、德文、荷蘭語(yǔ)等各國(guó)語(yǔ)言，我們支持各國(guó)語(yǔ)言的OCR，我們?cè)谶@方面做得算是世界領(lǐng)先之一，我們不僅做逐字的識(shí)別，在表格的識(shí)別，還在各種時(shí)尚雜志、繪本等復(fù)雜頁(yè)面里面，能把該提取的東西提取出來(lái)，不該提取的不提取，在這里面我們做了非常多的事情。
大家如果誰(shuí)對(duì)OCR的算法或者技術(shù)有需求，也歡迎聯(lián)系我，聯(lián)系肇觀電子，我們都很樂(lè)意在客戶的產(chǎn)品中貢獻(xiàn)一點(diǎn)力量。
肇觀一直致力于用AI視覺(jué)芯片來(lái)幫助所有的智能設(shè)備看懂世界，來(lái)做這樣一件事情，這個(gè)事情對(duì)我們而言意義非常重大，對(duì)這些智能設(shè)備而言也非常重要，所以在這個(gè)領(lǐng)域，我們一直在深耕我們的芯片，深耕我們的核心能力，更好地幫助到客戶。今天我的分享就到這里，感謝大家！
以上是馮歆鵬演講內(nèi)容的完整整理。
