智東西(公眾號:zhidxcom)
作者 | 楊暢
編輯 | 心緣

智東西7月7日報道,昨日,法國機器視覺創(chuàng)企普諾飛思(PROPHESEE)宣布獲得C輪融資,由李開復(fù)創(chuàng)立的創(chuàng)新工廠領(lǐng)投,小米和上海韋豪創(chuàng)芯跟投。迄今普諾飛思已累計融資6800萬美元。

普諾飛思的核心技術(shù)是神經(jīng)擬態(tài)視覺技術(shù),其主要產(chǎn)品包含兩類:原視覺(Metavision)傳感器和原視覺智能套件。這可以被理解為模擬了人眼和大腦協(xié)同的工作方式,能讓機器看到隱藏的場景運動信息。

今日,普諾飛思聯(lián)合創(chuàng)始人兼CEO盧卡·維雷(Luca Verre)與智東西等媒體遠程視頻連線,詳細介紹其核心技術(shù)的三大主要優(yōu)勢。此外,盧卡還特別提及對中國市場的看好。

一、僅檢測變化信息,忽略靜止圖像

成立7年的普諾飛思,總部位于巴黎,目前在全球設(shè)有5個辦事處,中國分公司位于上海,普諾飛思最近在大力拓展中國團隊。

目前普諾飛思團隊共有100多位工程師,掌握51項國際專利。

據(jù)盧卡分享,普諾飛思傳感器和傳統(tǒng)傳感器的工作原理存在明顯差異。

傳統(tǒng)圖像傳感器是以某一固定幀速率記錄整個場景,如每秒30幀。以打高爾夫球的視頻為例,這一場景中重要的信息是球桿的擺動和球的運動,但傳統(tǒng)傳感器將丟失這些信息的某些部分,同時反復(fù)記錄他身后的天空、樹木和草地,這樣記錄的數(shù)據(jù)對于機器識別來講相對原始和冗余。

這家AI創(chuàng)企專攻神經(jīng)擬態(tài)視覺技術(shù),獲創(chuàng)新工場、小米投資

普諾飛思的核心技術(shù)受到人眼和大腦工作原理的啟發(fā),是一種基于事件的視覺神經(jīng)擬態(tài)處理技術(shù)。

人眼眼睛中的視覺細胞感測到場景變化時,即“事件”,細胞會傳遞信息給大腦,如果場景沒有任何變化,則細胞不會傳遞任何內(nèi)容,場景中的物體移動得越多,我們的眼睛和大腦收集的數(shù)據(jù)越多。

這種基于事件的傳感器,每個像素都會根據(jù)其檢測到的對比度變化(運動)智能地激活自己,可以獲得連續(xù)數(shù)據(jù),沒有幀率的限制。

具體來講就是,跟蹤識別物體變化產(chǎn)生的光的變化。

普諾飛思高級現(xiàn)場應(yīng)用工程師Cyrus Lo,從三個方面對其技術(shù)進行了展示:

首先是演示了普諾飛思的視覺傳感器可以檢測物體或人運動產(chǎn)生的光的變化,反映到屏幕上是箭頭的顏色和長度,顏色代表運動方向,長度代表運動速度。

這家AI創(chuàng)企專攻神經(jīng)擬態(tài)視覺技術(shù),獲創(chuàng)新工場、小米投資

▲普諾飛思視覺傳感器可以反映物體運動速度和運動方向

第二個演示展示,說明了普諾飛思傳感器檢測數(shù)據(jù)的另一個特點,靜止狀態(tài)的話,顯示屏幕上是一片空白的,當有物體動起來,就會有藍色和黑色的圖像出現(xiàn),代表從暗到明或從明到暗的變化。

這家AI創(chuàng)企專攻神經(jīng)擬態(tài)視覺技術(shù),獲創(chuàng)新工場、小米投資

▲普諾飛思視覺傳感器顯示物體反射光線的明暗變化

最后一個演示表明了,普諾飛思傳感器記錄數(shù)據(jù)是連續(xù)的,只要物體一直在動,它就一直記錄。而傳統(tǒng)傳感器記錄是有間隔的。

這家AI創(chuàng)企專攻神經(jīng)擬態(tài)視覺技術(shù),獲創(chuàng)新工場、小米投資

▲普諾飛思傳感器記錄數(shù)據(jù)是連續(xù)的

盧卡說,基于事件的處理技術(shù)有三個優(yōu)點:第一是會減少數(shù)據(jù)冗余,減輕計算壓力;第二是速度,提高機器識別圖像的速度,不用機器去對比圖像之間的變化,而是直接記錄變化;第三是增加動態(tài)范圍,只要有光即使是很微弱的光線環(huán)境,也可以進行動態(tài)物體運動的捕捉。

二、極端環(huán)境或不便接觸的環(huán)境下可用

盧卡還介紹了多種其技術(shù)的應(yīng)用場景,目前涉及輔助駕駛領(lǐng)域、醫(yī)藥醫(yī)療領(lǐng)域、工業(yè)領(lǐng)域。

輔助駕駛領(lǐng)域,例如當駕駛員放下遮光板時,車內(nèi)存在非常亮和非常暗的地方,傳統(tǒng)圖像傳感器可能識別起來存在困難,但是基于事件的圖像處理傳感器是根據(jù)物品移動時帶來的光的變化而采集的數(shù)據(jù),也就具有更寬的動態(tài)范圍。

醫(yī)療領(lǐng)域,如在胰島素生產(chǎn)過程中,原有的方法是等最后時候進行無菌檢測,但是基于事件的視覺技術(shù)就可以實時對培養(yǎng)基進行檢測,這是非接觸性的。

這家AI創(chuàng)企專攻神經(jīng)擬態(tài)視覺技術(shù),獲創(chuàng)新工場、小米投資

普諾飛思大中華區(qū)商務(wù)發(fā)展主管Johney Lu說,在工業(yè)領(lǐng)域,普諾飛思的技術(shù)已經(jīng)實現(xiàn)商業(yè)化落地,例如振動檢測像鐵軌、高壓裝置等不方便放傳感器的地方,基于事件的視覺傳感器可以不與物體接觸,就能檢測出物體的變化,再如,焊接過程中,使用傳感器也可以幫助尋找焊點和實現(xiàn)質(zhì)檢。

盧卡提到他非??春弥袊袌?,因為中國是最大的智能手機市場、最大的攝像頭市場、最大的無人機市場等等,這些都可能用到他們公司的產(chǎn)品,助力普諾飛思的產(chǎn)品和技術(shù)進入商用領(lǐng)域。

結(jié)語:神經(jīng)擬態(tài)視覺領(lǐng)域,索尼、三星等已進入

普諾飛思傳感器是從采集階段就之間采集數(shù)據(jù)變化的信息,相對于傳統(tǒng)視覺傳感器輸出的結(jié)果更簡潔,沒有重復(fù)信息,提高圖像等的處理效率。

像三星和索尼等,去年就有涉及神經(jīng)擬態(tài)視覺方面的行動,其中索尼在去年2月就和普諾飛思合作發(fā)布了第四代原視覺傳感器芯片。根據(jù)歐洲半導(dǎo)體分析機構(gòu)Yole Développement的預(yù)測,到2029年,神經(jīng)擬態(tài)半導(dǎo)體、傳感和計算市場可能會達到71億美元,市場有一定發(fā)展前景。