芯東西（公眾號：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
當(dāng)你用手機(jī)抓拍某個精彩瞬間，一旦拍糊了，可能會令人相當(dāng)郁悶。
一家法國創(chuàng)企正從根源上解決這個問題。
這家機(jī)器視覺創(chuàng)企名為普諾飛思（Prophesee），是神經(jīng)擬態(tài)視覺系統(tǒng)的發(fā)明者。它通過模仿人眼和大腦的工作方式，開發(fā)了突破性的事件視覺（EBV，Event-Based Vision）技術(shù)，讓攝影設(shè)備能夠高效捕捉到清晰畫面，而且?guī)缀醪皇芄饩€影響。
▲采用Prophesee事件視覺技術(shù)，手機(jī)在動態(tài)過程中拍攝的照片變清晰（圖源：Prophesee）
總的來說，Prophesee的神經(jīng)擬態(tài)事件視覺解決方案可以幫助有效解決三個痛點(diǎn)：一是實(shí)現(xiàn)高速跟蹤，二是降低算力需求，三是優(yōu)化整體功耗。
Prophesee的全球總部位于法國巴黎，中國總部位于上海，擁有100多位科研人員、50多項(xiàng)國際專利，國際智能手機(jī)芯片巨頭高通、國際圖像傳感器巨頭索尼均是它的合作伙伴。
今年1月，Prophesee完成五千萬歐元C輪融資，成為歐盟獲融資最多的無晶圓廠半導(dǎo)體公司。其歷代投資陣容相當(dāng)吸睛，包括英特爾、博世、雷諾集團(tuán)、小米、韋爾股份等戰(zhàn)略投資者，以及歐洲投資銀行EIB、創(chuàng)新工場、韋豪創(chuàng)芯、Prosperity7 Ventures等產(chǎn)業(yè)投資人。
這家創(chuàng)企為何被如此多科技大廠看好？事件視覺技術(shù)與傳統(tǒng)基于幀的傳感器技術(shù)有何不同？它通過什么原理讓手機(jī)攝影質(zhì)量大幅提升？近日，Prophesee聯(lián)合創(chuàng)始人兼執(zhí)行總裁盧卡·維雷（Luca Verre），Prophesee副總裁兼大中華區(qū)總經(jīng)理?xiàng)钛╋w來到北京，與芯東西等媒體進(jìn)行了深入交流。
一、模擬人眼捕捉動態(tài)信息，暗光環(huán)境下也能抓拍清晰影像
人類對世界的認(rèn)識，并非是基于柵格或基于幀的。傳統(tǒng)基于幀的傳感器，目標(biāo)是盡可能捕捉空間的信息，在數(shù)據(jù)處理量、處理速度、周遭光線條件不理想時，瓶頸問題會日益突出。
從自然界汲取靈感的Prophesee產(chǎn)品和技術(shù)，則能很好地解決這些問題。
▲傳統(tǒng)傳感器與Prophesee傳感器處理Luca Verre講話影像的對比（圖源：Prophesee）
在生物界中，當(dāng)視野中的人或物不動時，人眼是沒有向大腦傳送圖像信號的，只有發(fā)生變化時，眼睛才會開始工作。
受此啟發(fā)，Prophesee開發(fā)了事件視覺傳感器。在拍攝一些移動物體時，該傳感器更關(guān)注動作信息，其像素不會在一個固定的時間節(jié)點(diǎn)（幀率）記錄整個畫面的信息，僅記錄關(guān)鍵的動態(tài)場景信息，因此像素反應(yīng)速度極快，能捕捉到亞毫秒級的瞬間，而且?guī)缀醪皇芄饩€條件的影響。
相比傳統(tǒng)方法，這樣能大幅減少系統(tǒng)需處理的信息量，實(shí)現(xiàn)更好的能效。
▲事件視覺傳感技術(shù)的四項(xiàng)能力（圖源：Prophesee）
對于解決攝影模糊問題來說，事件視覺傳感器尤其有用。以前用常規(guī)普通攝像頭拍照時，如果被拍攝對象移動速度很快，或是因場景光線不足導(dǎo)致曝光時間延長，都可能會導(dǎo)致照片發(fā)生模糊。
而Prophesee的事件視覺傳感器，收集到的事件數(shù)據(jù)在時間上具有連續(xù)性，可以借助這些信息來重構(gòu)和修復(fù)常規(guī)攝像機(jī)拍攝的模糊圖像，使得照片中的人或物恢復(fù)到接近人眼視覺看到的狀態(tài)。
▲手機(jī)原相機(jī)與Prophesee技術(shù)加持后的抓拍清晰度對比（圖源：Prophesee）
Luca Verre說，就成本而言，事件視覺傳感器與傳統(tǒng)基于幀的傳感器沒有太大的區(qū)別，遵循一樣的技術(shù)趨勢，使用一樣的生產(chǎn)工藝。
這對手機(jī)廠商們相當(dāng)有吸引力。畢竟手機(jī)攝影功能是許多消費(fèi)者在購買手機(jī)時會重點(diǎn)考慮的因素之一，在暗光環(huán)境隨手抓拍清晰照片的功能會令不少攝影愛好者為之心動。
智能手機(jī)也是Prophesee當(dāng)前的一大戰(zhàn)略高地。在全球，每年有超過10億臺的手機(jī)在銷售，一臺手機(jī)有越來越多的攝像頭，市場潛力非常大。
二、與高通、索尼、中國手機(jī)大廠密切合作
Luca Verre分享說，當(dāng)前手機(jī)占據(jù)了60%以上的圖像傳感器市場。在手機(jī)端，Prophesee當(dāng)前的應(yīng)用是將其事件視覺傳感器與傳統(tǒng)基于幀的圖像傳感器進(jìn)行結(jié)合，提高手機(jī)后置主攝的攝影質(zhì)量。
索尼在傳統(tǒng)基于幀的圖像傳感器方面占據(jù)了超過40%的市場份額，擁有可靠的供應(yīng)鏈和強(qiáng)大的供應(yīng)能力。Prophesee正與索尼積極合作，將事件視覺技術(shù)推廣到工業(yè)、物聯(lián)網(wǎng)（IoT）、手機(jī)等不同的應(yīng)用領(lǐng)域。Prophesee的事件視覺傳感器也是由索尼來幫助完成生產(chǎn)供應(yīng)的。
在上個月舉行的世界移動通信大會MWC 2023期間，高通公布了與小米、榮耀等手機(jī)大廠的戰(zhàn)略合作，Prophesee也名列其中。在技術(shù)層面，高通將Prophesee的事件視覺傳感器和軟件整合到驍龍移動平臺上，相關(guān)開發(fā)套件將于今年上市；在業(yè)務(wù)發(fā)展層面，高通將會和Prophesee一起向手機(jī)OEM推廣這個解決方案。
目前全球60%以上的旗艦手機(jī)和高端手機(jī)都采用由高通提供的處理器。Prophesee進(jìn)一步鞏固了和高通的長期戰(zhàn)略合作關(guān)系。雙方一致認(rèn)為，在計(jì)算攝影、傳感應(yīng)用等方面，神經(jīng)擬態(tài)技術(shù)將會為未來智能手機(jī)帶來非常多的附加價值。
▲高通在MWC 2023公布與Prophesee的戰(zhàn)略合作
Prophesee現(xiàn)階段和高通合作的重點(diǎn)是提高手機(jī)影像成像質(zhì)量，首推功能是很多手機(jī)OEM廠商一個主要訴求——照片的運(yùn)動去模糊功能。
除此之外，Prophesee也在與高通以及中國知名手機(jī)OEM廠商進(jìn)行密切接洽，去開發(fā)更多的功能，以將事件視覺技術(shù)推向更廣闊的市場。
除了高通和索尼外，Prophesee公布的合作伙伴還有中國臺灣的芯鼎科技（iCatch）、日本的DMP公司等。Prophesee也一直和英特爾保持積極合作，并在AMD賽靈思上搭建了參考系統(tǒng)。
除了手機(jī)之外，IoT監(jiān)控安防也是一個很好的應(yīng)用場景。Prophesee的技術(shù)不但能夠保護(hù)隱私，而且能夠節(jié)省數(shù)據(jù)流量和資源，讓整個方案變得更便捷、安全。今年P(guān)rophesee在該領(lǐng)域就會有相應(yīng)的量產(chǎn)產(chǎn)品落地。
三、降低延遲與功耗，優(yōu)化AR/VR沉浸式體驗(yàn)
除了手機(jī)領(lǐng)域外，Prophesee也在可穿戴設(shè)備及AR/VR領(lǐng)域進(jìn)行探索和突破。
Luca Verre相信未來AR/VR將成為我們與世界進(jìn)行交互的方式，因此，Prophesee正努力盡可能地提升AR/VR技術(shù)的沉浸式體驗(yàn)，比方幫助位姿跟蹤、手勢追蹤、目光跟蹤等減少延遲和降低功耗。這些是提升沉浸式體驗(yàn)的關(guān)鍵。
▲Prophesee在VR應(yīng)用方面的儲備（圖源：Prophesee）
使用AR/VR設(shè)備，如果延遲非常嚴(yán)重，使用者可能會感到頭暈、產(chǎn)生暈眩感；如果設(shè)備功耗比較高的話，相應(yīng)的AR/VR設(shè)備成本可能會提升，難以在消費(fèi)市場推廣普及。
而Prophesee的事件視覺技術(shù)可以精準(zhǔn)檢測目標(biāo)對象的輪廓，并進(jìn)行高速追蹤，同樣幾乎不受光線條件的影響。
以眼球追蹤為例，如果使用傳統(tǒng)攝像頭，通常需要達(dá)到500幀/秒以上的速度，對算力的要求非常高。與傳統(tǒng)的解決方案相比，事件視覺技術(shù)只關(guān)注畫面中動態(tài)變化的信息，可以大大降低數(shù)據(jù)量，實(shí)現(xiàn)非常高速的追蹤。
去年，Meta公司也發(fā)布了基于與Prophesee合作取得的成果和數(shù)據(jù)，在有限的功耗內(nèi)實(shí)現(xiàn)了高性能的眼球追蹤。
由于事件視覺技術(shù)很適合用于捕捉運(yùn)動的物體信息，Luca Verre說，有人把電動汽車比喻成四個輪子的智能手機(jī)，未來Prophesee也將會關(guān)注汽車領(lǐng)域。
四、看重在中國投資：團(tuán)隊(duì)規(guī)模最大，正在高速增長
在神經(jīng)擬態(tài)視覺技術(shù)上，Prophesee核心團(tuán)隊(duì)的研究已經(jīng)長達(dá)25年。大約在8年前，Luca Verre與其合作伙伴們共同成立了Prophesee公司。
他們最初是希望能夠用這項(xiàng)技術(shù)來幫助視力受損的人恢復(fù)視覺，工作原理有點(diǎn)像用硅做的視網(wǎng)膜，這項(xiàng)工作在2016年取得了成功。從那之后，他們希望能夠把人眼視覺也賦能到一些設(shè)備上，特別是在人工智能（AI）和機(jī)器視覺領(lǐng)域的物聯(lián)網(wǎng)設(shè)備、機(jī)器人、無人機(jī)、智能手機(jī)上。
從創(chuàng)建起初，Prophesee團(tuán)隊(duì)就決定要在中國進(jìn)行投資。Luca Verre非常看好中國市場的巨大市場潛力和豐富的市場資源，以及來自公共和私人領(lǐng)域的投資和良好的生態(tài)。
Prophesee副總裁兼大中華區(qū)總經(jīng)理?xiàng)钛╋w說，中國是Prophesee非常重要的戰(zhàn)略投資和業(yè)務(wù)拓展方向。目前Prophesee的全球布局中，中國團(tuán)隊(duì)規(guī)模最大，增長速度也非?？?。
Prophesee的中國總部位于上海，在北京、香港、臺北等各地均有設(shè)立支持合作伙伴和客戶的團(tuán)隊(duì)。深圳也是其未來的一個重要布局點(diǎn)。
除了銷售外，Prophesee團(tuán)隊(duì)同樣非常重視開發(fā)，去年夏天專門從法國邀請了創(chuàng)始團(tuán)隊(duì)中的一位成員擔(dān)任中國區(qū)CTO，以帶動中國區(qū)市場客戶所需的支持與開發(fā)。Prophesee還在加強(qiáng)本地化團(tuán)隊(duì)的技術(shù)開發(fā)能力及快速地響應(yīng)能力。
▲在中國，Prophesee截至2022年的工作進(jìn)展和2023年的計(jì)劃（圖源：Prophesee）
到2022年為止，Prophesee的很多工作都是鋪墊性的。
Prophesee與中國區(qū)合作伙伴進(jìn)行了大量合作，包括如清華大學(xué)在內(nèi)的超過30所大學(xué)院校、大專院校以及研究所單位。面向工業(yè)類、應(yīng)用類，它與小米、索尼等大量的ToB企業(yè)進(jìn)行合作，開發(fā)不同產(chǎn)品系列上的可能應(yīng)用。去年P(guān)rophesee還在中國找到了相機(jī)合作廠商。
進(jìn)入2023年，Prophesee逐漸開始收獲：首先會推出Prophesee的中文版官方網(wǎng)站，并將建立以中文交流為主的開發(fā)者社區(qū)，方便與中國合作伙伴一起把技術(shù)交流和研發(fā)推向一個更廣闊的前景。
在大量前期研發(fā)合作的基礎(chǔ)上，今年，Prophesee有兩大應(yīng)用進(jìn)入到了成熟階段，除了在MWC巴塞羅那展上獲獎的手機(jī)Deblur應(yīng)用方案外，IoT方案也將于今年量產(chǎn)落地。
Prophesee正在加快與中國區(qū)合作伙伴開發(fā)部署很多潛在的優(yōu)秀應(yīng)用場景，包括VR眼球追蹤、真人動作捕捉等技術(shù)。Prophesee今年還會推出針對高速3D深度信息獲取的解決方案，將大幅提升捕捉速度，在更高速運(yùn)動過程中進(jìn)行3D信息傳輸。
結(jié)語：解鎖成像與機(jī)器視覺的更多可能
隨著AI、工業(yè)自動化、物聯(lián)網(wǎng)、VR/AR、自動駕駛等新興產(chǎn)業(yè)加速發(fā)展，新時代的算力需求亟待更強(qiáng)大的芯片來承擔(dān)更高的視覺處理需求。
事件視覺技術(shù)通過模擬人眼感知處理信息的方式，為重新定義當(dāng)今的成像和機(jī)器視覺、解鎖更多應(yīng)用創(chuàng)造了全新可能。
