芯東西（ID：aichip001）文 | 云鵬 心緣
芯東西3月5日消息，《Nature》刊登一則新研究，提供了一種新穎的AI視覺芯片研發(fā)方向。
維也納大學的電氣工程師Lukas Mennel和他的同事們研發(fā)了一種新型的超高速機器視覺設(shè)備，用圖像傳感器將圖像處理速度提升至傳統(tǒng)技術(shù)的數(shù)千甚至上萬倍。
Mennel介紹說：“我們的圖像傳感器在工作時不會消耗任何電能，被檢測的光子本身就可以作為電流供能?！?/p>
他著重提到，傳統(tǒng)的機器視覺技術(shù)通常能夠每秒處理100幀圖像，一些更快的系統(tǒng)則可以每秒處理1000幀，相比之下，“我們的系統(tǒng)每秒可以處理2000萬幀。”
據(jù)悉，其視覺系統(tǒng)設(shè)計模仿了大腦對信息處理的方式，只用納秒級時間就能完成簡單圖像的分類。
Nature?579, 32-33 (2020)
doi: 10.1038/d41586-020-00592-6
?一、將圖像傳感器變成人工神經(jīng)網(wǎng)絡(luò)
現(xiàn)代圖像傳感器最早在1970年代初開發(fā)出來，主要分為電荷耦合器件和有源像素傳感器兩種類型。
這些傳感器能從環(huán)境中準確捕獲視覺信息，但同時也會生成大量冗余數(shù)據(jù)，而傳感器與處理單元之間大量數(shù)據(jù)的移動，往往會導致高功耗和延遲問題。
如今汽車、機器人、工業(yè)制造等領(lǐng)域的視覺應用都對延遲非常敏感，要求盡可能實現(xiàn)實時處理和決策，而受帶寬限制，把所有數(shù)據(jù)都送到云端處理很難解決延時問題，邊緣計算逐漸成為剛需。
另外，由于傳感器通常會產(chǎn)生模擬輸出，而模數(shù)轉(zhuǎn)換既耗時又耗能，因此模擬處理要好過數(shù)字處理。
維也納大學研究人員們試圖通過減少中間步驟來加快機器視覺，他們直接在圖像傳感器中實現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)（ANN）。
▲ 輸入信息在視覺傳感器內(nèi)進行計算，實現(xiàn)智能，高效的預處理
傳統(tǒng)AI視覺傳感器的處理過程如圖（a）所示，傳感器收集信號，通過模數(shù)轉(zhuǎn)換器（ADC）將模擬信號轉(zhuǎn)換為數(shù)字信號，放大后輸入到外部人工神經(jīng)網(wǎng)絡(luò)（ANN），經(jīng)參數(shù)調(diào)優(yōu)訓練神經(jīng)網(wǎng)絡(luò)。
ANN的輸入層接收編碼簡單物理元素的信號（點、線），這些信號在隨后的層中被優(yōu)化為中級特征（簡單形狀），最后在輸出層上形成精細的圖像（3D形狀），總體響應可能很慢而且耗能。
而Mennel等人研發(fā)的視覺系統(tǒng)如圖（b）所示，芯片上的互連傳感器（正方形）不僅可以采集信號，而且還可以用作ANN來識別簡單特征，從而減少了傳感器和外部電路之間的冗余數(shù)據(jù)移動。
二、傳感器中集成權(quán)重，減少冗余數(shù)據(jù)移動
研究人員們在芯片上構(gòu)建了一個光電二極管網(wǎng)絡(luò)。
這些光電二極管是對光敏感的微小單元，每個單元都包含幾個原子層的二硒化鎢，二硒化鎢是一種可調(diào)節(jié)光響應的二維半導體材料。
▲浮柵光電二極管示意圖
通過更改施加的電壓，可以增加或減少該半導體對光的響應，從而分別調(diào)節(jié)每個二極管的靈敏度。
改變光電二極管的光響應性，會改變網(wǎng)絡(luò)中的連接權(quán)重。
▲epoch 1和epoch 30時的編碼器光響應值（左）和解碼器權(quán)重（右）
相當于把網(wǎng)絡(luò)的訓練結(jié)果直接放在傳感器端，不用經(jīng)過把訓練權(quán)重送到外部存儲器這一過程。
這就將光電傳感器網(wǎng)絡(luò)變成了神經(jīng)網(wǎng)絡(luò)，并使其能夠執(zhí)行簡單的計算任務。
▲ ANN光電二極管陣列的電路
三、功能演示：分類和自動編碼
研究人員們將光電二極管排列成9個像素的正方形陣列，每個像素3個二極管。
當圖像投影到芯片上時，芯片會生成、讀取各種二極管產(chǎn)生的電流。
硬件陣列提供了一種模擬計算形式：每個光電二極管都會產(chǎn)生與入射光強度成比例的輸出電流，并且根據(jù)基爾霍夫定律將沿行或列得出的電流相加。
然后就可以訓練陣列來執(zhí)行相應任務了。
▲訓練算法流程圖（藍色陰影框是與ANN光電二極管陣列的相互作用）
芯片外分析陣列產(chǎn)生的電流與預測電流之間的差異，并用于調(diào)整突觸權(quán)重以進行下一次訓練周期。
這個學習階段會占用時間和計算資源，但是一旦經(jīng)過訓練，該芯片就會迅速執(zhí)行其設(shè)定的任務。
使用不同神經(jīng)網(wǎng)絡(luò)算法，該團隊演示了兩種神經(jīng)形態(tài)功能：分類和自動編碼。
▲a：用于訓練分類器和自動編碼器的實驗設(shè)置；b：用于時間分辨測量的實驗設(shè)置
（1）分類
他們用3×3像素陣列制作了三個簡化字母：n、v、z。
圖像傳感器經(jīng)訓練后，只需測量對應電路電流是否為0，就能在納秒級時間內(nèi)識別該字母。
如果按比例增加陣列的大小，該神經(jīng)網(wǎng)絡(luò)還可以識別更復雜的圖像。
▲識別“n”、“v”、“z”三個字母
（2）自動編碼
即使在存在信號噪聲的情況下，該神經(jīng)網(wǎng)絡(luò)也可以通過學習圖像的關(guān)鍵特征，來生成處理后圖像的簡化表示。
編碼器僅包含最基本的信息，但可以對其進行解碼以重建接近原始圖像。
▲對有噪聲圖像的簡化表示
Mennel指出，系統(tǒng)運行的速度僅受電路中電子移動速度的限制。從原則上講，這種策略的工作速度可以達到數(shù)萬億分之一秒，或者比目前演示的速度快三到四個數(shù)量級。
▲分類器（a）和自動編碼器訓練（b）30 epoches的數(shù)據(jù)集，其測試數(shù)據(jù)噪聲水平分別為σ??= 0.4和σ??= 0.15
四、離落地還有距離
這樣的傳感器可以用來做什么？
Mennel說：“目前，這些主要用在特定的科學應用，例如，流體動力學、燃燒過程或機械故障過程可從更快的視覺數(shù)據(jù)獲取中受益?！?/p>
不過，這項技術(shù)在實際落地應用之前，還有許多工作要做。
首先，用于自動駕駛車輛和機器人技術(shù)的神經(jīng)形態(tài)視覺系統(tǒng)，需要捕獲具有廣闊視野的三維動態(tài)圖像和視頻。
而當前使用的圖像捕獲技術(shù)通常將3D現(xiàn)實世界轉(zhuǎn)換為2D信息，丟失運動信息和深度，現(xiàn)有圖像傳感器陣列的平面形狀也限制了廣角相機的發(fā)展。
其次，該研究描述的設(shè)備很難在昏暗的光線下成像，需要重新設(shè)計，以改善薄半導體中的光吸收，并增加可以檢測到的光強度范圍。
再者，該設(shè)計需要高電壓并消耗大量功率。相比之下，生物神經(jīng)網(wǎng)絡(luò)中每項操作的能量消耗為10?-15至10?-13焦耳。擴展對紫外線和紅外光的響應，以捕獲在可見光譜不可用的信息也是有用的。
另外所使用的薄半導體難以在大面積上均勻地生產(chǎn)，并且難以加工，因此它們可以與硅電子器件集成在一起，例如用于讀出或反饋控制的外部電路。
使用這些傳感器的設(shè)備的速度和能源效率將不取決于圖像捕獲過程，而是取決于傳感器和外部電路之間的數(shù)據(jù)移動。
而且，盡管傳感器計算單元在模擬域中采集和計算數(shù)據(jù)，減少了模數(shù)轉(zhuǎn)換，但是外圍電路仍然存在固有延遲問題。傳感器和外部電路將需要共同開發(fā)來減少整個系統(tǒng)的等待時間。
結(jié)語：實時邊緣計算的創(chuàng)新路徑
Mennel及其同事的“傳感器中計算”系統(tǒng)是對AI硬件研究非常有趣的探索。
此前少數(shù)公司已經(jīng)開發(fā)了基于硅電子的AI視覺芯片，但這些芯片的固有數(shù)字體系結(jié)構(gòu)往往帶來延遲和電源效率問題。
更廣泛地說，該研究團隊的策略不僅限于視覺系統(tǒng)，它可以擴展到用于聽覺、觸覺、熱感以及嗅覺等其他物理輸入。
此類智能系統(tǒng)的開發(fā)以及5G高速無線網(wǎng)絡(luò)的到來，會讓實時（低延遲）邊緣計算成為可能。
文章來源：IEEE，Nature
