智東西（公眾號：zhidxcom）
編｜十四 小智
最受矚目的AR公司Magic Leap目前已經(jīng)完成8.27億美元的C輪融資，總估值達45億美元。
4月21日，美國專利商標局披露了其最新的7項專利，主要介紹了Magic Leap的光路模塊的主要結(jié)構(gòu)及相關(guān)的投影，圖像傳輸和調(diào)制技術(shù)。
實際上，Magic Leap在中國以奇躍公司的名義很早就開始進行了專利積累。本期智能內(nèi)參就來解讀包括最新專利在內(nèi)的Magic Leap光學(xué)和計算模塊的多項核心技術(shù)。
在智東西（公眾號：zhidxcom）分別回復(fù)關(guān)鍵詞“美國專利”和“中國專利”獲取以下全部專利報告。
以下，為智東西（公眾號：zhidxcom）所摘選并編譯的關(guān)鍵要點：
光學(xué)模塊：
光學(xué)模塊涉及到的專利共有8項，分別是：
1.人體工程學(xué)頭戴式顯示設(shè)備和光學(xué)系統(tǒng)
專利申請?zhí)枺?01180068447.7
特點：包覆型透視顯示系統(tǒng)設(shè)計。
2.具有相互遮擋和不透明度控制能力的用于光學(xué)透視頭戴顯示器的設(shè)備
專利申請?zhí)枺?01380029550.X
特點：調(diào)制透視圖像路徑和虛擬圖像路徑。
3.三維虛擬和增強現(xiàn)實顯示系統(tǒng)
專利申請?zhí)枺?01280067730.2
特點：選擇性透明的投射裝置。
4.具有主動中央凹能力的寬視場 (FOV) 成像設(shè)備
專利申請?zhí)枺?01380029492.0
特點：圖像捕捉，寬視場圖像的可控感興趣區(qū)域。
5.使用波導(dǎo)反射器陣列投射器的多深度平面三維顯示器
專利申請?zhí)枺?01380042218.7
特點：線性波導(dǎo)的二維陣列，模擬4D光場。
6.超高分辨率掃描光纖顯示器
專利申請?zhí)枺?01480014814.9
特點：一種用于掃描電磁成像輻射的緊湊系統(tǒng)。
7.人機工程學(xué)的頭戴顯示設(shè)備和光學(xué)系統(tǒng)
專利申請?zhí)枺?01380058207.8
特點：自由形態(tài)光波導(dǎo)棱鏡和補償透鏡，允許實現(xiàn)眼鏡形狀外觀和寬的透視視場 (FOV)。
8.顯示系統(tǒng)和方法
專利申請?zhí)枺?01480027589.2
特點：具體的外殼框架、透鏡組合等。
光學(xué)模塊的技術(shù)專利主要解決以下3個問題：
1、光路：使用波導(dǎo)反射器陣列投射器的多深度平面三維顯示器
Magic Leap光學(xué)系統(tǒng)包含了一個圖像生成源(隨時間變化，提供一個或多個圖像數(shù)據(jù)框架)，一個光調(diào)制器（配置與圖像生成源關(guān)聯(lián)的傳輸光），一個將圖像信息直接傳到用戶眼球的基元（包括多個傳輸光反射器，包括第一眼球視角、第二視角……）。
2、用于VR/AR的可尋址焦點自由態(tài)光學(xué)系統(tǒng)立體視覺顯示
這項系統(tǒng)的美國專利編號為20160011419，是應(yīng)用于自由形態(tài)光波導(dǎo)的幾種計算硬件和方法，及其具體制作方式。
該系統(tǒng)包括初級自由形態(tài)光學(xué)元件、拓寬視場的二級自由形態(tài)光學(xué)元件（平鋪陣列）。此外，元件之間會設(shè)置多種 聚焦體系來調(diào)焦，避免輻輳調(diào)節(jié)沖突，進行渲染。
現(xiàn)實世界的光會通過設(shè)備出來的參考光，被合理地映射。而虛擬圖像，可以通過計算，由系統(tǒng)利用參考光來產(chǎn)生。
3、核心技術(shù)：光場顯示
據(jù)紐約州立大學(xué)石溪分校終身教授，顧險峰教授認為，Magic Leap的核心技術(shù)在于光場顯示，即利用光纖陣列顯示光場信息：激光經(jīng)由透鏡系統(tǒng)輸出，在空中畫出了一簇射線，同步地改變經(jīng)過顏色和強度，一根纖維利用分時技術(shù)得到一幅圖像。
其中，光場信息則來源于真實自然中采集，并轉(zhuǎn)化而成的數(shù)字射線。計算單元可以利用渲染，生成各種角度的圖像，無需建立幾何模型、紋理模型和光照模型。
專利文件顯示，Magic Leap利用可以進行擺動的光纖陣列，調(diào)節(jié)虛擬圖像光信息的入射方向，以及聚焦情況。其中，單個光纖直徑為700微米，光纖末梢直徑僅50微米。
光纖出射的虛擬圖像通過眼鏡上可調(diào)節(jié)位置的反射單元，與現(xiàn)實世界的圖像信息一起，入射到視網(wǎng)膜上。于此同時，現(xiàn)實世界的影像也可以通過眼鏡上的可調(diào)反、透射光鏡來調(diào)節(jié)清晰度。
也就是說用戶可以主動選擇性聚焦，一只虛擬的貓就放在了近處，你看它的時候就是實的，你看遠處的城堡的時候，這只貓就是虛的，和真實情況一樣，所以不會有暈眩感。虛擬圖像和現(xiàn)實圖像的清晰度調(diào)節(jié)效果如下圖所示。
但這也就要求Magic Leap的設(shè)備能精確的調(diào)控機械部件，使得每一個纖維都穩(wěn)定自然地顫動，并且顫動的模式要和數(shù)據(jù)傳輸相互同步，不受外界噪音的影響。
計算模塊
計算模塊涉及到的專利共有3項，分別是：
1.大量同時遠程數(shù)字呈現(xiàn)世界
專利申請?zhí)枺?01280032550.0
特點：呈現(xiàn)一個或多個虛擬世界。
2.用于增強和虛擬現(xiàn)實的系統(tǒng)和方法
專利申請?zhí)枺?01280064922.8
特點：多用戶交互系統(tǒng)，包括處理器、存儲器、軟件等。
3.用于增強和虛擬現(xiàn)實的系統(tǒng)與方法
專利申請?zhí)枺?01480026513.8
特點：數(shù)據(jù)計算、存儲和傳輸。
計算模塊的技術(shù)專利主要解決以下5個問題：
1、圖像處理中樞
傳統(tǒng)的顯示技術(shù)只需要計算四維光場中的一個二維切片，而光場顯示需要計算整個四維光場，其計算復(fù)雜度提高幾個數(shù)量級，這是技術(shù)瓶頸之一。
Magic Leap圖形處理系統(tǒng)的美國專利編號為20160026253。系統(tǒng)包含圖像俘獲裝置和通訊耦合處理器。
其中，圖像俘獲裝置用于獲取一個或多個圖像，該圖像相當(dāng)于AR頭戴設(shè)備用戶的視場；通訊耦合處理器可使圖像俘獲裝置從一系列圖像中提取一系列節(jié)點圖，并在其中識別一系列稀疏節(jié)點和緊密節(jié)點，來形成歸一化的節(jié)點圖。
2、多硬件交互系統(tǒng)
這項系統(tǒng)的美國專利編號為20160005326。系統(tǒng)可為用戶提供多維的，時間演化的，動作敏感的輸入、輸出的沉浸式，環(huán)境適應(yīng)性體驗。
該系統(tǒng)可用于聯(lián)網(wǎng)設(shè)備，比如移動平板，并可傳輸適用于增強現(xiàn)實的三維、隨時的內(nèi)容模型。因此，現(xiàn)實世界中，用戶通過聯(lián)網(wǎng)設(shè)備，可將物理運動投射到虛擬世界。
此外，系統(tǒng)也采用了圖像認知技術(shù)，來區(qū)分現(xiàn)實世界的物質(zhì)，并顯示在界面。此外，系統(tǒng)還能將電腦合成的虛擬圖像重疊到現(xiàn)實圖像中去。
3、多用戶交互系統(tǒng)
這項系統(tǒng)的美國專利編號為20160100034，是允許兩個或更多用戶在包含虛擬數(shù)據(jù)，計算網(wǎng)絡(luò)和設(shè)備的虛擬世界互動的系統(tǒng)。
系統(tǒng)包括一個或多個計算設(shè)備包括內(nèi)存，處理線路，以及至少部分存儲在內(nèi)存并在處理線路內(nèi)至少可以處理 部分虛擬世界數(shù)據(jù)的軟件；其中至少虛擬世界數(shù)據(jù)的第一部分源于從虛擬世界本地的第一用戶到第一用戶。
計算網(wǎng)絡(luò)用于將第一部分傳輸?shù)接脩粼O(shè)備來呈現(xiàn)給第二用戶，這樣一來，第二用戶 就可以在本地體驗到第一部分，因此第一用戶虛擬世界的一部分就被有效地傳送給了第二用戶。
4、社會情感學(xué)習(xí)工具包
編號為20160026253的專利，介紹了Magic Leap社會情感學(xué)習(xí)工具包采集的數(shù)據(jù)以及調(diào)控的效果。
用于虛擬和 / 或增加用戶體驗的系統(tǒng)被配置為使得可以至少部分地基于具有來自諸如語音音調(diào)變化分析和面部識別分析(如由相關(guān)軟件模塊執(zhí)行的)監(jiān)測頭部移動、 體溫、 心跳等源的輸入的可穿戴設(shè)備上的數(shù)據(jù)使與用戶相關(guān)聯(lián)的遠程化身進行動畫。此外， 可以以化身好像表達某種情感的方式使得化身角色進行動畫。 例如， 在化身是狗的實施例中， 由人類用戶的本地的系統(tǒng)檢測到的高興的微笑或語調(diào)在化身中可以被表示成搖著尾巴的狗的化身。
以上圖的對比為例，可以基于在用戶面孔上的微笑的面部識別， 或基于語音或說話的友好語調(diào) ( 如由被配置為分析至麥克風(fēng)(其可從用戶本地地捕獲語音樣本)的語音輸入的軟件來確定， 使得右圖的蜜蜂化身 進行動畫以具有友好的微笑。
5、定位追蹤
編號為20160026253的專利，還介紹了Magic Leap的定位追蹤系統(tǒng)，主要由用戶感測系統(tǒng)和環(huán)境感測系統(tǒng)協(xié)同作用來解釋場景信息。
相應(yīng)的傳感組件包括了：接口系統(tǒng)100，服務(wù)器 110，網(wǎng)關(guān)組件 140，頭戴式系統(tǒng)300，數(shù)據(jù)接口 302，顯示器303，用戶感測系統(tǒng)304，境感測系統(tǒng)306，處理器 308，傳感器310，312。
其中用戶感測系統(tǒng) 304 可以包括：
用于接收來自用戶的語音輸入的擴音器， 一個或多個紅外照相機傳感器， 一個或多個可見光譜照相機傳感器，構(gòu)造的光發(fā)射器和 / 或傳感器、，紅外光發(fā)射器， 相干光發(fā)射器和 /或傳感器， 陀螺儀， 加速計， 磁力計， 近程傳感器， GPS傳感器， 超聲波發(fā)射器和檢測器以及觸覺接口。
環(huán)境感測系統(tǒng)306：
用途：可用于通過檢測和登記本地環(huán)境 （包括靜態(tài)對象、 動態(tài)對象、 人、 手勢和各種照明、 大氣和聲學(xué)條件）來映射用戶周圍的物理環(huán)境的一個或多個元素。在一些實施例中， 其可以包括嵌入到本地計算系統(tǒng)中的基于圖像的 3D 重構(gòu)軟件， 其可操作以便對傳感器 312 所檢測到的一個或多個對象或信息進行數(shù)字重構(gòu)。
功能：環(huán)境感測系統(tǒng) 306 提供了以下中的一個或多個 功能： 動作捕捉數(shù)據(jù) （包括手勢識別） 、 深度感測、 面部識別、 對象識別、 唯一的對象特性識別、 語音 / 音頻識別和處理、 聲源定位、 降噪、 紅外線或類似的激光投影、 以及單色和 / 或彩色 CMOS 傳感器 （或其它類似的傳感器） 、 視野傳感器， 以及各種其它光學(xué)增強型傳感器。
構(gòu)成：環(huán)境感測系統(tǒng)306可以包括上面提到組件之外的所有傳感設(shè)施。包括用于接收來自本地環(huán)境的音頻麥克風(fēng)、一個或多個紅外照像機傳感器、 一個或多個可見光譜照相機傳感器、 結(jié)構(gòu)光發(fā)射器和 / 或傳感器、 紅外光發(fā)射器、 相干光發(fā)射器和 / 或傳感器、 陀螺儀、 加速計、 磁力計、 近程傳感器、GPS 傳感器、 超聲波發(fā)射器和檢測器以及觸覺接口。
傳感器310包括：照相機或光學(xué)檢測/掃描電路， 其能夠檢測用戶的實時光學(xué)特征/測量結(jié)果， 例如以下中的一個或多個 ： 瞳孔收縮/擴張、 每個瞳孔的角度測量/定位、 球度（spherocity） 、 眼睛形狀 （如眼睛形狀隨時間改變）以及其它解剖數(shù)據(jù)。
傳感器 312 可以包括：通常面朝外部的照相機或掃描儀。
總結(jié)
除了計算、存儲元件等方面的進步，可以看到，Magic Leap專利中光路模塊設(shè)計方面很有亮點。
Magic Leap采用了大量的自由形態(tài)波導(dǎo)，來實現(xiàn)人工學(xué)設(shè)計，并輔以光路補償。而將掃描電磁成像輻射集成化的成果，應(yīng)用于AR設(shè)備，也很有新意。
不過，之前為賣點的仿神經(jīng)網(wǎng)絡(luò)，似乎還沒有在這幾份專利書中很明顯的表現(xiàn)出來。
重要的事情再說一遍：在智東西（公眾號：zhidxcom）分別回復(fù)關(guān)鍵詞“美國專利”和“中國專利”獲取以下全部專利報告。
