智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影
智東西5月31日報道，5月24日-28日，以“奇境漫游”為主題的索尼大型品牌活動“Sony Expo 2023”在上海舉行。本屆展會上，索尼中國研究院旗下多項技術(shù)概念驗證結(jié)合索尼人氣娛樂IP內(nèi)容的體驗項目悉數(shù)亮相，包括結(jié)合3D內(nèi)容生成和動作捕捉技術(shù)的“虛擬舞蹈實驗室”、可取代人力實現(xiàn)機械臂自動拍攝的“智能機械攝影室”、以觸覺反饋技術(shù)助力演唱會等欣賞體驗的“沉浸式觸覺劇場”等。
期間，索尼（中國）副總裁、索尼中國研究院院長竹中幹雄與智東西等媒體進行深入交流，分享索尼中國研究院技術(shù)研發(fā)的方向、舉措以及階段性成果。他談道：“中國是一個高速發(fā)展和充滿無限可能性的市場，并且人才濟濟，在中國做研發(fā)能夠更貼近本土的實際需求、加快研發(fā)成果的概念驗證，從而推動實際落地。”
一、強化中國本土產(chǎn)學(xué)研合作，已發(fā)力AIGC方向，未來關(guān)注可持續(xù)發(fā)展
竹中幹雄說，索尼中國研究院的使命是“通過開展對索尼技術(shù)的應(yīng)用研究，為中國社會和索尼的業(yè)務(wù)做出貢獻”，研發(fā)聚焦于三個方向——娛樂、移動出行和可持續(xù)發(fā)展。
索尼中國研究院于2005年在北京設(shè)立了第一個實驗室，最近幾年又設(shè)立了深圳和上海實驗室，持續(xù)加大在中國的研發(fā)投入。其中，北京實驗室主攻人工智能（AI）、無線通信方面的研究，上海實驗室側(cè)重研究3D內(nèi)容制作，深圳實驗室則側(cè)重于傳感器和機器人相關(guān)研發(fā)。
從短期來看，兩到三年間，索尼中國研究院會特別聚焦在中國的娛樂（元宇宙）和移動出行領(lǐng)域，期待通過索尼的AI、通信、傳感、機器人、3D內(nèi)容制作等前端技術(shù)，結(jié)合索尼旗下影視、音樂、動畫、游戲等豐富的娛樂內(nèi)容，打造更加多樣和可及的娛樂內(nèi)容創(chuàng)作和欣賞解決方案。
竹中幹雄談道，AI內(nèi)容創(chuàng)作和AI大模型研究是非常重要的前沿技術(shù)，將會給未來的互聯(lián)網(wǎng)帶來極大沖擊，索尼中國研究院目前在AIGC方向發(fā)力較多。
從中長期來看，五到十年間，索尼中國研究院希望著眼于可持續(xù)發(fā)展，即利用現(xiàn)有的一些工業(yè)互聯(lián)網(wǎng)IoT技術(shù)、傳感器設(shè)備，再結(jié)合上索尼中國研究院開發(fā)的AI和無線移動通信的基礎(chǔ)技術(shù)，應(yīng)用在農(nóng)業(yè)、老齡化、教育等一些中國現(xiàn)存的社會課題領(lǐng)域，運用索尼的技術(shù)在本土找到合適的合作伙伴，共同開發(fā)相應(yīng)的解決方案，為中國社會的發(fā)展做出一些貢獻。
▲索尼（中國）有限公司副總裁、索尼中國研究院院長竹中幹雄接受媒體采訪
索尼中國研究院正在向應(yīng)用型研究轉(zhuǎn)型，把基礎(chǔ)技術(shù)應(yīng)用到實際場景和產(chǎn)品中，以其現(xiàn)有技術(shù)再加上其他技術(shù)進行一些適合中國國情的PoC驗證，并會面向特定應(yīng)用領(lǐng)域，在中國尋找合適的產(chǎn)學(xué)研合作伙伴來共同進行研究和開發(fā)。
竹中幹雄告訴智東西，通過與合作伙伴一起共同研究開發(fā)新的解決方案和新的應(yīng)用，能夠改進索尼中國研究院的技術(shù)?？偨Y(jié)來說，基礎(chǔ)技術(shù)研究這部分是由索尼中國研究院獨自完成的，在基礎(chǔ)研究上面一層的應(yīng)用研究方向，索尼中國研究院希望能夠積極地與外部合作伙伴共同開展。在明確想要在某個領(lǐng)域?qū)ふ液献骰锇闀r，索尼中國研究院會本著互補原則，主動提出邀約合作的提案，共同在中國推進某一項技術(shù)的發(fā)展。
二、將關(guān)鍵技術(shù)與現(xiàn)有產(chǎn)品融合，探索未來娛樂內(nèi)容創(chuàng)作體驗
在Sony Expo 2023上，索尼中國研究院以給創(chuàng)作者提供更多創(chuàng)作可能性和給用戶提供多維娛樂體驗為目標(biāo)帶來了三個主題體驗項目。
這些項目展現(xiàn)了索尼中國研究院開發(fā)的關(guān)鍵技術(shù)與現(xiàn)有產(chǎn)品的融合與協(xié)同。其展臺的體驗內(nèi)容和空間展示由索尼中國設(shè)計中心統(tǒng)籌設(shè)計開發(fā)，整個展臺是索尼設(shè)計理念、前端技術(shù)、娛樂IP的一次融合和展示，是索尼對未來娛樂內(nèi)容創(chuàng)作和體驗的思考成果。
▲索尼中國研究院Sony Expo 2023展臺全貌
（1）“虛擬舞蹈實驗室”體驗區(qū)：參觀者可以先進入綠幕拍攝區(qū)，拍下自己的真實三維形象，然后佩戴索尼的輕量級動作捕捉設(shè)備，跟著索尼大屏電視上的RAYNOS-chan卡通人物形象簡單舞動，記錄下自己的動作數(shù)據(jù)，經(jīng)過索尼的系統(tǒng)生成加工后，就可以在索尼的空間現(xiàn)實顯示屏上裸眼欣賞到自己的三維形象在3D空間中跳舞。
竹中幹雄談道，這個項目用到了輕量級動作捕捉系統(tǒng)mocopi、空間現(xiàn)實顯示設(shè)備Spatial Reality Display兩個既有產(chǎn)品，與自由視點體積捕捉拍攝技術(shù)（FVV）相結(jié)合，瞬間就能生成3D人物，從而創(chuàng)造一種全新的娛樂體驗。索尼中國研究院會提出各種新的應(yīng)用方法提案，然后進行實驗價值驗證。
該項技術(shù)已經(jīng)于索尼在華的首個黑彩晶虛擬制作影棚開始了概念驗證實驗，將有望幫助內(nèi)容創(chuàng)作者甚至普通用戶以更輕量級、更可及的方式創(chuàng)造虛擬3D內(nèi)容，將現(xiàn)實真實世界映射到元宇宙中。
（2）“智能機械攝影室”體驗區(qū)：參觀者可在一個由索尼虛擬制作技術(shù)打造出的《尼爾：機械紀(jì)元》游戲場景中近距離接觸游戲主角尤爾哈B型二號（YoRHa No.2 Type B）。選好游戲關(guān)卡背景后，拍攝機器人能夠自動追蹤并記錄下參觀者與尤爾哈的合照影像，并支持免費下載領(lǐng)取電子照片留念。
這是索尼中國研究院探索的機械臂在娛樂場景的用例，也是全場最大的一個體驗區(qū)。拍攝機器人可智能化的完成追蹤、對焦、構(gòu)圖、拍攝的功能，提供穩(wěn)定的拍攝質(zhì)量，極大節(jié)省人力。未來，索尼中國研究院將進一步在該概念驗證中加入可實時移動的中小屏背景，打造更加輕量級，小面積空間可實現(xiàn)的虛擬制作解決方案。
▲在“智能機械攝影室”體驗區(qū)，機器人正在給體驗者拍照
（3）“沉浸式觸覺劇場”：參觀者可以站上特制的地板區(qū)域，觀看電視中索尼音樂旗下藝人LiSA演唱會的精彩內(nèi)容。地板上搭載了索尼的觸覺反饋技術(shù)，使得參觀者能與LiSA的歌聲同頻共振，通過不同波形的震動效果感受演唱會中的高潮起伏，實現(xiàn)360音頻、視頻、觸感多維一體的沉浸式娛樂體驗。
目前，觸覺反饋技術(shù)已應(yīng)用于索尼PlayStation 5游戲機的DualSense手柄、索尼Xperia智能手機的部分型號中。竹中幹雄說，索尼中國研究院考慮將這一技術(shù)應(yīng)用于元宇宙空間中，尤其是在大型娛樂、體驗型設(shè)施的應(yīng)用，提供大型空間的沉浸式娛樂解決方案，現(xiàn)在已與國內(nèi)部分合作伙伴在合作洽談中。
▲索尼中國研究院Sony Expo 2023展臺全貌
結(jié)語：技術(shù)研發(fā)創(chuàng)新是根本基石
索尼中國研究院在華領(lǐng)銜的首次出展，旨在對外溝通和交流索尼在華技術(shù)研發(fā)舉措及階段性成果，進一步貼近本土創(chuàng)意娛樂社群，攜手更多優(yōu)秀合作伙伴共同進行新時代下新應(yīng)用場景的探索與實踐。
竹中幹雄說，多元化的業(yè)務(wù)是索尼獨特的優(yōu)勢，而技術(shù)研發(fā)創(chuàng)新是根本的基石，立足長遠(yuǎn)，索尼中國研究院關(guān)注的領(lǐng)域?qū)⒏鼮閺V泛，如可持續(xù)發(fā)展等，會進一步開放對外交流，強化中國本土的產(chǎn)學(xué)研合作，以期更加融入和貢獻于中國的產(chǎn)業(yè)升級和社會發(fā)展。
