機(jī)器人前瞻(公眾號(hào):robot_pro)
作者?|??許麗思
編輯?|??漠影

機(jī)器人前瞻1月28日?qǐng)?bào)道,今天,F(xiàn)igure發(fā)布了最新具身模型Helix 02,能夠用單一的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)全身長(zhǎng)程自主控制。

Helix 02讓機(jī)器人連續(xù)執(zhí)行了一個(gè)設(shè)計(jì)61個(gè)行走-操作動(dòng)作的長(zhǎng)程任務(wù),F(xiàn)igure強(qiáng)調(diào),這不是遙操,是完全的端到端自主,還能像人一樣把髖部、腳也變?yōu)橥瓿扇蝿?wù)的工具。

Helix 02在感知側(cè)新增掌心相機(jī)與高靈敏度指尖觸覺傳感器,其中掌心相機(jī)用于彌補(bǔ)操作過程中因自遮擋導(dǎo)致的視野缺口,指尖觸覺則提供更精細(xì)的力反饋,從而支持更穩(wěn)定的抓握控制與多指精細(xì)操作,像旋轉(zhuǎn)瓶蓋、捏取藥店、操作注射器等任務(wù)。

一、耗時(shí)四分鐘,無遙操、端到端自主操作洗碗機(jī)

在一個(gè)標(biāo)準(zhǔn)大小的廚房里,F(xiàn)igure讓機(jī)器人完成了長(zhǎng)達(dá)四分鐘的操作洗碗機(jī)的任務(wù)。

Figure稱,這個(gè)任務(wù)涉及61個(gè)動(dòng)作,將行走、操作與平衡進(jìn)行整合,全程無需重置、無人類干預(yù),是迄今為止由人形機(jī)器人自主完成的、時(shí)間跨度最長(zhǎng)且最復(fù)雜的任務(wù)。

機(jī)器人行走姿態(tài)非常擬人,先用手打開洗碗機(jī),拿出餐具。

會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布

在拿著易碎餐具行走時(shí),全稱行走狀態(tài)比較穩(wěn)定,并把已經(jīng)清洗完的餐具放到櫥柜里,最后用雙手把柜門關(guān)上。

會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布

緊接著,機(jī)器人把水池中的餐具放到洗碗機(jī)中。

會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布

有意思的是,當(dāng)騰不出手的時(shí)候,機(jī)器人會(huì)用髖部關(guān)上抽屜、用腳抬起洗碗機(jī)門,把整個(gè)身體當(dāng)作工具使用,而不是只依賴雙手。

會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布 會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布

Figure還展示了機(jī)器人通過觸覺感知、掌心相機(jī),來執(zhí)行靈巧操作任務(wù)的情況:一手穩(wěn)住瓶身、一手持續(xù)擰動(dòng)瓶蓋;像人用指腹一樣地精準(zhǔn)捏取藥片;用注射器精準(zhǔn)推出5ml等。

會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布 會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布 會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布

二、引入System 0,能夠下達(dá)更長(zhǎng)、步驟復(fù)雜的連續(xù)任務(wù)

Helix 02 原有的System 1,、System 2的架構(gòu)之上,加入了一個(gè)新的基礎(chǔ)層:System 0。

System 0:來自人類數(shù)據(jù)的類人全身控制

S0是一個(gè)用于類人全身控制的基礎(chǔ)模型,能夠描述人在維持平衡與穩(wěn)定時(shí)如何運(yùn)動(dòng),確保機(jī)器人的每一個(gè)動(dòng)作都能平滑、安全且穩(wěn)定地執(zhí)行。

S0 在訓(xùn)練思路上放棄了傳統(tǒng)做法中為“走路、轉(zhuǎn)向、下蹲、伸手”等動(dòng)作分別手工設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)的方式,而是直接讓模型從大量、多樣的人類運(yùn)動(dòng)數(shù)據(jù)中學(xué)習(xí)人是怎么動(dòng)的。

通過模仿與跟蹤人類動(dòng)作,S0逐步學(xué)會(huì)在不同動(dòng)作之間協(xié)調(diào)發(fā)力、調(diào)整姿態(tài),并在完成“通用行走-操作”這類復(fù)雜行為時(shí)持續(xù)保持平衡與穩(wěn)定。

S0的訓(xùn)練以超過1000 小時(shí)的關(guān)節(jié)級(jí)重定向人類運(yùn)動(dòng)數(shù)據(jù)為基礎(chǔ);在架構(gòu)上,它采用了一個(gè)約1000萬參數(shù)的神經(jīng)網(wǎng)絡(luò),以全身關(guān)節(jié)狀態(tài)與底座運(yùn)動(dòng)作為輸入,并以1 kHz的頻率輸出關(guān)節(jié)級(jí)執(zhí)行器指令。

在訓(xùn)練方式上,S0完全在仿真中完成,覆蓋超過200000個(gè)并行環(huán)境并采用大量域隨機(jī)化,從而實(shí)現(xiàn)向真實(shí)機(jī)器人的直接遷移,并具備良好的泛化能力。

會(huì)用臀和腳關(guān)門的機(jī)器人登場(chǎng)!4分鐘61步,F(xiàn)igure最強(qiáng)具身模型發(fā)布

System1:控制機(jī)器人全身關(guān)節(jié)

在Helix 01中,S1可以控制上半身,并從關(guān)節(jié)狀態(tài)與圖像中讀取信息。在Helix 02中,它連接上了所有傳感器,能夠控制整臺(tái)機(jī)器人。

S1在輸入側(cè)接入頭部相機(jī)、掌心相機(jī)、指尖觸覺傳感器以及全身本體感知;在輸出側(cè)則實(shí)現(xiàn)對(duì)整臺(tái)機(jī)器人的完整關(guān)節(jié)級(jí)控制,覆蓋腿部、軀干、頭部、手臂、手腕及每一根手指等全身部位。

據(jù)介紹,這使得 S1能將機(jī)器人自身狀態(tài)與外部環(huán)境作為一個(gè)耦合系統(tǒng)進(jìn)行統(tǒng)一推理。掌心相機(jī)與觸覺傳感器屬于Figure 03 新增的硬件能力,F(xiàn)igure稱這是其首次展示依賴上述模態(tài)的神經(jīng)網(wǎng)絡(luò)策略。

掌心相機(jī)可以在目標(biāo)被頭部相機(jī)遮擋時(shí)提供手中視覺反饋;指尖觸覺傳感器嵌入于每個(gè)指尖,能夠檢測(cè)回形針大小的接觸力,以支持具備接觸意識(shí)、可進(jìn)行力調(diào)制(force-modulated)的抓取,從而能夠處理需要多指抓握、精細(xì)運(yùn)動(dòng)控制的復(fù)雜操作任務(wù)。

System 2:負(fù)責(zé)場(chǎng)景、語言理解

S2依舊承擔(dān)語義推理層的角色,主要負(fù)責(zé)看懂場(chǎng)景、理解語言指令,并把高層意圖轉(zhuǎn)化為可執(zhí)行的目標(biāo)交給下一級(jí)系統(tǒng)。

相比此前只能下達(dá)類似“撿起番茄醬”這類較短、單一步驟的指令,Helix 02 將S2可指定的行為范圍進(jìn)一步拓展到更長(zhǎng)、更連貫的任務(wù),比如“走到洗碗機(jī)前并打開它”“把碗搬到臺(tái)面上”“回到上層架并拿起杯子”等,指令更接近日常家務(wù)的表達(dá)方式。

在實(shí)現(xiàn)上,S2不需要規(guī)劃具體的步伐,其生成的語義指令由S1解釋并由S0最終執(zhí)行。

結(jié)語:人形機(jī)器人加快邁向長(zhǎng)時(shí)程任務(wù)新階段

一年前,Helix還僅能通過神經(jīng)網(wǎng)絡(luò)控制機(jī)器人的上半身;如今,Helix 02已將控制能力拓展至全身,使行走、操作與平衡不再是被機(jī)械拼接的獨(dú)立環(huán)節(jié),而是融合為一套更為連貫、閉環(huán)的智能系統(tǒng)。

這意味著人形機(jī)器人正從短暫的片段式演示,加快走向真正勝任長(zhǎng)時(shí)程、多步驟的復(fù)雜任務(wù)。通過軟硬件深度整合與感知-決策-執(zhí)行的閉環(huán)迭代,具身智能正在快速演進(jìn),為機(jī)器人在開放、動(dòng)態(tài)場(chǎng)景中的規(guī)?;瘧?yīng)用鋪平道路。