1月23日消息，如何將視覺(jué)語(yǔ)?基礎(chǔ)模型（Vision Language Models, VLMs）應(yīng)?于機(jī)器?以實(shí)現(xiàn)通?操作是具身智能領(lǐng)域的?個(gè)核?問(wèn)題，這??標(biāo)的實(shí)現(xiàn)受兩?關(guān)鍵挑戰(zhàn)制約：

VLM缺少精確的3D理解能?：通過(guò)對(duì)?學(xué)習(xí)范式訓(xùn)練、僅以2D圖像/?本作為輸?的VLM的天然局限；

?法輸出低層次動(dòng)作：將VLM在機(jī)器?數(shù)據(jù)上進(jìn)?微調(diào)以得到視覺(jué) - 語(yǔ)? - 動(dòng)作（VLA）模型是?種有前景的解決?案，但?前仍受到數(shù)據(jù)收集成本和泛化能?的限制。

上海智元新創(chuàng)技術(shù)有限公司官方今日發(fā)文稱(chēng)，北?攜?智元機(jī)器?團(tuán)隊(duì)提出OmniManip架構(gòu)，基于以對(duì)象為中?的3D交互基元，將VLM的高層次推理能力轉(zhuǎn)化為機(jī)器?的低層次高精度動(dòng)作。

針對(duì)?模型幻覺(jué)問(wèn)題和真實(shí)環(huán)境操作的不確定性，OmniManip引?了VLM規(guī)劃和機(jī)器?執(zhí)?的雙閉環(huán)系統(tǒng)設(shè)計(jì)，實(shí)現(xiàn)了操作性能突破。目前項(xiàng)?主?與論?已上線(xiàn)，代碼與測(cè)試平臺(tái)即將開(kāi)源。

從智元機(jī)器人官方獲悉，OmniManip的關(guān)鍵設(shè)計(jì)包括：

基于VLM的任務(wù)解析：利?VLM強(qiáng)?的常識(shí)推理能?，將任務(wù)分解為多個(gè)結(jié)構(gòu)化階段（Stages），每個(gè)階段明確指定了主動(dòng)物體（Active）、被動(dòng)物體（Passive）和動(dòng)作類(lèi)型（Action）。

以物體為中?的交互基元作為空間約束：通過(guò)3D基座模型?成任務(wù)相關(guān)物體的3D模型和規(guī)范化空間（canonical space），使VLM能夠直接在該空間中采樣3D交互基元，作為Action的空間約束，從?優(yōu)化求解出Active物體在Passive物體規(guī)范坐標(biāo)系下的?標(biāo)交互姿態(tài)。

閉環(huán)VLM規(guī)劃：將?標(biāo)交互姿態(tài)下的Active/Passive物體渲染成圖像，由VLM評(píng)估與重采樣，實(shí)現(xiàn)VLM對(duì)?身規(guī)劃結(jié)果的閉環(huán)調(diào)整。

閉環(huán)機(jī)器?執(zhí)?：通過(guò)物體6D姿態(tài)跟蹤器實(shí)時(shí)更新Active/Passive物體的位姿，轉(zhuǎn)換為機(jī)械臂末端執(zhí)?器的操作軌跡，實(shí)現(xiàn)閉環(huán)執(zhí)?。

此外，OmniManip具備通?泛化能?，不受特定場(chǎng)景和物體限制。團(tuán)隊(duì)已將其應(yīng)?于數(shù)字資產(chǎn)?動(dòng)標(biāo)注/合成管道，實(shí)現(xiàn)?規(guī)模的機(jī)器?軌跡?動(dòng)采集。該研究團(tuán)隊(duì)將開(kāi)源泛化操作?規(guī)模數(shù)據(jù)集和對(duì)應(yīng)的仿真評(píng)測(cè)基準(zhǔn)。

據(jù)此前報(bào)道，以“天才少年”身份加入華為的稚暉君于2022年底宣布離職，創(chuàng)業(yè)智元機(jī)器人。2024年9月3日，智元機(jī)器人完成A++++++輪融資，估值已超過(guò)70億元，得到了包括北汽、上汽、比亞迪在內(nèi)的國(guó)內(nèi)汽車(chē)巨頭支持。

目前，智元機(jī)器人量產(chǎn)的第1000臺(tái)通用具身機(jī)器人已于本月（1月6日）正式下線(xiàn)，其中包括731臺(tái)雙足人形機(jī)器人（遠(yuǎn)征A2/靈犀X1）和269臺(tái)輪式通用機(jī)器人（遠(yuǎn)征A2-D/A2-W）。