利用 NVIDIA Isaac 和動作捕捉構(gòu)建具身智能數(shù)據(jù)工廠

2024-09-14

在本案例中，諾亦騰借助 NVIDIA Isaac Sim & Isaac Lab 平臺開放度極高的系統(tǒng)架構(gòu)以提供的豐富資產(chǎn)與數(shù)據(jù)生態(tài)，攜手機(jī)器人領(lǐng)域的多家企業(yè)和研究機(jī)構(gòu)一起打通動作捕捉/運(yùn)動測量系統(tǒng)與機(jī)器人虛擬本體/真實(shí)本體之間的工作回路，打造出一個真正意義上的 Human-in-the-loop （人在回路) 解決方案。

利用 NVIDIA Isaac 和動作捕捉

打造標(biāo)準(zhǔn)化

Human-in-the-loop 解決方案

北京諾亦騰科技有限公司（m.71622.cn）自成立以來，致力于利用動作捕捉與高精度追蹤技術(shù)，推動包括機(jī)器人在內(nèi)的各應(yīng)用領(lǐng)域創(chuàng)新發(fā)展。自 2023 年起，諾亦騰收到大量具身智能領(lǐng)域相關(guān)需求，客戶通過動作捕捉和高精度追蹤驅(qū)動/操作機(jī)械臂、靈巧手，人形機(jī)器人的需求飛速增長，市場需要標(biāo)準(zhǔn)化的具身智能機(jī)器人 Human-in-the-loop（HITL,人在回路）解決方案。

智元遠(yuǎn)征 A2 機(jī)器人采用諾亦騰動作捕捉系統(tǒng)進(jìn)行遙操作控制

千尋智能機(jī)器人采用諾亦騰動作捕捉系統(tǒng)進(jìn)行遙操作控制

MIT 媒體實(shí)驗(yàn)室主任 Marco Tempest 利用諾亦騰動作捕捉系統(tǒng)

實(shí)現(xiàn)無人機(jī)編隊(duì)的人機(jī)交互控制（youtu.be/B4xtsH6pzoM）

經(jīng)過長時間的調(diào)研與實(shí)驗(yàn)后，諾亦騰選擇了成熟、易用且被行業(yè)廣泛接受的 NVIDIA Isaac 作為動作捕捉與機(jī)器人之間的橋接平臺。

借助 NVIDIA Isaac Sim & Isaac Lab 平臺開放度極高的系統(tǒng)架構(gòu)以及提供的豐富資產(chǎn)與數(shù)據(jù)生態(tài)，諾亦騰與機(jī)器人領(lǐng)域的多家企業(yè)/研究機(jī)構(gòu)一起，以極高的開發(fā)效率，打通動作捕捉/運(yùn)動測量系統(tǒng)與機(jī)器人虛擬本體/真實(shí)本體之間的工作回路，打造出一個真正意義上的 HITL 解決方案。該方案可以讓包括科研工作者、企業(yè)級用戶在內(nèi)的各個級別開發(fā)者，高效、便捷地將實(shí)時動作捕捉和高精度實(shí)時追蹤能力引入既有工作流。

通過諾亦騰動作捕捉系統(tǒng)遙操作 NVIDIA Isaac Sim 中的

智元遠(yuǎn)征 A2 機(jī)器人虛擬本體

為用戶工作流引入

動作捕捉與實(shí)時追蹤

諾亦騰專注于動作捕捉與高精度追蹤技術(shù)，是少數(shù)能夠提供全譜系動作捕捉與運(yùn)動測量產(chǎn)品的技術(shù)企業(yè)之一。在解決方案中，諾亦騰提供基于慣性傳感器的 PN Studio 動作捕捉套裝以及基于光學(xué)慣性混合追蹤技術(shù)的 HybridTrack 光學(xué)運(yùn)動測量系統(tǒng)，以適應(yīng)不同級別用戶的需求。前者具有部署成本低、環(huán)境適應(yīng)性強(qiáng)、方便易用的特點(diǎn)；后者優(yōu)勢則在于更高追蹤精度以及更強(qiáng)的魯棒性。

NVIDIA Isaac Sim 是一套應(yīng)用 AI 與仿真工具/平臺，允許開發(fā)者在基于物理的虛擬環(huán)境中設(shè)計(jì)、仿真、測試和訓(xùn)練基于 AI 的機(jī)器人和自主機(jī)器。NVIDIA Isaac Sim 提供虛擬環(huán)境、各類機(jī)器人以及自主機(jī)器的物理精確的 SimReady 3D 資產(chǎn)，這些資產(chǎn)建立在高度逼真的物理仿真基礎(chǔ)之上，可以模擬真實(shí)環(huán)境下存在的力矩、摩擦、空間干擾以及自干擾等因素，使開發(fā)者可以在虛擬環(huán)境中加速機(jī)器人算法的開發(fā)和測試過程。

基于自定義的 MocapApi 接口，諾亦騰實(shí)現(xiàn)了動作捕捉系統(tǒng)與 NVIDIA Isaac Sim 的數(shù)據(jù)聯(lián)通，從而基于現(xiàn)有算法，快速接入動作捕捉和高精度追蹤數(shù)據(jù)流，實(shí)時驅(qū)動仿真環(huán)境下的虛擬機(jī)器人本體或者真實(shí)的機(jī)器人本體，用遙操作的模式完成任務(wù)，采集數(shù)據(jù)。除此之外，還可以在機(jī)器人自主任務(wù)完成的過程中實(shí)現(xiàn)快速人工干預(yù)覆蓋失敗場景。

動作捕捉數(shù)據(jù)到 NVIDIA Isaac 及具身智能機(jī)器人本體/數(shù)據(jù)集產(chǎn)出

同時，高精度的人體動作數(shù)據(jù)采集和大空間的高精度追蹤記錄了整個實(shí)驗(yàn)環(huán)境的過程，為后期的算法調(diào)優(yōu)、復(fù)盤、量化評估等環(huán)節(jié)帶來了更多可能性。

聯(lián)合業(yè)界探索

「Sim2Real2Sim」路徑

基于數(shù)據(jù)，特別是通過動作捕捉獲取的真實(shí)人類動作數(shù)據(jù)，對機(jī)器人控制基礎(chǔ)模型進(jìn)行訓(xùn)練，并通過遙操作收集真實(shí)訓(xùn)練數(shù)據(jù)集，從而提升具身智能算法，已成為具身智能機(jī)器人學(xué)界與業(yè)界的重要科研共識。

具身智能機(jī)器人的數(shù)據(jù)采集與算法訓(xùn)練，可通過“基于真實(shí)本體”“基于虛擬本體”或“完全基于人體動作捕捉”等方式實(shí)現(xiàn)。其中基于真實(shí)本體方式能夠最大程度反映真實(shí)世界的物理特性，其余方式雖然成本可控，但均存在一定程度上的 Domain Gap。

基于真實(shí)本體的數(shù)據(jù)集生產(chǎn) - 手部動作捕捉遙操作智元遠(yuǎn)征 A2 機(jī)器人靈巧手

直接基于人體的數(shù)據(jù)集生產(chǎn)

動作捕捉記錄真人任務(wù)執(zhí)行的過程

基于虛擬本體的數(shù)據(jù)集生產(chǎn)

動作捕捉遙操作基于 Isaac Sim 的虛擬本體

諾亦騰基于 NVIDIA Isaac 以及動作捕捉/高精度追蹤技術(shù)構(gòu)建出 HITL 解決方案，攜手業(yè)界合作伙伴智元機(jī)器人，共同探索提升算法的「Sim2Real2Sim」路徑。

智元 A2 機(jī)器人可以通過諾亦騰動作捕捉系統(tǒng)在真實(shí)物理世界與虛擬空間中進(jìn)行遙操作采集數(shù)據(jù)集，用于訓(xùn)練策略/控制規(guī)則（Policy）。NVIDIA Isaac 提供了多樣化的場景以及高度擬真的物理環(huán)境，讓虛擬本體在其中不斷優(yōu)化 Policy，使其能夠快速進(jìn)行針對不同場景的遷移和微調(diào)，從而采取最佳行動，實(shí)現(xiàn)特定目標(biāo)。

經(jīng)過優(yōu)化的 Policy 將被遷移回到真實(shí)環(huán)境中的本體，實(shí)現(xiàn)智能算法的提升。這樣的算法優(yōu)化路徑，既能在最大程度上消除 Real2Sim Gap，同時也將 Sim2Real Gap 盡量保留在可控的視覺部分，以獲得更佳的訓(xùn)練效果。

快速構(gòu)建大規(guī)模

具身智能數(shù)據(jù)工廠

結(jié)合了動作捕捉/高精度追蹤硬件設(shè)備和 NVIDIA Isaac 平臺的 HITL 解決方案易于搭建，可高效運(yùn)轉(zhuǎn)，具備快速構(gòu)建大規(guī)模具身智能數(shù)據(jù)工廠的能力。

基于 NVIDIA Isaac 平臺的豐富生態(tài)與標(biāo)準(zhǔn)化接口，該解決方案能夠快速打通各類具身智能機(jī)器人本體和自主機(jī)器之間的數(shù)據(jù)障礙，實(shí)現(xiàn)快速部署和擴(kuò)展，從而幫助用戶搭建大規(guī)模具身智能數(shù)據(jù)集生產(chǎn)流水線。

大規(guī)模具身智能機(jī)器人訓(xùn)練數(shù)據(jù)集生產(chǎn)工廠（Data Factory）示意圖

目前諾亦騰已經(jīng)與智元機(jī)器人、千尋智能、深圳鵬行智能研究有限公司、深圳市人工智能與機(jī)器人研究院（AIRS）開展合作，幫助客戶實(shí)現(xiàn)機(jī)器人智能算法、服務(wù)能力以及本體性能等多方面的提升。諾亦騰未來更將面向更多客戶，提供易用、可快速落地、可擴(kuò)展的解決方案。