具身智能數(shù)據(jù)工程：技術(shù)探索與實(shí)踐夏軒深圳市人工智能與機(jī)器人研究院目錄具身智能數(shù)據(jù)的價值具身智能的數(shù)據(jù)瓶頸具身智能數(shù)據(jù)工程具身智能數(shù)據(jù)生產(chǎn)平臺AIRSPEED問題與展望具身智能數(shù)據(jù)的價值具身智能數(shù)據(jù)的價值具身智能數(shù)據(jù)價值所在互聯(lián)網(wǎng)互聯(lián)網(wǎng)用戶：互聯(lián)網(wǎng)互聯(lián)網(wǎng)用戶：50億數(shù)據(jù)估價：600美元/用戶總估值：3萬億美元[1]機(jī)器人數(shù)量：100億數(shù)據(jù)估價：1000美元/機(jī)器人總估值：10萬億美元機(jī)器人數(shù)量：100億數(shù)據(jù)估價：1000美元/機(jī)器人總估值：10萬億美元[2][1]WhyElonMuskthinksEarthwillhavemorerobotsthanhumans,TheTelegraph,https://www.telegraph.co.uk/business/2024/04/01/elon-musk-earth-more-robots-than-humans,accessed2024/04/08[2]TheTeslaRobot:Whatwill‘Optimus’beabletodoandhowmuchwillitcost?,TheSun,https://www.thesun.co.uk/tech/21845043/tesla-robot-optimus-cost/,accessed2024/4/08具身智能的數(shù)據(jù)瓶頸已有研究：模仿學(xué)習(xí)的ScalingLaws物體/環(huán)境泛化能力接觸的物體/環(huán)境數(shù)量之間，呈現(xiàn)冪律關(guān)系[1]是數(shù)據(jù)量，K_m是達(dá)到50%成功率所需數(shù)據(jù)如果要擴(kuò)展到x倍的空間體積，那么數(shù)據(jù)量需要擴(kuò)展大約x^0.35倍[2][1]Lin,Fanqi,YingdongHu,PingyueSheng,ChuanWen,JiachengYou,andYangGao."Datascalinglawsinimitationlearningforroboticmanipulation."arXivpreprintarXiv:2410.18647(2024).[2]Tan,Hengkai,etal."ManiBox:EnhancingSpatialGraspingGeneralizationviaScalableSimulationDataGeneration."arXivpreprintarXiv:2411.01850(2024).模型性能增長遵循冪律，數(shù)據(jù)增長遵循線性從99%開始，失敗率每下降一個數(shù)量級，數(shù)據(jù)量需求高十倍，99.999%成功率需耗費(fèi)1250億資金采集數(shù)據(jù)？/p/16842896350端到端具身智能分層決策具身智能端到端具身智能分層決策具身智能數(shù)據(jù)需求方數(shù)據(jù)需求方數(shù)據(jù)量需求低數(shù)據(jù)量需求高泛化期望低泛化期望高函數(shù)API調(diào)用技能API調(diào)用小腦API調(diào)用函數(shù)API調(diào)用技能API調(diào)用小腦API調(diào)用抓取導(dǎo)航按壓定位導(dǎo)航位姿估計軌跡控制抓取導(dǎo)航按壓定位導(dǎo)航位姿估計軌跡控制大腦的訓(xùn)練技能的訓(xùn)練小腦的訓(xùn)練端到端的訓(xùn)練指令微調(diào)數(shù)據(jù)……LLaVA-v1.5655KRoboVQA800KBC-ZRoboTurkBridgeDataV2ManiSkillDemonstrationsTACO-RLARIO（AllRobotsInOne）OpenX-Embodiment……VoxPoserManipLLMAnyGraspDiffusionpolicy……InstructNavRT-2GR-2A：具身智能的數(shù)據(jù)瓶頸大腦數(shù)據(jù)小腦數(shù)據(jù)技能數(shù)據(jù)大腦數(shù)據(jù)小腦數(shù)據(jù)技能數(shù)據(jù)人類演示場景類別任務(wù)類別型號類別人類演示場景類別任務(wù)類別型號類別機(jī)器人感知人類語義標(biāo)注具身智能的總數(shù)據(jù)需求期望機(jī)器人感知人類語義標(biāo)注具身智能數(shù)據(jù)瓶頸的解決依賴于一整套工程體系具身智能數(shù)據(jù)瓶頸的解決依賴于一整套工程體系具身智能數(shù)據(jù)工程具身智能數(shù)據(jù)工程的定義具身智能數(shù)據(jù)工程是圍繞具身智能數(shù)據(jù)生產(chǎn)而進(jìn)行的系機(jī)器人數(shù)據(jù)采集系統(tǒng)設(shè)計垂直場景技術(shù)部署與應(yīng)用優(yōu)化真實(shí)世界數(shù)據(jù)采集技術(shù)開發(fā)仿真環(huán)境數(shù)據(jù)生成技術(shù)開發(fā)機(jī)器人數(shù)據(jù)采集系統(tǒng)設(shè)計垂直場景技術(shù)部署與應(yīng)用優(yōu)化真實(shí)世界數(shù)據(jù)采集技術(shù)開發(fā)仿真環(huán)境數(shù)據(jù)生成技術(shù)開發(fā)數(shù)據(jù)標(biāo)準(zhǔn)確立標(biāo)準(zhǔn)載體——具身智能數(shù)據(jù)集現(xiàn)狀演示（Demonstration）數(shù)據(jù)集真實(shí)世界數(shù)據(jù)采集方法的分類具身智能的真實(shí)世界數(shù)據(jù)采集技術(shù)現(xiàn)狀真實(shí)世界數(shù)據(jù)采集方法的分類末端執(zhí)行器示教人類視頻學(xué)習(xí)動捕數(shù)據(jù)示教示教類（間接）數(shù)據(jù)采集技術(shù)用于采集人的數(shù)據(jù)手持類遙操作可穿戴遙操作視覺類遙操作光慣類遙操作遙操作類數(shù)據(jù)采集技術(shù)用于采集機(jī)器人的數(shù)據(jù)仿真環(huán)境數(shù)據(jù)生成方法的分類代碼生成任務(wù)分解決策生成技術(shù)用于合成機(jī)器人推理規(guī)劃具身智能的仿真環(huán)境數(shù)據(jù)生成技術(shù)現(xiàn)狀仿真環(huán)境數(shù)據(jù)生成方法的分類代碼生成任務(wù)分解決策生成技術(shù)用于合成機(jī)器人推理規(guī)劃虛擬遙操作策略模型控制策略模型控制軌跡合成技術(shù)用于采集機(jī)器人操作數(shù)據(jù)數(shù)字孿生數(shù)字表親數(shù)字表親資產(chǎn)合成技術(shù)用于合成機(jī)器人交互對象預(yù)測生成技術(shù)用于合成機(jī)器人物理感知具身智能數(shù)據(jù)工程如何助力解決數(shù)據(jù)瓶頸？數(shù)據(jù)采集系統(tǒng)的設(shè)計——減小成本黑洞機(jī)器人訓(xùn)練數(shù)據(jù)集機(jī)器人訓(xùn)練數(shù)據(jù)集數(shù)據(jù)采集與結(jié)構(gòu)化采集/提交的人員/單位信息數(shù)據(jù)采集端點(diǎn)許可協(xié)議信息數(shù)據(jù)標(biāo)準(zhǔn)確立——克服評估空白數(shù)據(jù)采集與結(jié)構(gòu)化采集/提交的人員/單位信息數(shù)據(jù)采集端點(diǎn)許可協(xié)議信息數(shù)據(jù)流型號數(shù)據(jù)機(jī)器人型號數(shù)據(jù)傳感器型號數(shù)據(jù)仿真環(huán)境數(shù)據(jù)（可選）場景數(shù)據(jù)場景配置數(shù)據(jù)數(shù)據(jù)流型號數(shù)據(jù)機(jī)器人型號數(shù)據(jù)傳感器型號數(shù)據(jù)仿真環(huán)境數(shù)據(jù)（可選）場景數(shù)據(jù)場景配置數(shù)據(jù)傳感器標(biāo)定數(shù)據(jù)場景描述數(shù)據(jù)（可選）任務(wù)數(shù)據(jù)任務(wù)描述數(shù)據(jù)任務(wù)參數(shù)數(shù)據(jù)對象描述數(shù)據(jù)（可選）執(zhí)行數(shù)據(jù)運(yùn)動執(zhí)行數(shù)據(jù)感知數(shù)據(jù)決策執(zhí)行數(shù)據(jù)（可選）執(zhí)行狀態(tài)數(shù)據(jù)（可選）仿真環(huán)境數(shù)據(jù)生成技術(shù)開發(fā)——減小成本黑洞數(shù)據(jù)源真實(shí)環(huán)境仿真環(huán)境數(shù)據(jù)源真實(shí)環(huán)境仿真環(huán)境機(jī)器人機(jī)器人技術(shù)部署與應(yīng)用優(yōu)化——減小成本黑洞機(jī)器人機(jī)器人數(shù)據(jù)質(zhì)量成本高，場景受限高數(shù)據(jù)孤島問題不可能在模型/算法收斂前解決數(shù)據(jù)質(zhì)量成本高，場景受限高現(xiàn)有采集技術(shù)無法實(shí)現(xiàn)數(shù)據(jù)質(zhì)量和通用性的統(tǒng)一現(xiàn)有數(shù)據(jù)均包含了人類能力的完整語義信息成本低，場景不限應(yīng)對數(shù)據(jù)孤島：所有數(shù)據(jù)應(yīng)收盡收成本較高，場景受限中 成本較高，場景受限中AirExoAirExo數(shù)據(jù)通用性開源具身智能數(shù)據(jù)生產(chǎn)平臺AIRSPEEDAIRSPEED：最強(qiáng)兼容性具身智能數(shù)據(jù)生產(chǎn)平臺全面支持各類真實(shí)世界數(shù)據(jù)采集技術(shù)、仿真環(huán)境數(shù)據(jù)生成技術(shù)、數(shù)據(jù)集的自動AIRSPEED功能設(shè)計保障廣泛的技術(shù)兼容性AIRSPEED實(shí)現(xiàn)柔性的具身智能數(shù)據(jù)生產(chǎn)遙操作設(shè)備反饋數(shù)據(jù)遙操作數(shù)據(jù)姿態(tài)數(shù)據(jù)反饋數(shù)據(jù)機(jī)器人/采集設(shè)備仿真環(huán)境姿態(tài)數(shù)據(jù)反饋數(shù)據(jù)機(jī)器人/采集設(shè)備仿真環(huán)境反饋數(shù)據(jù)合成數(shù)據(jù)真實(shí)數(shù)據(jù)合成數(shù)據(jù)機(jī)器人接口仿真接口機(jī)器人接口仿真命令數(shù)據(jù)生成服務(wù)數(shù)據(jù)采集服務(wù)數(shù)據(jù)生成服務(wù)AIRSPEED數(shù)據(jù)集構(gòu)建服務(wù)AIRSPEED數(shù)據(jù)存儲AIRSPEED架構(gòu)設(shè)計保障廣泛的軟硬件兼容性對接不同遙操作設(shè)備的兼容性需求對接不同遙操作設(shè)備的兼容性需求對接不同機(jī)器人的數(shù)據(jù)采集需求對接不同仿真平臺的數(shù)據(jù)生成需求對接不同技術(shù)路線的數(shù)據(jù)格式需求遙操作遙操作仿真平臺仿真平臺AIRSPEEDAIRSPEED機(jī)器人/機(jī)器人/采集設(shè)備數(shù)據(jù)集AIRSPEED成為對接四方的便捷橋梁AIRSPEED優(yōu)勢：萬物皆可達(dá)人形機(jī)器人全身控制任意機(jī)器人形態(tài)位姿類遙操作人形機(jī)器人全身控制任意機(jī)器人形態(tài)任意數(shù)據(jù)采集遙操作類數(shù)據(jù)采集任意末端執(zhí)行器視覺類遙操作類數(shù)據(jù)采集任意末端執(zhí)行器任意距離與視角VR雙臂控制AIRSPEED可達(dá)性光慣類任意距離與視角VR雙臂控制AIRSPEED可達(dá)性末端動捕數(shù)據(jù)采集示教類數(shù)據(jù)采集末端動捕數(shù)據(jù)采集示教類數(shù)據(jù)采集AIRSPEED優(yōu)勢：萬物皆可生任意操作軌跡策略模型自動合成軌跡合成任意操作軌跡策略模型自動合成軌跡合成數(shù)字表親資產(chǎn)合成任意可交互資產(chǎn)資產(chǎn)合成智能體代碼生成AIRSPEED可生性任意智能體決策決策生成數(shù)字表親資產(chǎn)合成任意可交互資產(chǎn)資產(chǎn)合成智能體代碼生成AIRSPEED可生性任意智能體決策決策生成數(shù)字孿生資產(chǎn)合成智能體任務(wù)分解生成預(yù)測生成任意物理規(guī)律預(yù)測生成工作流程：即插即用，三步啟用，快速上手步驟二：啟動設(shè)備步驟二：啟動設(shè)備與仿真步驟二：啟動設(shè)備步驟三：啟動服務(wù)AIRSPEED遙操作數(shù)據(jù)AIRSPEED步驟三：啟動服務(wù)AIRSPEED遙操作數(shù)據(jù)AIRSPEED遙操作數(shù)據(jù)ROS2節(jié)點(diǎn)硬件設(shè)備軟件服務(wù)機(jī)器人機(jī)器人/采集設(shè)備數(shù)據(jù)存儲NVIDIAOmniverseNVIDIAOmniverse遙操作設(shè)備遙操作接口機(jī)器人接口數(shù)據(jù)采集服務(wù)數(shù)據(jù)集構(gòu)建服務(wù)遙操作設(shè)備遙操作接口仿真接口數(shù)據(jù)生成服務(wù)數(shù)據(jù)集構(gòu)建服務(wù)數(shù)據(jù)存儲數(shù)據(jù)存儲步驟一：編寫配置文件步驟一：編寫配置文件步驟一：編寫配置文件開源共建占據(jù)具身智能數(shù)據(jù)生態(tài)位遙操作設(shè)備制造商上游供應(yīng)商難以直接滿足數(shù)據(jù)生產(chǎn)需求遙操作設(shè)備制造商×數(shù)據(jù)采集設(shè)備制造商具身智能模型開發(fā)商個人消費(fèi)終端用戶機(jī)器人本體制造商仿真平臺開發(fā)商機(jī)器人本體制造商仿真平臺開發(fā)商上游供應(yīng)商具身智能機(jī)器人開發(fā)商具身智能應(yīng)用商數(shù)據(jù)生成服務(wù)具身智能機(jī)器人開發(fā)商具身智能應(yīng)用商下游開發(fā)商跳過數(shù)據(jù)生態(tài)位將提高成本消費(fèi)終端下游開發(fā)商跳過數(shù)據(jù)生態(tài)位將提高成本消費(fèi)終端大多不具備數(shù)據(jù)生產(chǎn)能力對接軟硬件整合需求對接數(shù)據(jù)生產(chǎn)需求