ARTICLE / 雷锋网

Gen DAS Dex 正式发布:破解具身数据难题,从学习人类的双手开始

2026年04月03日 20:19 · 来自 雷锋网

阅读原文 → 收藏

在虚拟Agent时代,模型依托文本、图像与视频数据实现跨越式发展,语言智能、视觉智能走向成熟。 但当 AI 真正进入物理世界、要让机器人像人一样灵巧干活时,需要在open-world场景、有交互的处理多样类型的任务。 所以从更底层能力来看,具身智能需要的不只video/language层面,而是在真实生活中认知、行动、产生交互,并根据物理反馈持续思考与迭代。 这就意味着具身智能需要学习的,不是一段视频,而是在真实生活中、自然多样的Human Data。 今天,简智正式发布Gen DAS Dex(以下简称 Dex)—— 实现人手全模态感知与行为的高精度重建,并与Ego 配合,革新“Human Data”数据范式,为具身智能提供覆盖 “头 + 手” 全场景、精细化、可直接训练的灵巧行为数据底座。 01 为什么今天的具身智能,需要 Dex 这样的“手”? 人类五指经过数百万年进化,形成27 块骨骼 + 34 块肌肉 + 24 个自由度的精密结构,是面对复杂、多样灵巧操作的“通用接口”;同时现实生活中大量五指操作,也为模型训练提供了丰富的样本与实例。 那么如何将手的行为转化为可被理解、训练的数据,面临的是多维度的叠加挑战: 1.高质量、自由度的灵巧手数据极度稀缺:多是视觉片段,缺少关节角度、且指尖空间精度停留在2-3cm,误差大,有效数据供给远不及产业需求。 2.多模态无法兼备、对齐:视觉、动作、触觉不完整、不同步,时序错位、空间不准, downstream 模型难以训练、无法泛化。 3.采集设备与自然动作冲突:笨重、遮挡、负重感强,导致动作变形,数据失真,无法长期大规模采集。 4.头和手独立存在,而非形成“认知+行为的闭环”:仅靠头视角:看得见,却摸不准,精细操作彻底失效,或者只有手摸得准,却看不全,全局操作极易出错。这些无法构成人行为的物理交互的时空闭环。 5.无法规模化,走出实验室:遥操、动捕等方式都需要巨大成本布置场地,无法进入生活、进入