Article View
下载量破千万之后,具身数据怎样证明“真有用”?文章头图

下载量破千万之后,具身数据怎样证明“真有用”?

围绕正文专注度、信息层级与相关推荐延展重新组织阅读结构,让用户从进入到离开都保持清楚的内容节奏。

Focus Reading 更聚焦正文体验

下载量破千万之后,具身数据怎样证明“真有用”?

Bodog(博狗)比分与赛程中心-足球篮球热门赛事 149 阅读 约 5.5 分钟

触觉经验,怎么转化为机器人的操作能力? 作者 | 独林 编辑 | 漠影 机器人能看见一只花瓶,却未必知道擦拭时该用几分力;抓起瓶子,也不代表它能摸得出瓶身的纹理和材质。 从这个角度看,机器人要理解周围世界,光靠“看见”还不够——与物体接触后,接触面的形变、物体是否滑移以及受力变化,需要靠触觉来感知。 2026年,触觉开始成为具身行业的焦点之一,与触觉有关的模型不断出现,含触觉的多模态数据规模也快速增长。一个更实际的问题也随之而来: 这些触觉经验,究竟能不能转化为机器人的操作能力? 机器人前瞻11月4日报道,近日,戴盟发布了关于TacClaw-Infinity数据集的研究成果。 这一数据集属于Daimon-Infinity数据集中的触觉UMI夹爪数据,戴盟此次公开了其从规模化采集、数据处理与结构化标注,到模型训练和真机验证的完整研究流程。 Daimon-Infinity数据集是戴盟今年4月发布的全球最大规模含触觉全模态物理世界具身数据集,联合Google DeepMind、新加坡国立大学、清华大学等全球数十家研究机构共同采集,面向行业开源一万小时, 目前在Hugging Face和魔搭社区的下载量已超过千万次。 他们选取了其中超过1万小时数据形成TacClaw-Infinity,包含100万条操作轨迹和10亿帧数据,覆盖1000多种任务类型。 大规模、高多样性、全模态, 是TacClaw-Infinity的三个主要特点,其汇集了视觉观测(visual observations)、指尖触觉信号(fingertip tactilesignals)、语言描述(language descriptions)与末端执行器轨迹(end-effector trajectories)等多模态信息,并通过分布式采集纳入不同环境、操作者、物体和接触状态条件下的任务数据。 但比数据规模和模态数量更关键的是研究工作展现的能力验证:数据不仅能够实现零本体迁移,仅用无本体数据就能在不同机器人上进行训练;而且在戴盟设置的三项操作任务中, 加入触觉数据后,模型的物理交互能力得到了较为明显的提升, π0.5的平均任务成功率由50.0%升至74.0%,StarVLA的成功率也由46.0%提高至72.7%。 顺着这组结果往下,更值得看的是接触数据如何被大规模采集,如何更贴近模型的训练需求,又如何教会不同机器人在物理世界中进行安全稳定的交互。 01. 有了触觉数据后, 机器人的能力大幅提升 对于具身数据的评价显然不会停在时长和轨迹数量上,它最终要回答的问题是 被用于模型训练后,能否提高模型的操作成功率,帮助本体更好地完成真实操作。 为了回答这个问题,戴盟设置了 跨本体、跨模型、跨任务 的实验,使用了Tianji、RealMan和DM-Sparky三类机器人,并训练了π0.5与StarVLA两类策略,避免实验结果仅来自单一设备或模型架构。 戴盟设计了三项任务,分别考察模型能不能“拿得准”“摸得懂”“擦得稳”:杯子堆叠侧重取放协调与长程任务衔接,瓶子分类要求机器人借助接触判断物体状态,花瓶擦拭则考察其在持续接触中依据反馈调整动作的能力。 还有一个关键的设计: 实验仅以触觉UMI夹爪采集的无本体数据进行训练,没有额外采集目标机器人示范。 行业进行本体训练时,通常在无本体数据的基础上,还需要以真机数据进行进一步的微调适配。 这种设计考验数据的 零本体迁移 (Zero-Robot Transfer Across Embodiments)能力,一旦成功,则意味着一份无本体采集的数据,可以复用到多个不同的机器人本体上,这将降低数据的训练成本,让数据成为跨平台共享的资源。 结果显示, 物理接触数据不仅能够在零本体迁移的前提下,提升不同机器人的交互能力,而且这种收益在接触密集型任务中更加明显。 在瓶子分类任务中,π0.5与StarVLA的成功率分别提高了 44.7 和 43.3 个百分点;在花瓶擦拭任务中,两类策略的成功率则分别提高了 22.0 和 38.7 个百分点。 值得注意的是,这次实验没有为触觉单独设计复杂架构或控制器,戴盟只是将触觉信息以简单的图像形式输入现有策略。 换句话说, TacClaw-Infinity记录的信息不需要改用一套触觉专用架构,就已经能够被模型利用, 数据本身的有效性得到了验证。 02. 超万小时触觉数据, 如何规模化高效采集出来? 数据有效性的背后,是一连串关于数据构建的关键问题:如何可持续地扩展数据规模,如何最大化单位时间内的信息密度,如何为模型泛化提供足够的多样性,如何将人类经验组织为模型可学习的信息……这些环节共同决定了数据能为模型带来的能力增益。 TacClaw-Infinity通过无本体采集,首先解决了成本与规模化的问题。 如果每一条触觉数据都需

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

继续阅读这些相关内容,帮助用户自然切换到下一篇更感兴趣的话题。

Continue 延续阅读热度