导语：数据规模不断扩大，有效性却没有跟上。
具身的数据管线，到底应该怎么做？
数据规模不断扩大，有效性却没有跟上。

    作者丨向   欣

    编辑丨高景辉

                                                                                                       

雷峰网(公众号：雷峰网)：一家具身数据厂商告诉我们，他们向模型厂商交付了几万小时数据之后，对方反过来问了一句：能不能顺便帮忙把模型也训练出来，好让他们“交个差”，原因是模型厂商自己心里也没底，不知道这批数据喂进去能训出什么结果。
这种焦虑与无力，是当下不少模型厂商的真实状态，他们面临的真实困境是：虽然在不断花钱采集、购买数据，数据规模不断扩大，但数据的有效性却没有跟上。钱花出去了，效果却像打了水漂。
年初，不少具身公司声称今年要采集百万级别的数据。大半年过去，确实有公司宣称已经积累了百万数据，但模型能力上似乎没有看到对应的提升，反而被 GPT 的 Astra 抢了风头。
问题不仅在于数量，还在于数据管线。数据被大量采集回来，但从采集到进训练之间那段加工链路存在大量问题：筛选没有细粒度标准，数据难以跨本体迁移，数据质量至今没有公认的评测机制。具身的数据多了，可用数据却不一定多。
具身数据管线该怎么做？为此，我们与机器人基础模型公司行元智能创始人兼CEO杨世琦聊了聊，试着拆解这条数据链路上的关键难题，以及如何让规模不断增长的数据真正转化为模型能力。
今天，我们就把这条管线拆开聊透。
具身的数据管线，到底应该怎么做？

01


数据量在涨，但「可用数据」没跟着涨

一条原始数据要变成机器人可以学习的数据，通常要经过五个环节：
  • 首先是数据筛选，剔除画面模糊、动作中断、轨迹异常等低质量样本；
  • 其次是数据标注，给操作过程补充任务、物体状态、动作阶段和语言指令等信息，让模型能够理解数据中发生了什么；
  • 第三是动作转换，将人类示范或一种机器人产生的动作，映射到目标机器人能够执行的动作空间；
  • 第四是数据验证，通过规则检查、仿真测试或真机实验，判断数据是否合理、能否执行；
  • 最后是反馈迭代，结合模型训练和实际部署的表现，调整数据筛选、标注和转换策略。
这条链路的绝大部分环节都已可以自动化，但在实际操作中存在不少难题。
首先，数据缺少统一、细粒度的筛选与评价标准。
从大语言模型的经验来看，如果训练中混入一批dirty 数据，带来的降智大概率是永久性的，会在整个模型生命周期中持续产生影响。
但目前业内仍然没有一个可规模化的数据筛选机制。一段视频画面清晰、动作完整，不代表它对模型训练有用；一条转换后的轨迹符合运动学约束，也不意味着机器人能够在真实环境中顺利完成任务。
数据供应商和模型公司对“高质量”的理解存在差异，如何衡量一份数据的实际训练价值，仍然是个难题。
其次，从人类动作到机器人动作的转换存在明显门槛，也就是做动作重定向难。不同机器人的关节结构、工作空间和末端执行器各不相同，同一项任务可能需要不同的操作策略。尤其在人类第一视角视频中，往往缺少机器人关节状态、力觉等信息，系统需要从有限的视觉观测中恢复空间关系，再生成适配目标机器人的动作。
具身的数据管线，到底应该怎么做？
对于结构相近的机械臂，可以通过逆运动学等方法求解；但如果末端执行器差异很大，问题就会复杂得多。
人类用五指手抓住一个物体时，可以调整多个手指的位置和施力方式；夹爪执行同样的任务，采用却是完全不同的接近角度和抓取策略。两者难以使用同一套动作轨迹。
除了数据管线本身的技术难题，行业也存在不少乱象。
一是数据处理分工混乱，数据采集、数据处理和模型训练往往由不同团队承担，各方的交付标准和评价指标未必一致。
二是许多公司依赖开源管线。不少团队使用开源工具拼接处理流程，却缺少针对具体模型、任务和机器人本体的系统设计。行业讨论容易聚焦采集了多少小时、积累了多少条轨迹，对数据经过哪些处理、多少样本最终可用、能否改善下游任务表现，披露相对有限。
结果是，数据规模、可用数据规模和真正产生训练收益的数据规模，容易被混为一谈。
建立完整的数据管线，并用训练和部署结果验证每个环节的价值，正在成为比单纯扩大采集量更需要解决的问题。
具身的数据管线，到底应该怎么做？

02


采集门槛越低，管线要求越高

具身数据的来源越来越多，但不同数据类型面临的管线难题并不相同。目前行业主要探索四类：真机遥操作、仿真、UMI，以及人类第一视角视频。
真机数据质量和部署一致性最好。真实机器人产生的数据与目标机器人的控制、传感器和执行环境接近，容易直接验证。代价是贵：机器人、操作人员、场地和任务都需要投入；其次还是跨本体难，在 A 机器人上采的数据要用到 B 机器人上，每家处理方式不同，做出来的跨本体能力也不一样。
仿真数据的优势是非常容易扩量，缺点是常谈的 Sim2Real gap。以 robot 为主的大量仿真器，下层物理引擎已经很多年没有足够大的变动，无法准确反映摩擦力、物体形变、接触位置等信息，这个缺陷在装配、抓取、拧转这类需要精确控制接触的富接触任务中尤其明显。
具身的数据管线，到底应该怎么做？
UMI 等低成本操作采集方案通过更轻量的采集装置记录人类操作，减少了对完整机器人遥操作系统的依赖，让单条数据更便宜、更容易采集。
具身的数据管线，到底应该怎么做？
但它仍然需要人主动执行任务、使用特定设备，不同UMI采集装置与机器人之间还存在动作映射和适配问题。本质上它仍是项目制驱动的增量数据，多样性和 scaling 上限受采集组织方式约束。
第一视角人类视频打开了更大规模的数据来源。人类日常生活中本来就存在大量操作行为，头戴相机、智能眼镜等设备有机会持续记录，降低专门组织采集的成本。但这条路线将更多压力转移到了数据管线。
首先，视频通常缺少机器人系统能直接使用的关节状态和动作信息，系统需要从视频中提取手部、物体和动作，再恢复空间关系。
具身的数据管线，到底应该怎么做？
其次，采集设备差异更大，画质、视角、帧率和传感器配置各不相同，管线需要消化这些差异。来源越广，原始数据质量就越难统一，日常视频里既有有价值的操作，也有大量与训练目标无关的内容，需要更高效的筛选方法。
再次，人类操作与机器人本体之间存在差异，视频中的人可以用灵巧的双手完成任务，机器人可能配备不同结构的手或夹爪，系统需要将人类动作转换成目标机器人能够执行的动作。
四条路线各自的优势和短板可以归纳为：真机数据更贴近真实执行，仿真更容易扩量，UMI 降低了部分采集门槛，人类第一视角视频有机会获得更丰富、更自然的数据来源。
其中的基本矛盾是，降低对采集设备的限制，有利于扩大数据规模，却会增加清洗、空间重建和跨本体转换的工作量。
也就是说，数据源越丰富，就越需要能够统一处理不同设备、不同动作表征与不同机器人本体的数据基础设施。更重要的是，数据来源的扩展不等于直接扩展了模型可学习经验。
原文：https://www.leiphone.com/category/robot/espiC5FlGhRbSj1b.html
我的收藏