在餐厅后厨,厨师正在准备食材;在工厂里,工人拿起零件进行组装。这些再普通不过的工作过程,如今可能有了新用途:成为训练机器人的数据。

 

只需要在工作时佩戴一台摄像头,记录双手如何操作、工具如何使用、任务如何一步步完成,视频就可以被上传、筛选和标注,最终提供给机器人实验室。而拍摄者,也可能因此获得一笔额外报酬。

 

这意味着,人类在工作中积累的操作经验,正在成为一种可以被采集、定价和交易的资源。

 

硅谷人工智能公司Memories.ai正在尝试建立这样一套体系。近期,公司推出了一套由视频采集平台、可穿戴设备和视觉模型组成的系统,希望将普通人的第一人称(egocentric)工作视频转化为机器人训练数据。

 

(来源:Memories.ai)

 

据公司披露,其采集网络已累计录制超过100万小时视频。不过,录制100万小时,并不意味着获得了100万小时有用的训练数据。

 

与通常按工作时间计算劳动报酬不同,在这门生意中,拍摄者并不是录制多久就能获得多少报酬,而是只有通过质量验收的视频时长才能获得付费。Memories.ai再将这些合格数据出售给机器人公司。

 

同样是一小时人类工作,哪些经验值得机器人学习?机器人又能从这些视频中真正学到什么?

 

这些问题,也与Memories.ai从视觉记忆转向机器人训练数据的创业经历交织在一起。


(来源:Memories.ai)



客户对技术感兴趣

不等于是门好生意

 

创业既要不断探索,也要在找到方向后高度聚焦。客户对一项技术感兴趣,并不意味着它就能成为一门好生意,探索也是一个“做减法”的过程。Memories.ai如今的业务方向,也是在多次尝试和取舍中逐渐明确的。

 

Memories.ai联合创始人兼首席执行官沈俊潇(Shawn Shen)是一位95后创业者,博士毕业于英国剑桥大学机器智能实验室,曾在Meta现实实验室(Reality Labs)从事AI研究,参与Meta Ray-Ban智能眼镜背后的AI系统开发。目前,他同时担任英国布里斯托大学助理教授,领导一个由10名博士生组成的研究实验室。

 

2025年,沈俊潇与同样来自Meta Reality Labs的周恩民(Ben Zhou)共同创立了Memories.ai。他们最初选择的方向是视觉记忆:让AI能够理解、储存和检索大量视频,而不只是记住文本对话。

 

图丨沈俊潇与周恩民(来源:Memories.ai)

 

围绕这一方向,团队开发视觉模型和视频处理基础设施,并尝试将技术用于安防、影视娱乐、视频营销等场景。技术方向已经明确,但这些能力究竟能在哪个市场形成可持续的生意,团队还需要寻找答案。

 

公司早期陆续接触到不同规模的企业客户,并与英伟达、高通建立了技术合作关系。在实际推进业务的过程中,沈俊潇逐渐发现,客户愿意尝试一项技术,与愿意长期为它付费,是两回事。

 

例如,团队曾尝试向中小企业提供视频理解工具和API,后来发现,尽管客户有兴趣,但痛点不够突出,投资回报也不够明确。

 

面向个人消费者的产品同样不容易。沈俊潇认为,消费级产品要求团队同时具备开发、产品设计和用户运营能力,而Memories.ai是一家明显偏重技术研发的公司。

 

随后,他们将注意力转向大型企业。“我们大企业客户其实做得还不错,但是我们发现大企业客户只有Research ROI,没有Business ROI。”沈俊潇在与信睿科技评论交流时这样总结。

 

所谓Research ROI,是技术具有研究价值,企业愿意投入研发预算探索;Business ROI则意味着技术能够直接改善经营结果,产生可以衡量的商业回报。

 

两者之间存在不小的距离。对于视频理解技术来说,要实现明确的商业回报,往往需要深入企业的具体业务场景。但一旦进入安防、传统视频基建等垂直领域,又可能陷入大量定制化开发,很难快速复制。

 

因此,Memories.ai团队开始重新审视自己的商业方向。经过团队讨论,当时有三种选择:卖企业、卖个人或卖实验室。第三种选择,最终让该公司进入机器人领域。

 

该团队发现,在工厂、物流、运输、零售和餐饮等场景中,企业对视觉智能的兴趣,往往与更直接的自动化需求有关。而机器人实验室面临的问题更明确:训练机器人需要大量高质量数据。

 

对于Memories.ai来说,这也是一个与自身技术积累相匹配的市场。有意思的是,此前开发的视频处理模型、检索系统和可穿戴硬件,都可以用于机器人训练数据的采集与处理。此前看似分散的探索,原本服务于不同业务方向的视觉理解能力,在机器人训练领域找到了共同用途。

 

(来源:Memories.ai)

 

2026年第三季度,该公司开始集中转向机器人业务。沈俊潇称,这一方向带来的订单增长和市场需求,是团队此前没有经历过的。他用创业圈常说的“产品市场契合”(PMF)形容当时的感受:“有PMF的时候,是非常能够感觉到的,可能不一定是某个指标,但是明显能够感觉到有PMF了。”

 

对他来说,这种感受来自机器人客户的实际订单与需求增长,而不只是对技术的兴趣。

 

Memories.ai最终决定放弃其他业务,将资源集中投入机器人。这次转向并非简单地追逐一个热门赛道,而是在多轮尝试之后,找到了一个付费需求更明确、也更契合自身技术积累的市场。

 

而这门生意的起点,是机器人与大模型之间一个重要的差别:前者远没有那么多现成的训练数据。



机器人看了人类工作

就能学会吗?

 

机器人要学会人类的工作,究竟需要多少数据?在沈俊潇看来,答案可能不只是采集更多视频,还在于如何让模型从视频中学习。

 

他提到一条正在受到关注的技术路线:将视频中的动作和操作过程转化为文本描述,再结合语言模型进行训练。但视频无法完整呈现操作时的力度和触觉反馈,机器人看过人类工作的视频,并不意味着能够直接掌握相应技能。

 

大模型可以从互联网上的大量文字和代码中学习,但机器人需要理解的是物理世界。比如,拿起一个杯子、拧紧一颗螺丝,或者按照顺序组装零件。完成这些任务,不仅需要识别物体,还需要理解双手如何运动、工具怎样使用,以及动作如何改变周围环境。

 

目前,机器人训练的数据来源主要包括遥操作、专门操作设备采集的人类数据、第一人称视频、互联网视频和仿真数据。其中,遥操作数据可以直接记录机器人如何完成任务,但成本较高,很难迅速扩大到数百万甚至数千万小时。

 

在沈俊潇看来,遥操作数据的质量较高,但其很难规模化,成本也高。要获得数百万甚至更多小时的数据,单纯依靠机器人遥操作并不现实。相比之下,让普通人佩戴摄像设备记录真实工作,可降低采集门槛,也有机会覆盖更多不同场景。

 

仿真数据可以大量生成,却仍然存在模拟环境与真实世界之间的差距。互联网上虽然有海量视频,但拍摄视角、画面内容和数据质量未必适合机器人训练,筛选处理也需要成本。

 

(来源:Memories.ai)

 

因此,第一人称视频成为受关注的选择之一。与普通视频从外部拍摄不同,第一人称视频直接记录操作者眼前或手边的工作过程,更容易呈现双手、工具和物体之间的关系。

 

(来源:Memories.ai)

 

Memories.ai希望通过这种方式,将数据采集从专业实验室扩展到更多真实工作场景。但视频数量增加,并不意味着能够直接用于机器人训练的数据也会同比增长。记录下来的内容,也不能直接全部用于训练。例如,人在工作时可能会分心、玩手机,或者停下来发呆。这些画面真实记录了工作过程,却不一定对机器人有用。

 

沈俊潇指出,采集到的视频数据往往充斥着海量“脏”数据。真正有价值的训练数据,需要完整记录一项任务从0到1完成的过程,并清晰呈现其中各个步骤的状态。

 

(来源:Memories.ai)

 

Memories.ai系统做的事情,是先对视频进行质量检查,识别哪些片段完整记录了任务,哪些内容应该被筛除。随后,大视觉记忆模型(LVMM)会进一步处理视频,识别操作者左手和右手分别做了什么、拿起什么物体、完成什么动作,并为不同操作步骤添加标注。

 

这些信息被存入视频数据库后,机器人实验室便可以按照任务需求检索相应片段。例如,一家实验室需要研究家庭场景中的叠衣服任务,就可以从数据库中寻找相关视频,而不必逐一查看大量原始录像。

 

从这个角度看,Memories.ai试图解决的不只是录制更多视频,而是如何从大量真实的人类活动中,找到机器人能够利用的训练信息。

 

(来源:Memories.ai)

 

沈俊潇介绍,目前机器人实验室购买这类第一人称视频,主要用于基础模型的预训练。针对具体操作任务,通常仍然需要遥操作等其他类型的数据。这意味着,人类工作视频正在被用于帮助机器人建立更广泛的动作和场景理解能力,但掌握具体操作任务,仍需要其他类型的数据与训练。

 

数据规模能否持续扩大,还取决于视频如何被模型利用。他提到,一种受到关注的训练思路,是先将视频中的动作、物体和操作过程转化为结构化描述,再结合语言模型进行训练。这可能让更多视频数据进入现有模型训练体系,但数据规模增加能否持续带来机器人能力提升,仍有待验证。

 

这也是沈俊潇正在通过学术研究继续探索的问题。他告诉信睿科技评论,他在布里斯托大学实验室的研究方向也开始向机器人靠拢,计划通过具体任务验证视频处理和理解模型能否改善机器人的实际表现。“最终还是要看,它能不能真正提升机器人的实际表现。”

 

对于一家以视频数据为核心业务的公司而言,这也是比采集时长更重要的技术检验。



一小时人类经验,值多少钱?

 

当人类工作视频成为机器人训练数据,一种新的商业模式也开始形成。

 

按Memories.ai公布的规则,普通人可以通过应用选择任务,记录自己的工作过程。平台完成质量检查后,按通过验收的视频时长支付报酬,再向机器人实验室销售这些数据。

 

换句话说,拍摄者获得报酬的依据,不是摄像头开了多久,而是有多少视频最终符合训练要求。这让不同工作场景的数据开始有了不同的价格。平台会根据采集难度设置差异化报酬。例如,数据中心、电器维修、实验室等场景的采集难度相对较高。

 

一小时洗碗视频与一小时复杂设备维修视频,虽然记录的时间相同,但获取难度和适用的训练任务并不一样。当然,采集难度并不完全等同于训练价值。一段视频是否真正有助于机器人学习,最终仍要通过模型训练和实际任务表现来检验。

 

(来源:Memories.ai)

 

对于Memories.ai来说,当前更直接的挑战是扩大高质量数据的供给。沈俊潇称,机器人客户对这类数据的需求增长很快,现阶段限制业务扩张的主要因素不是需求,而是供给。

 

为了扩大供给,Memories.ai试图通过移动应用和可穿戴设备,让更多普通人参与数据采集,再利用自动化模型完成视频检查、标注和检索。这套模式对公司的要求,不只是开发更好的视频模型,还包括能否持续组织大量采集者,在不同场景中获得符合要求的数据。

 

(来源:Memories.ai)

 

谈到未来的竞争壁垒,沈俊潇给出了一个颇有意思的回答。他认为,随着AI编程能力提高,单纯的软件代码可能不再是最重要的壁垒。未来更重要的资源,一部分是人,另一部分是GPU和模型。

 

这里的“人”,不仅指优秀的研究人员,也包括如何高效管理成千上万名数据采集者。他甚至将大规模人员组织与GPU集群管理相比较:前者涉及复杂的沟通和协作,后者需要大量计算资源,两者都不是轻易能够建立的能力。

 

这让一家AI公司的竞争优势呈现出某种反差:当AI越来越擅长自动处理数据,组织人类持续生产高质量数据,反而可能成为新的竞争壁垒。不过,目前的数据业务可能只是进入机器人产业的第一步。

 

沈俊潇将公司的商业路径概括为:“先卖数据,后卖模型,再卖infra(基础设施)。”数据是进入机器人客户体系的第一步。随着合作深入,公司希望进一步提供视频理解模型和相关基础设施,最终参与机器人模型持续改进的过程。

 

未来,当机器人执行任务时遇到失败或特殊情况,或许可以从积累的视频数据库中检索相似片段,再利用这些数据进行模型微调和优化。Memories.ai将这一长期研究方向称为“物理递归自我改进”(Physical RSI)。

 

这与公司最初研究的视觉记忆形成了联系:过去希望AI能够记住和检索视频,如今则希望机器人能够利用这些“记忆”改善自身能力。但这仍然是一个有待实现和验证的研究目标,而不是机器人已经具备的自主进化能力。



当人类经验成为数据

新的问题才刚刚开始

 

这门生意还有一个无法回避的问题:工作视频记录的不只是操作动作,也可能涉及其他人的隐私、企业内部流程和劳动者积累的专业经验。

 

Memories.ai表示,平台要求采集者取得相关人员同意,并通过人脸模糊等方式降低隐私风险。但现有材料尚未明确说明视频出售之后的权利安排,例如贡献者能否撤回授权,以及数据被反复用于模型训练时,是否存在进一步的收益分配机制。

 

从Meta时期研究AI如何理解视觉世界,到创立Memories.ai开发视觉记忆,再到如今转向机器人训练数据,沈俊潇的研究和创业方向几经变化。但让他感到意外的,不只是公司找到了新的市场,还有AI本身的发展速度。

 

对于机器人,他同样保持乐观。沈俊潇认为,目前部分工厂机器人已经能够完成包装、配料等工作,但仍然需要大量针对具体场景的定制,缺乏进入新环境后迅速适应的能力。未来两三年,机器人部署和落地的速度可能进一步加快。

 

(来源:Memories.ai)

 

不过,技术发展的速度与技术实际能够完成的任务,仍然需要分别判断。对Memories.ai来说,累计录制超过100万小时第一人称视频,只是一个开始。这些数据经过筛选、标注和训练后,究竟能让机器人获得多大的能力提升,仍需要在真实任务中证明。

 

而当越来越多的人类工作过程被记录下来,成为机器学习的资源,这门生意也将面临另一个长期问题:如何在推动机器人学习的同时,合理衡量和回报提供这些经验的人。

 

机器人能够从人类工作中学会多少,最终要由实际表现回答;而人类经验如何被定价和使用,则需要技术之外的规则来回答。

 

参考资料:

1.Memories.ai官网:https://memories.ai/

2.LUCI Pin:https://memories.ai/memories-upload


刘雅坤 | 文

内容来源:信睿科技评论


获取更多 AI时代的科技参考
欢迎点击下方卡片关注 信睿科技评论



原文:http://weixin.sogou.com/weixin?type=2&query=%E5%93%88%E4%BD%9B%E5%95%86%E4%B8%9A%E8%AF%84%E8%AE%BA+%E5%BD%93AI%E5%BC%80%E5%A7%8B%E5%AD%A6%E4%B9%A0%E4%BA%BA%E7%B1%BB%E5%B7%A5%E4%BD%9C%EF%BC%8C%E6%96%B0%E7%9A%84%E5%95%86%E4%B8%9A%E6%9C%BA%E4%BC%9A%E5%9C%A8%E5%93%AA%E9%87%8C%EF%BC%9F

相关文章

企业AI落地难?JVS-AI渐进式实践:安全可控、小切口验证、标准化沉淀与规模化复制

企业AI落地难?JVS-AI渐进式实践:安全可控、小切口验证、标准化沉淀与规模化复制

掘金
技术面试已死?AI 时代,真正拉开程序员差距的是什么?

技术面试已死?AI 时代,真正拉开程序员差距的是什么?

掘金
销冠跑了,经验留下:AI Agent 如何进入医美机构的日常工作?

销冠跑了,经验留下:AI Agent 如何进入医美机构的日常工作?

掘金
数据查到了,回答去哪儿了?一次百炼 + LangChain 排查实录

数据查到了,回答去哪儿了?一次百炼 + LangChain 排查实录

掘金
吴晓波对话吴声:2026年的AI,相当于1995年的互联网萌芽期

吴晓波对话吴声:2026年的AI,相当于1995年的互联网萌芽期

吴晓波频é�
从优胜美地到金门大桥:跟着 macOS 游览加州

从优胜美地到金门大桥:跟着 macOS 游览加州

少数派