本文来自微信公众号：Z Potentials，作者：a16z，原文标题：《深度｜a16z对谈OpenAI产品负责人：Astra之后，Computer Use真正的杀招，藏在被忽略的那2%里》，题图来自：视觉中国


OpenAI正在赌一件听起来近乎失控的事：让AI像人一样使用电脑，然后比人更快。


在a16z播客的一场深度对谈中，OpenAI Computer Use产品负责人Ari Weinstein与James Sun首次系统拆解了这条产品线的现状与野心。两人的判断毫不含糊——自Astra出现之后，Computer Use Agent已能完成一个人用电脑能做的任何事情；速度上已超过普通人，正逼近"超人类"水平，也就是比一位电脑使用专家更快。


访谈里真正值得细看的，是那些"难以察觉"的增量：Astra在99%与97%可靠性之间那点微小却关键的差别，它在抵抗prompt injection上的对齐提升，以及dots如何主动发现你漏掉的外部会议邀请、登录Sentry提取日志再给出分析。企业端的落地同样朴素得近乎无聊——ERP、采购、财务对账、市场调研，全是没人愿意亲手做的苦差事，却正是机会所在。


历史软件不会一夜消失，新软件也在同时生长。他们给创业者的提醒反而克制：护城河仍在速度、执行节奏与行业纵深。


Ari Weinstein与James Sun都在OpenAI负责Computer Use产品，前者偏消费端，后者偏企业端，两人此前都创办过公司。Seema Amble与Fabrizio Serafini是a16z投资人，此前合写过一篇Computer Use Agent的文章。本期访谈于2026年10月发布。


Z Highlights


  • 我们对Computer Use的理解，并不是说你拿起一个单独的工具，然后说“我想用它做点什么”。它更像是模型为了完成任何任务所需的通用API。任务越复杂，它在推进过程中某个阶段接触到Computer Use的可能性就越高。


  • 采购是我们看到的一个重要方向。财务也是另一个很有意思的类别。很多美国的财务软件没有能快速提取数据的API。因此，财务团队可以让Computer Use查看这些账簿，进行对账，把值得关注的内容标记出来，交给某个人处理，或者继续展开调查。


  • 如果你看看如今正在生产环境中运行的软件，很多都是10年、20年、30年、40年前写的，我不认为它们会在一夜之间消失。我觉得我们将进入一个时代，任何软件都可以为一百个人，甚至一个人设计。


  • 今天仍然存在的护城河之一，就在于速度与执行节奏。在我看来，仍然有很多垂直行业对AI的扩散要慢得多。如果存在需要大量彼此割裂的软件的复杂工作流，Computer Use就是把它们连接起来、完成整个端到端工作流的好方法。


  • 现在用Computer Use，你还得花心思考虑怎么用它、记得去用它；我非常期待一个世界：Agent能够适应你，而不是让你去适应它。


01 Astra的增量在“难以察觉”的细节里


Seema Amble： 欢迎收听a16z播客。我是Seema Amble。和我一起主持的是我的同事Fabrizio Serafini。8月我们写过一篇文章，讨论Computer Use Agent，以及它们如何开始在公司内部承担真正的工作。今天请到的是来自OpenAI的Ari Weinstein和James Sun，他们会从自己的视角帮我们拆解Computer Use Agent正在发生什么，也分享一些对未来的想法。Ari、James，谢谢你们来。


Ari Weinstein： 首先，很高兴来到这里。


James Sun： 是的，谢谢你们邀请我来。


Seema Amble：Ari，你先来，跟我们讲讲Astra的哪些特点推动了Computer Use Agent的发展，以及它真正解锁了什么。


Ari Weinstein： 是的。Astra是一个很惊艳的模型，很多事情都做得很好。在Astra之前，我们的Computer Use模型其实已经非常出色了。Sol本身的Computer Use能力就很惊艳。所以就我个人的零散经验而言，Astra真正带来的帮助主要体现在一些细节上。第一，它平均来说快了一点，因为完成同一个任务所需的思考Token更少。它在某些类型的创造性工作上更出色。


比如，我们在发布视频里做过一个演示：你可以和它对话，而它会在Microsoft Paint上画东西。它在这类事情上好得多，我觉得这大概也能迁移到其他类型的创造性任务上。最后一点是，我发现它在一些细节上就是更可靠。我觉得自己对它更信任了一点。


这有点像这样：在可靠性达到99%和达到97%的两种情况之间，存在一个很小、很难察觉但确实非常重要的差别，而我觉得它只是以一种相当具体的方式，可靠性略微更高了一点。


James Sun： 是的，我想在这些优点的基础上再补充一点。Astra也是我们目前对齐程度最高的模型。所以，回到信任这个话题。如果你看看它的系统卡，就会发现它在抵抗prompt injection方面好得多，在避免采取任何非预期行动方面也好得多。


所以，如果你把它放到企业工作中来考虑，尤其是那些用它处理敏感事务的公司，无论是采购、与供应商沟通，还是与客户沟通，你都会用得安心很多，这真的让人非常兴奋。创造性方面也有一些有趣的表现。我们内部让Astra跟5.6打游戏，它每次都赢。


网上还有一些很酷的推文，说Astra大概30小时左右就能打通Fallout之类的。所以，它在玩电子游戏方面也确实非常厉害。我也不知道，这大概能迁移到某些能力上吧。


Seema Amble：是的，这很令人兴奋。也许可以深入谈谈这一点。Computer Use Agent在消费端和企业端的应用场景很不一样，我想，围绕Computer Use Agent的那整套外层支撑，含义也截然不同。如果一定要选，你们觉得消费端和企业端哪一边更令人兴奋？


James Sun： 我觉得OpenAI的目标，是打造对每个人都有用的产品。有意思的是，Ari肯定更偏消费端，而我在企业端花的时间更多一点。我觉得消费端一直是我们探索可能性边界的地方。


Ari刚提到，Astra比之前的模型快得多，所以我们会花很多心思考虑，更快、更好的模型能带来哪些新的消费端体验。至于企业端，安全自然成为了一个很值得关注的问题。我觉得每次和大公司交谈时，Computer Use的应用场景其实都相当明显。


企业内部有很多没有任何MCP工具的旧软件，有的软件已经用了15年、20年，而且很多时候对普通人来说很难用。许多界面还是过去十年的样子，有些关键操作甚至都不知道怎么做。所以我们看到一些公司会构建技能，教模型更好地使用这些软件。


或许可以这么理解：在企业端，这些能力可能已经存在了一段更长的时间，而企业正在迎头赶上，尝试理解该如何应对；在消费端，我们则在探索下一批可能是现有软件还无法实现的应用场景。也许你可以多分享一些。


Ari Weinstein： 是的，消费端的应用场景让我觉得特别有趣，因为它关乎如何让你的Agent帮你处理日常生活中那些烦人的事情，为你节省大量时间，让你有更多时间专注于自己感兴趣的事。看到dots的表现真的很有趣，每个dots都有自己的电脑，你可以让它在云端替你做事。


它有一个完整的网页浏览器，可以帮你买东西、预约理发，以及做你想让它做的其他任何事情。所以这真的很有趣，我觉得未来还有很多值得期待的东西，一定会很有意思。


02 团队自己怎么用dots：从漏掉的会议邀请到Sentry日志


Fabrizio Serafini：这正是我想问的关于dots的问题。James，我想你大概会用dots来梳理产品反馈。如果你能多分享一点就太好了。我也很好奇，你们自己是怎么用dots的？Computer Use又如何影响它们能做的事情？


James Sun：我觉得dots特别酷，有几个原因。首先，它非常主动，所以无论在生活还是工作中，当dots提醒我一些完全被我遗漏的事情时，我常常感到很惊讶。就在前几天，我们内部的邮件系统收到外部会议邀请时，邀请实际上不会出现在日历里，所以我漏掉了不少外部会议。


现在dots会帮我发现这些事情。它会说：“你的收件箱里有一封邀请，但日历上没有。让我在你的Gmail里接受它，让它显示出来？”这简直帮了大忙。虽然只是件小事，但影响很大。我还让它主动查看一些事情。我觉得它特别擅长主动寻找那些每次形式都不那么明确的任务。举个我也设置过的例子：我们内部用Slack，任何时候都有大量消息。以前我用Codex的自动化功能设置了一个Slack任务，每隔一小时或30分钟拉取信息。结果我对很多通知都视而不见了，因为它们有时候有用，有时候没用。


有了dots，我可以给它一个高层目标，比如：“如果我汇报链上的任何人说了什么，提醒我。如果有人对某些产品提出关键反馈，你自己判断一下，也帮我处理。”因为它有一台云电脑，我还建立了一个挺酷的工作流：有人报告情况时，通常会附上Sentry日志。


我可以让它使用云电脑，实际操作我本地的浏览器。dots会同时控制你的本地电脑和云电脑，登录Sentry、提取并分析日志，再给我反馈。这样就省掉了整个流程，不用我先判断哪条反馈重要，查看之后再去Sentry下载日志，把日志交给Codex并询问它的看法。现在这一切都可以自动化。所以，至少对于这些主动型、长时间运行且每次形式都不同的任务来说，它很棒。


03 速度才是产品问题：从“比普通人快”到“比专家快”


Seema Amble：我们刚才谈了一些可靠性、速度、Token用量和效率的问题。随着你们不断改进推出的产品，你们是如何平衡这些因素的？


Ari Weinstein：我觉得OpenAI对Computer Use非常看好。我们在这个领域投入了很多，我认为我们已经做出了速度最快、价格最低、可靠性最高的Computer Use产品。我觉得我们其实还可以把它推进得更远。我们花了很多时间研究速度。


速度很有意思，一方面，Computer Use的强大之处在于它可以在后台执行任务，所以有时候花多长时间并不重要，因为它帮你完成任务时，你可以去做其他事情。但有时候你想看着它，确保它做得正确；有时候你必须等它，因为它得先完成这件事，才能进行下一件。


所以速度非常重要，你不会希望自己产生这种感觉：“哦，我本来可以自己做，那样简单多了。”如今，我们已经让Computer Use在使用电脑时比普通人更快，我觉得我们也非常接近让它达到超人类水平，也就是比一位电脑使用专家更快，比如可能比我们在座的某个人更快。


我觉得，一旦做到这一点，就真的会带来巨大变化。它会改变我们所有人与电脑交互的方式，因为突然之间，任何你能手动完成的事情，它都能做得更快。所以，除非你因为某些原因特别想自己做，我觉得其实可能有很多原因让人们想自己动手，否则在默认情况下，你可能就会想让Agent帮你做。我觉得这会让我们打造出各种很酷的用户体验。所以速度是我们花很多心思考虑的事情。


除此之外，我们当然也有一项策略：提供多种不同质量和价位的模型。因此，针对不同的应用场景，你可能会想用不同的模型。同时，我们较便宜的模型在Computer Use方面也随着时间推移变得好得多。


因此我认为，随着时间推移，人们针对不同任务想要使用的模型，实际上会变得更加多样。


James Sun： 是的，你说的就是这样。我想另一个问题是，我们如何让客户能够在安全性、可靠性、自主程度和速度之间进行控制？模型慢的时候，你可以看着它做事。但这样一来，它能做的任务就受到限制，因为你不可能一直坐在这里看着它做。实际上这样效率更低，因为它比你慢。


但一旦它快到你无法观察和审查它所做的每一件事，我们要如何让企业和商家尤其能够控制人工介入的程度，以及可审计性？我想几个月前，我参与了Astra，就在几个月前。Astra的一部分，我们推出了一系列企业控制功能，让企业选择，比如人工介入多少。


它们希望Agent自动批准所有操作吗？我们有一个非常棒的系统叫Guardian，我想应用里的自动批准功能就是它。它是一个非常聪明的模型，会检查Computer Use Agent采取的每一个操作，判断是否安全、是否符合书面意图。消费者可能会说，我只想让它做所有事情，不想被要求审批。而企业则可以决定哪些类型的操作真正通过。所以我觉得，随着我们的Computer Use Agent在做事方面也变得超越人类，控制部分会越来越重要。


04 开放网络上的张力：广告模式与WebMCP


Seema Amble： 完全同意。我觉得，在你们尝试推出更多企业应用场景时，雇主对效率提升感到兴奋，但他们也会担心自己放出来的究竟是什么。从另一面来看，你们有没有观察到应用软件提供方的反应？现在有Computer Use Agent在访问我的旧版工作流软件，你们会考虑这个问题吗？还是说，你们更专注于消费者或企业用户正在使用的Agent？


James Sun： 嗯，是的。我觉得这个问题在开放网络上尤其有意思。如果是在公司批准并使用的软件内部，其实就比较直接，因为大家会觉得，当然，我们完全希望人们能在这里实现自动化、完成工作，不必自己费力地重复操作。但到了互联网上，我觉得大致有几类不同的人。


一类人会说，我们的商业模式与让Agent使用我们的产品不一致。想想广告商、出版商，他们的商业模式完全依赖广告。如果Agent替用户使用网站，那收入从哪里来？我觉得在大多数地方，Agent带来的广告展示实际上并不能计入真实收入。


这是一个很有意思的问题，我们一直在探索，也一直和合作伙伴团队一起研究。另一个问题是，对于那些非常欢迎Computer Use Agent使用自己网站的公司，其中很多正在采用一些标准，让人和Agent能够一起使用网站。WebMCP就是一个让我们非常兴奋的标准。我们在应用内浏览器中加入了对它的支持。你可以想象这样的场景：Agent提升了使用网站的体验，但并没有完全取代这种体验。比如，我个人觉得浏览互联网依然很有趣。我还是喜欢购物，也喜欢看看各种酒店、航班和地点。


所以你可以想象，Agent把所有繁琐工作做完，同时保留一个让你自己浏览的用户体验。然后你会说：“好了，现在我想完成交易、输入信用卡信息，处理所有这些事情。”接着你可以把工作交还给Agent。所以WebMCP是一种有意思的方式：你与网站交互的界面仍然是网站本身，而不是API，同时人也参与其中。这就是我的一些想法。


05 什么任务能交出去，企业又凭什么敢用


Seema Amble： 换个话题，我想进一步聊聊，所谓完成一项工作，或者说完成一项端到端的工作，究竟意味着什么。想听听你们的看法：什么样的方式效果好？你们如何界定一项合适的、范围足够窄且可重复的任务？哪些任务已经可以交给Agent，哪些任务仍然需要用户这边进行一些检查和纠正？


James Sun： 嗯。总的来说，我发现现在这个模型已经很有能力，基本上凡是你能在电脑上做的事情，它都能做。我有一个刻意要求自己去做的练习：每当我遇到一项任务，首先想到的就是，我能不能直接让Agent来做？当然，这里面显然有一些敏感性问题。


比如，如果我要给某人发消息，我希望对方感觉那是我亲自发的。但总体来说，我的想法是，自从Astra出现之后，Computer Use Agent已经能够完成一个人能做的任何事情。以前大家会问，具体要求和任务细节是不是存在某种模糊地带。我的总体感受是，模型已经越来越擅长处理这些问题。每当你要求它做某件事，而要求里有些模糊时，它其实会处理这种模糊性。比如，我们在Astra中推出了flexible input，它会问你：“我需要一些细节。”如果你没有及时回答，它就会继续推进，并在需要时自行提取上下文。我觉得，如果你有可重复的工作流，能够像写产品规格说明一样，把要求定义清楚，当然会很方便。


但总体上，我现在的感觉是，除非有极其敏感的事情需要你介入，否则我做什么都会优先考虑使用Computer Use模型。我很好奇，你是不是也一样。


Ari Weinstein： 是的，我也是。我正在努力培养这种遇到事情就优先调用它的习惯，因为它真的很出色，但人有时很容易陷在旧的做事方式里。我觉得Computer Use这项技术真正酷的地方，在于它具有普适性。它能和每一个应用配合使用，这一点不同于我们构建过的其他任何东西。其他技术需要开发者做一些适配工作，需要有人构建连接器或MCP server。Computer Use则可以和一切应用配合使用，而且它使用应用的方式，和人类使用应用的方式一样。


如果你还没有花太多时间了解这项技术，这一点值得理解：Computer Use使用电脑的方式和人类一样，它让Agent拥有你所拥有的全部能力。我觉得这非常强大。


James Sun： 是的，我想补充你刚才说的一点。随着时间推移，我已经不再把问题想成：我是在处理Computer Use任务，还是非Computer Use任务？它们往往是连在一起的，我们对Computer Use的理解，并不是说你拿起一个单独的工具，然后说“我想用它做点什么”。它更像是模型为了完成任何任务所需的通用API。


所以，如果你有一项有雄心的任务，希望Agent来完成，那么任务越复杂，它在推进过程中某个阶段接触到Computer Use的可能性就越高。也许只有在任务简单到我自己点击两下就能完成时，我才不会考虑使用Computer Use。


不过，随着Computer Use变得更快，甚至越来越快，问题也许会变成：我是不是连这两下都不用自己点了？我只要通过语音发出指令，它就能和我一起使用电脑。这些也是一些有意思的想法。


Seema Amble： 对于企业用户，你们有没有什么需要告诉他们，才能让他们对这件事感到放心？当然，你们完全沉浸在Computer Use里，但我觉得企业用户有时还是会犹豫：好吧，人类确实会点击这些步骤，而且可能做得更差，但人们还是会觉得，这里面有责任归属的问题，也会问，这个人是否接受过培训，以及所有那些经典的反驳理由。我想听听你们的看法。


Ari Weinstein： 是的。我们确实花了不少时间去说服大家。过去一段时间，我们和企业进行过很多交流。我觉得最主要的一点，是我们把这件事看成两层。第一层是：我们如何建立确定性的控制？我觉得，这正是让企业感到安全的关键。


我们的模型是迄今为止对齐程度最高的模型，而且我认为，在防范prompt injection和非预期行为方面，它比大多数人做得更好，因为它本身的智能程度非常高。


但即便如此，当企业管理员可以明确规定某些任务或某些数据源敏感到不能使用时，他们还是会有一种安全感。所以，我们在企业产品中推出了两项能力。第一项是，可以围绕Agent确定性地建立一个沙盒：可以规定它能使用哪些应用，不能使用哪些应用；能访问哪些网站，不能访问哪些网站。第二项与人工介入有关，也就是哪些类型的操作需要人工介入。比如，你可以规定，每当发生下载或上传时，都必须由人审批；每当它进入一个新网站时，也必须由人审批。当然，这些都像是企业可以自行调节的旋钮。


然后，第二层实际上就是向企业管理员展示我们内部进行的各种评测，说明这些模型的对齐程度有多高，包括内部评测和第三方评测。我觉得，我们还会在所有产品中做一些基础工作，帮助人们建立对这类产品的信任。


我们知道，这项技术太新了，对人们来说，它有时是一种很神奇、甚至有些陌生的体验。因此，我们在产品设计上投入了很多精力：如果你想看它执行任务，就始终可以看到光标；光标的动作也做得有趣一些，让观看过程不至于无聊。


正如James刚才所说，这对企业来说是高度可定制的，对普通用户也是如此。根据你所处的模式，我们会在使用新的应用或网站之前征求你的许可。我觉得，这能让人不至于觉得它会在电脑上失控地做些什么。


你会希望先有这样一个建立信任的阶段，了解使用它是什么感觉，以及你希望它为你做什么。随着时间推移，你就会逐渐感到更自在。


06 无聊就是机会：ERP、采购、财务与市场调研


Fabrizio Serafini： Codex的光标太可爱了，我喜欢。这虽然只是一个很小的细节，但看着它使用电脑，会让你更有信心，也会让整个体验更舒服。所以我觉得，从用户体验的角度来看，这确实值得投入。


我想从更宏观的层面问问：现在我们有了能力很强的模型，而且运行成本也已经低到足以大规模部署。在你看来，企业应该考虑自动化什么？在企业内部，哪些使用场景最有希望？有没有一些工作流，比如ERP相关的工作流，或者再次考虑人和Agent如何协作完成任务？如果一定要你挑选，你最期待看到你们的模型在哪些现实场景中发挥作用？


James Sun： 是的，从我的角度来看，我也想听听Ari的看法。我会把它想成两大类。第一类是自动化那些繁琐的工作流。这是比较无聊的那一类，我先举几个无聊的例子，比如……


Seema Amble：无聊正是机会。


James Sun： 对，没错。比如ERP就是一个很大的方向。你能想到的各种缩略词，ERP、CRM，


Seema Amble： 所有记录系统。


James Sun： 对，所有记录系统，没错。所以我们已经看到有人在使用采购软件。比如，你每年都要向供应商采购一大批实验室设备。通常情况下，团队成员会先把一张有上千行的巨大表格填好，然后运营团队拿到这张大表，把它录入内部采购软件，最后整理成一批采购明细。


接着，采购团队再拿着这份软件生成的大量输出，去联系供应商。电脑可以把这一整套流程都自动化，所以，采购是我们看到的一个重要方向。财务也是另一个很有意思的类别。公司内部通常有许多不同的账簿，比如费用账簿，以及其他各种事项对应的账簿。


每到月底，就有大量对账工作。而且，很多美国的财务软件没有能快速提取数据的API。因此，财务团队可以让Computer Use查看所有这些账簿，进行对账，把任何值得关注的内容标记出来，交给某个人处理，或者继续展开调查。这也是一种很无聊但很有用的工作流。


销售团队也是如此。很多销售团队会使用许多不同的软件来处理文字记录、获取数据以及各种类似的事情。所以，可以让Computer Use去挖掘潜在客户，再把结果录入CRM或某种触达软件，诸如此类。所有记录系统都属于比较无聊的部分。


我们还经常看到市场调研这样的场景。空闲时，我一直在做一个羽毛球视频标注软件，因为我经常打羽毛球。我喜欢拍下自己打球的过程，然后让Agent去查看其中的内容。我当时想：“怎样才能让这个东西真正有用？”市面上已经有一些用于匹克球、壁球和网球的软件。


所以，我就让Computer Use登录这些软件、创建账号、试用它们、截取屏幕截图并给我反馈，然后再想办法把这些功能融回我的应用里。这些都属于可以自动完成的繁琐工作流。还有一些更有趣、更具创造性的工作，比如让人去完成更有雄心的任务。


我们之前提到过，现在模型在视觉设计方面已经非常出色。因此，电路设计、建筑工作、硬件工程和游戏设计，也都是我们非常期待Astra能够拓展的领域。现在企业还不太常考虑这些方向，因为它们目前想的都是那些无聊但有机会的事情。


但我认为，随着大家进一步理解模型的能力，接下来我们会看到更多使用会出现在这些领域。不过，Ari，你有什么想法吗？


Ari Weinstein： 是的，我觉得消费端也差不多，有很多事情属于自动化苦差事，或者只是替你做那些你不想做的事。比如替你填写DMV表格，帮你取消订阅收件箱里的大量邮件。还有一些事情更像是这样：我听很多人讲过，他们开始做一些原本没有时间做、或者根本不会想到去做的事情。


就我个人而言，我在维护个人财务表格和膳食规划表格；我还有一位私人教练朋友，他正在为自己的客户制作定制化内容。有些事情，如果放在个人生活中，光是时间成本就高得让人难以承受。但现在做起来非常容易。我使用Apple Numbers，它是一款比较冷门的电子表格软件，但这个模型依然能把它做得非常出色，


Seema Amble： 我好像从来没听说过有人用Apple Numbers。


Ari Weinstein： 它是一款出乎意料地好用的电子表格软件。接下来我觉得还有第三类事情，也是我可能最兴奋的。这才刚刚开始，我觉得未来还有很大的发展空间，那就是以一种不同的方式使用整台电脑，或者与软件交互。


我想你们在我们的Astra广告里看到过一些很酷的例子，人们直接通过语音和电脑对话。这是一种非常自然的用电脑方式。我认为随着时间推移，这项技术会改变软件本身的形态，我对此非常兴奋。


遗留软件不会一夜消失，新软件也在同时生长


Seema Amble： 说到软件形态的变化，假设你是一名企业用户，已经习惯使用某个30年前开发的、操作繁琐的ERP。一种可能是，你现在放出一组Agent，让它们直接操作那个软件，你就不太需要操心了。


另一种可能是，新出现的AI原生厂商在使用Computer Use Agent。我很好奇，你觉得未来会更偏向哪个方向：保留原来的软件厂商，只是在上面加上这一层；还是说Computer Use Agent完全可以成为新软件厂商产品的一部分？这是我经常思考的问题，所以很想听听你们的想法。


Ari Weinstein： 这是一个非常有意思的时刻：一方面，开发新软件的成本和复杂度都大幅降低，所以你可以想象软件会发生巨大的变化；但另一方面，世界上也有大量遗留软件，而Computer Use非常适合与这些软件交互。所以我预计这两种情况都会持续很长时间。


如果你看看如今正在生产环境中运行的软件，很多都是10年、20年、30年、40年前写的，我不认为它们会在一夜之间消失。我确实觉得，从某种程度上说，Computer Use的存在可能会给公司带来更大压力，促使它们让软件更好地与Agent协作，因为默认情况下所有软件都将能与Agent协作。我觉得WebMCP就是一个很好的例子，我们会看到更多类似的东西。


所以我预计这两者都会非常重要，但它们的侧重会随着时间推移而变化。James，你怎么看？


James Sun： 我同意你的看法。我觉得，打造产品需要投入大量艺术性和工艺，你对此很有体会，因为你已经和团队一起打造了一款出色的产品。当年做Cursor时，Ari可是把全部心血都倾注进去了。我觉得，打造人们能拿在手里的优秀产品，需要投入大量艺术性和工艺。


我不知道，对我来说，如果互联网变成一个没有面目的东西，只剩下Agent相互对话，人们不再使用任何东西，我会很难过。我不觉得事情会变成那样，因为精湛的工艺和匠心软件有一种特质，使用起来就是很舒服，因为设计者真正理解客户想要什么样的体验。


比如，我太太最近喜欢上了一款桌游，我忘了它叫什么，就是把五颗棋子连起来就能赢的那个，我觉得名字好像叫Gomoku（ZP注：五子棋）。她正想把棋下好，因为她和朋友在线上玩，总被打得落花流水。所以我说，好吧，我给你做一个战术训练器，让你练习不同的开局，提升水平。我做了第一个版本之后，想到她喜欢用某种方式学习，而且比起其他方法更喜欢某几种学习方式，所以我可以把软件打磨成用起来让她觉得很舒服的样子。


这类个性化软件，我知道在今天可能仍然只有技术人员才会去做，但如果把目光放到几年后，假如任何人都能开发任何东西，而且可以在很短时间内为小众需求打造非常精致、为人们量身定制的软件，我觉得那会是一个非常美好的世界。


再比如，在她完成训练后，针对她犯过的错误，完全可以由一个Agent总结出她的失误，并以结构化的见解形式提供给她。但当她真正和AI对弈、努力提高水平时，这件事需要人自己来做。所以我确实更倾向于乐观地认为，UI不会消失。


这和你原来的问题稍微有点偏离，不过我确实觉得，廉价软件带来的压力会迫使软件变得更好。但我不觉得事情会只是这样：所有东西都有MCP和API，然后Computer Use就永远没用了。


Ari Weinstein： 完全同意，我非常认同这一点。我觉得人类天生就很习惯直接操作，我们确实希望能够亲自动手移动和操作东西。想到这一点让我很兴奋：过去的软件非常千篇一律，而且不得不如此。我们每天使用的许多软件通常是为数百万、数千万、数亿乃至数十亿人设计的。


我觉得我们将进入一个时代，任何软件都可以为一百个人，甚至一个人设计。这类软件又会变得多么个性化、多么独特。


Seema Amble： 我脑海里的理解框架是，大概有两类。一类是在消费端，你会从某个东西里获得快乐，喜欢使用它，或者从中学到东西。重点不在于它的实用性，而在于互动、学习或其他事情带来的乐趣，你愿意花时间在上面。


另一类是在B2B端，你可能希望Agent完成很多烦琐的工作，但同时还有审计日志这个概念。你与它互动的方式可以个性化，但产品真正要做到的是让我作为人类用户设定目标，然后能够理解其中的逻辑，而不一定需要走完它是如何发生的整个指令链。


因此，任何B2B用户仍然需要弄清楚，比如为什么会进行那笔付款，能够回去查看发生了什么的总结，也能够说，好，在这个时间给这个人付款，30天时应当应用这么多折扣，等等。


他们希望Agent负责执行，但同时也希望在某种程度上保有掌控，我觉得这确实需要某种形式的UI。而且，我觉得如果我们越来越相信AI会承担更多这类工作，那么那部分体验也得让人用起来愉快，为什么不呢？为什么我们要将就着用糟糕的软件？这……


Ari Weinstein： 我确实觉得，看看我们是否会见到新型软件会很有意思，我对此是乐观的。这类软件有传统的用户界面，但底层也在使用Agent，而有时这些Agent自己或许也会用Computer Use来自动化操作遗留软件，为你提供好得多、更贴合特定用途的体验。


我对这类东西非常兴奋。


James Sun： 对，这有点像我们喜欢用的“共享智能层”这个说法，你的Agent在别处使用遗留软件、在其他地方做事，而如果你正在使用某个应用，这个应用就会希望获取相关上下文，从而提供更好的体验。


我觉得，如果每个网站都有自己的Agent，而且它们不和你的Agent沟通，那将是一个非常割裂的世界。所以，弄清楚这些东西怎样协同工作，让Agent能够接入并使用你的其他软件，我觉得这会是接下来几个月里非常有意思的一件事。


07 给创业者的建议：护城河在速度、节奏与行业纵深


Fabrizio Serafini： 我很喜欢你们谈到这个话题，因为我觉得人与AI交互的重要性被严重低估了，尤其是当你想让一款产品成功的时候。因此，你需要认真考虑这件事：人们习惯于协作，所以你会希望任何Agent都能融入团队。


我很好奇，如果把这个思路应用到一家新创公司上，比如说你明天就要创业，想用Computer Use解决企业内部的某个工作流程问题，你会怎么考虑？你首先会想到什么？比如，你希望知道它什么时候出错，希望它能够与人沟通，还是说希望它像一个黑盒？


如果现在要给那些正尝试用你们的模型和能力为企业解决问题的创业者一些建议，你会说什么？


Ari Weinstein： 在我看来，这很大程度上取决于具体形态：你是一个小团队，希望团队里的个人能够更高效地使用团队正在用的某个软件；还是说你正在开发的东西本身需要与现有软件交互？如果是后者，或许你会让云端某台机器在后台运行Computer Use。


我觉得这会很大程度上影响你希望人与Agent以什么方式协作。对于前一种情况，我觉得我们的很多产品都在服务这种用例：你坐下来使用ChatGPT，可以在其中进行很多很棒的协作。


另一种情况下，你可能在用API开发自己的产品，自己实现Computer Use。那时，确实很有意思的问题就是：什么时候需要人工介入？出了问题时Agent会不会告诉你？事情顺利完成时它会不会告诉你？


是否有什么东西来做总结，让你不至于被“这个发生了、那个发生了”的通知淹没，因为你最终其实会忽略它们。我也不知道，James，你怎么看？


James Sun： 是的，我觉得Ari和我在加入OpenAI之前都曾是创业公司创始人，所以我现在仍然非常看好创业公司。这个问题归根结底是：现在还有什么护城河？在各个实验室都在做各种事情的情况下，创业公司还能着手解决什么？一般来说，我觉得有两点。


第一，有太多东西可以去构建。尽管我们现在已经相当庞大，有几千人，但内部仍然感觉人手非常紧张，因为面对这么多问题，团队规模并不大。所以，如果你真正深入理解某个问题，具备行业专业知识，了解监管如何运作、市场进入路径，以及如何服务这些客户，我认为外面仍然是一片很大的空白。而且，通过我们的API获得的工具，正如Ari提到的Computer Use，我觉得仍然能让你加速，真正加快速度。


我觉得说到底，今天仍然存在的护城河之一，就在于速度与执行节奏。另一点是，在我看来，仍然有很多垂直行业对AI的扩散要慢得多。前几天我和一家公司的工作人员聊过，他们使用Computer Use来帮助餐饮集团：先拍摄后仓的照片，然后利用视觉能力，根据对明天客流的预测判断哪些东西会短缺；接着，它会使用Computer Use进入Shopee或某种采购软件，订购第二天要用的杂货。


之后，它还会进入ERP，调整员工的排班，因为根据去年的情况，在这一天的这个时间段，可能会有更多客流进来，比如遇上节假日之类的，因此可能需要更多员工帮忙。


所以，我们生活在San Francisco，会看到很多这样的想法：实验室什么都能做，Codex也什么都能做，那为什么大家不直接安装Codex，让它替自己做事？


但对普通美国人、普通小型或中型企业主，甚至普通企业来说，光是理解这些工具能做什么，就是第一步；以有意义的方式把工具连接起来，是第二步；部署，是第三步；服务，是第四步。


因此，在我看来，如果存在需要大量彼此割裂的软件的复杂工作流，Computer Use就是把它们连接起来、完成整个端到端工作流的好方法。而且，以一种让这些客户拿在手里感觉良好的形式和UI把它做出来，我觉得仍然是一个非常非常大的机会，这个机会现在依然存在。


08 下一步：从后台执行到实时协作


Seema Amble： 跟我们讲讲接下来会怎样。关于Computer Use Agent正处于前沿的那些方向，有哪些是你们感到兴奋、又可以分享的？


Ari Weinstein： 其实我已经稍微提到过了，但我们真的很期待速度方面的进展。我们非常期待让Computer Use达到超人类水平，也很期待把不同类型的界面融合起来，把多模态输入结合在一起，让你和电脑之间的互动更加流畅。


我觉得现在我们的很多Computer Use产品都非常侧重后台运行，更像是：我给Agent一个任务，让它在我做别的事情时把任务完成。这其实是产品非常强大的一点，但我觉得未来我们也会看到更多你和Agent之间的实时协作。


所以，我对这个方向非常兴奋。此外，就是让它变得更好、更便宜、更普及、更易用。


James Sun： 对，没错。能够真正访问一切。我觉得，像dots这样的产品，我们是在给大家一台云端电脑；ChatGPT work也有一个云端浏览器。对我来说，令我兴奋的一点，是让整个体验变得更连贯一些。比如，今天你可以安装Chrome扩展，它会使用你在Chrome里的密码管理器和其他一切东西；而桌面端应用里的应用内浏览器，有另一套cookies和另一套密码；你的云端电脑也有另一套东西。


对普通消费者来说，这有点令人困惑：为什么我有四个不同的浏览器，而它们彼此都不沟通？如果我在其中一个浏览器里打开一个标签页，它会显示在另一个浏览器里吗？


所以，我对很多事情感到兴奋，其中一点就是：我们怎样才能让Computer Use从一个由企业和真正尖端的高级用户使用的产品，变成一种普通人也能理解的东西？


这有点矛盾，因为我觉得Computer Use其实是最容易理解的AI产品，毕竟就是AI在使用你的电脑。但由于你必须管理不同的状态，以及使用它的不同场所，具体实现细节有时会渗透出来，结果就变得很难理解。


所以，如何把它做成消费级产品，让它更容易理解、更连贯，是我对下一季度非常兴奋的一件事。


Ari Weinstein： 是的，我觉得这又回到了那个问题：仍然是一个人在设置Agent，而且，UI和控制越好，用起来越简单、越愉快，人就越能从中获得更多，这绝对是核心原则。关于这一点，我还想提另一个方向：我觉得现在这个产品的另一个挑战是，你必须花心思考虑自己要怎么使用它，必须记得去使用它，还必须说服自己去做一些不同于平时习惯的事情。


不过，我确实认为，James刚才提到的dots有一种非常强的主动性，它们能够主动找到你，识别出一些情况，并帮助你解决问题。我觉得未来我们也会看到更多这样的主动能力。我非常期待这样一个世界：Agent能够适应你，而不是让你去适应它。


我认为我们会看到很多类似的变化，这会让人们更容易真正与这项技术建立联系，理解它并将它融入自己的生活，同时仍然由人来设定和引导目标，如果我的意思说清楚了的话。


Seema Amble： 我们还没有谈到的一点，是Computer Use背后的势头，以及它已经发生了多大变化。Fabrizio和我在那篇文章里也聊到了一点。希望你们能谈谈，到目前为止它的发展轨迹是怎样的，以及接下来会走向哪里。


Ari Weinstein： 是的。我和James在OpenAI做Computer Use已经有一段时间了。过去6到9个月真的令人非常兴奋，因为我们刚开始做这些Computer Use产品时，使用它们的人非常少。


今年早些时候，由于研究团队做了非常出色的工作，在我看来，这些模型突然就变得非常擅长这类任务。之后，我们又和内部许多团队一起拼命努力，研究如何围绕它真正打造出好的产品体验。就在过去几个月里，产品突然开始疯狂增长，人们也真正看到了它的价值。


不过，我觉得现在仍然非常早期。现在依然只有我们用户群中的一部分人在使用Computer Use，我认为接下来它还会增长很多。


James Sun： 完全同意。我是1月加入OpenAI的，当时就是为了做Atlas产品。我很喜欢Atlas。Atlas已经没了。但我觉得，我们后来意识到，Atlas产品里的Agent式体验，出于几个原因，其实并不是一个很大的卖点。使用它的人不多，部分原因是我觉得大家主要把它当成普通浏览器来用。过去几个月，随着模型能力变得更强，我们现在已经把浏览器和浏览器操作能力整合进所有原本就有Agent式使用场景的现有产品中。我们看到的周环比增长简直达到了YC级别。


它增长得如此之快，我总是感到惊讶。我觉得下一个大的拐点就是云端，桌面端目前仍然很大程度上是高级用户才会用的东西。我知道我们可能一直在使用桌面端，但大多数消费者都在使用手机。


那怎样才能让每一个ChatGPT用户，让每一个只是用手机处理日常生活的人，都拥有一台强大的电脑，而且他们甚至不需要理解如何使用它，它就能帮他们把事情做成？我非常期待这件事如何把它带到十亿用户的规模。


Seema Amble： 感觉Computer Use Agent背后已经有了巨大的势头，现在正到了这样一个时刻：怎样把它交到更多人手里，让他们信任它，觉得自己真的能用它？你们刚才提到的一致体验，也让我很有感触。我觉得这确实很关键。等这一点大幅改善之后，消费者会更放心地使用它，整个体验也会更自然。


Ari Weinstein： 我觉得确实如此。我认为，我们现在正处在Computer Use同时面向消费端和企业端的规模化时刻。是的，我非常期待看到它接下来会走向哪里，以及人们会用它构建什么。


Seema Amble： 很好，我们也是。好了，非常感谢你们参加节目。这次交流太棒了。我们很喜欢聊这个话题，也很开心能直接听你们谈论这些。


James Sun： 谢谢。


Ari Weinstein： 我们也聊得很开心。


James Sun： 是的，谢谢。


Ari Weinstein： 谢谢。


James Sun： 谢谢你们。


原视频：Why OpenAI Is Racing to Make Computer Use Superhuman

https://www.youtube.com/watch?v=9v42ZOdiBJY


本文来自微信公众号：Z Potentials，作者：a16z，编译：David Liu