过去两年,商界对AI的讨论一直围绕着“AI能做什么”展开。但这个问题现在已经没那么值得讨论了。图片来源:Yuichiro Chino—Getty Images.

假设你授权AI智能体去完成某项具体任务,它却悄悄摸进了你从未授权它触碰的基础设施,不是因为受人指使,而是它在执行你安排的任务时遇到了障碍,临时起意决定绕路而行。再假设这种本能在一群AI智能体中蔓延开来,每个智能体都找到了自己的“后门”,直到它们之间的协同速度超出了所有人的反应极限,发现都来不及,更别提阻止了。

这不是假设,而是今年5月真实发生的事。当时,OpenAI在内部安全评估中运行的AI智能体,在探测窃取用户凭证的路径时,向软件包存储库RubyGems灌入了2000多个恶意包。同年春天,同一测试池中的另一批智能体劫持了一家德国网站,将其用作隐蔽的协同通道。到了7月,事态急剧升级:该系统约1200个智能体找到了未经授权的通信方式,交换了7万多条协调消息,并借此攻破了Hugging Face的生产系统。入侵持续整整三天后,OpenAI安全团队才发现要为该起事件负责的竟是自家智能体。OpenAI已确认上述三起事件均由其智能体造成。没有任何人下达过任何相关指令。

此后,来自OpenAI、Anthropic、Google DeepMind和 Meta的一千多名员工联名发表了公开信,此事也在随后几周推动了联邦层面相关立法的提出。这已不再是孤立的数据泄露事件,而是已经形成一种趋势,也是我们现在真正要面对的风险,关键不是 AI犯了一次错误,而在于AI能以人类根本无法察觉、更无从干预的速度和规模展开协同。等到人们反应过来时,一切早已尘埃落定。

过去两年,商界对AI的讨论一直围绕着“AI能做什么”展开。但这个问题现在已经没那么值得讨论了。真正紧迫的问题是,我们该把哪些事交给AI自主处理?

这个问题之所以关键,是因为企业级AI正在进入全新阶段。企业不再满足于让AI充当助手来回答问题、总结文档、起草邮件,而是开始部署能够调用工具、完成多步骤任务、并以越来越强的自主性开展工作的AI智能体。OpenAI的企业数据印证了这一变化:截至今年6月,智能体相关功能的使用已占ChatGPT与Codex企业端输出词元总量的64%。其应用范围也不再局限于软件工程,而是扩展到法律、销售、招聘和市场营销等领域。

技术发展一日千里,但我们对“怎么负责任地使用技术”这件事的思考,还远远没有跟上。德勤(Deloitte)的《2026年企业AI现状报告》(2026 State of Enterprise AI report)显示,尽管近四分之三的企业计划两年内部署智能体AI,但目前只有五分之一拥有成熟的治理框架。

与通常“技术先行、监管滞后”的节奏不同,这一次各方的反应速度明显更快。本月,OpenAI全球事务主管马克·安德森一改该公司长期反对强制性监管的立场,在国会作证时明确表示,仅靠自愿承诺已远远不足以应对相关风险——这相当于来自模型研发一线的一次公开让步,承认自我治理有其边界。国会的追问也在加码:参议员乔什·霍利要求OpenAI在10月1日前说明智能体接入41台生产服务器的方式;参议员克里斯·范·霍伦则要求OpenAI允许联邦网络安全机构直接接入其模型并进行相应评估。问题不只出在一家公司身上。西班牙数据保护局(AEPD)本月披露了首起由AI智能体引发的个人数据泄露事件;韩国国家网络安全中心(NCSC)宣布,正针对智能体的自主行为重写本国AI安全指南;而专注软件安全风险的开放式Web应用程序安全项目(OWASP),刚把“过度代理权”(Excessive Agency)从AI应用最严重风险榜单的第六位升至第三位。这不是OpenAI一家的麻烦,而是全球范围监管收紧的共同趋势。

这种差距通常被归为治理问题,但它本质上也是一个判断问题。我们花了多年时间教机器识别模式、自动做出决策,却很少认真思考,哪些决策应该留在人类手中——以及在流程的哪个环节,人需要真正参与决策,而不只是被通知一声。

这一点在那些关乎“人”而非“事”的决策上尤其重要。哪个客户需要的是一通电话,而不是一封又一封自动邮件?哪个员工的异常举动,是任何仪表盘都捕捉不到的?哪位投资者的关系正在升温或恶化?AI接管的常规工作越多,这些问题反而越重要。

真正稀缺的不是信息,而是注意力

企业掌握的数据早已超出员工的处理能力,客户数据、财务数据、运营数据、行为数据,应有尽有。真正稀缺的,是人的注意力。假设现在有位正在融资的创始人,他既要经营公司,又要维护数百个投资者关系。传统软件只能告诉他“何时联系过谁”这类事实性问题,却无法解读关系背后的信号:那个每次都认真跟进的投资者,怎么突然没了动静?另一位又为何突然开始花大量时间研读某个特定市场的资料?AI可以协助解读这些变化背后的含义,让这位创始人知道投资者是信心增强了,还是兴趣减退了。但它仍然无法告诉这位创始人,接下来该怎么做。

我在罗斯柴尔德集团旗下雷德本大西洋证券(Redburn Atlantic)负责企业准入和股票研究路演时,对此就有切身体会。光看“何时联系过谁”这种记录,远远不够。真正重要的关系,是由那些懂得判断哪次互动不能只靠自动化触达、必须亲自跟进的人,一手建立起来的。也正是这些关系,在雷德本被罗斯柴尔德收购的过程中,发挥了关键作用。

在我开始创办Bridge IR时,第一感觉完全找错了方向,当时满心想的是开发一款能替创始人思考、行动的系统。直到我访谈了一批创始人,亲眼看到什么工具能真正帮到他们时,才意识到这条路走错了。他们要的不是一个替他们拍板的平台,而是一个能读懂关系中隐含信号、抓住重点、在恰当引导下将其传递给对应人员的平台,这也正是我们设计Bridge IR的底层逻辑——读懂并呈现关系里的信号,但不替人拍板。AI 可以识别趋势、发出信号(比如信心升温、参与度回落)。但它不能决定采取何种应对措施,比如现在是该打电话、发邮件,还是暂不行动,即便相关人员决定行动,也不会由AI来决定该说些什么。这并非细枝末节,而是关乎“结果决定权究竟在谁手里”这一根本问题。

让人参与决策,不能只是走个过场。

我们很容易图省事,把人类放在流程末端,等系统做出决定、形成建议、启动行动后,再点一下“批准”。这不过是挂名的负责。人要想真正参与决策之中,必须在结果还能改变,也就是系统把选择范围缩小到只剩一个之前,就及时介入。世界经济论坛2026年关于智能体AI的研究也提出过类似观点——组织交给智能体的权限越多,越需要把规矩定清楚,全程持续监控、落实责任,而不是事后补救。

这也促使我们重新思考,到底该怎么衡量AI的价值。我们习惯于计算省了多少小时、实现了多少任务的自动化。但Anthropic《2026年AI智能体现状报告》(2026 State of AI Agents Report)发现了一个更有启示意义的信号:许多组织报告称,在智能体接管日常事务后,员工把更多时间花在了战略性工作和关系维护上,66%的受访者称,自己把更多时间花在了战略性工作上,60%受访者称,自己把更多时间花在了维系关系上。因此,真正值得问的不是“省了多少小时”,而是“AI释放出来的注意力,企业用来做了什么?”如果只是腾出空间做更多自动化产出,那收益不过是小幅增加;如果让人有余力去建立关系、在真正需要判断的地方做判断,那价值就会越滚越大。

AI进入下一阶段,真正能胜出的企业,不会是那些把人从最多流程里剔除的公司,而是那些最清楚哪些判断非人不可、并能据此设计系统,在还来得及干预时把决策权交至人类手中的企业。

从这个意义上说,治理不是跟在创新后面补的流程,它就是架构本身,什么能访问、什么可自主执行、什么必须上报、人何时接管,都由它来决定。我们的目标不是让AI变成无法行动的摆设,而是让AI配得上我们赋予它的权限。(财富中文网)

泰伊·E·博林是Bridge IR公司(Bridge IR Co.)创始人兼首席执行官(CEO)。这是一家专注于关系智能与AI驱动型投资者互动的投资者关系技术公司。泰伊曾在罗斯柴尔德·雷德本(Rothschild & Co. Redburn)以及美国商会(U.S. Chamber of Commerce)等机构任职,在资本市场、投资者关系、高管运营及公共政策领域拥有多年经验。

Fortune.com上评论文章中表达的观点仅代表作者个人观点,并不代表《财富》杂志的观点和立场。

译者:梁宇

审校:夏林