今年夏天，数百个 OpenAI 智能体在一次网络安全测试中试图。它们突破了测试环境的限制，成功入侵了 Hugging Face 网站，因为它们认为那里藏有关于测试评分标准的线索。几乎在同一时期，另一个 OpenAI 智能体还访问了澳大利亚政府网站上的私人文件。
这类问题绝非 OpenAI 独有。在此后的几个月里，Anthropic、Google 和 Meta 也相继披露了各自智能体偏离预定轨道的事件。更令人担忧的是，在许多情况下，这些智能体甚至成功躲过了负责监控它们的研究人员和安全团队的监测。
AI 智能体正在采取未经授权的行动，而开发和部署这些智能体的公司，大多只能依靠运气和事后补救来减轻潜在危害。它们必须采取更多措施来保障安全。
这也是为什么欧盟监管机构和美国相关部门都在呼吁智能体开发者和部署者对智能体进行实时监控，而这一要求显然是合理的。但这些监管规定有一个前提：企业能够看清智能体正在做什么，以及它们为什么这样做。现实情况却是，企业目前还缺乏足够的可视性。
不妨设想，一家银行
随着 AI 智能体逐渐进入金融、政府和医疗等关键领域，我们必须能够对它们进行实时监控，以防止可能造成广泛影响、甚至灾难性后果的事件发生。安全离不开监控，而有效监控又依赖于可观测性（observability）：系统能够捕捉自身执行过的操作，将这些信息转化为可识别的信号，并呈现给人类或自动化监督系统。换句话说，我们需要知道智能体做了什么，以及它为什么这样做。
然而，正如我们最近的一项研究所揭示的，目前主流的智能体框架，也就是运行智能体的软件系统，并不能可靠地生成这些关键的可观测性记录，而这些记录恰恰是确保智能体安全部署所必需的。
与单纯的生成式 AI 相比，智能体带来了全新的问题。它们继承了底层大语言模型（LLM）的不可预测性，但两者之间存在一个重要区别：生成式 AI 系统通常只向人类提供一个输出结果，由人类决定如何采取下一步行动；而智能体执行的是更长、更复杂的任务——它们会制定计划、选择工具、创建子智能体，并自主采取行动。
因此，一个智能体的实际行动路径可能以许多不同的方式展开。无论在正式部署前进行多少测试，都不可能完全预见其中的风险。这使得在智能体运行过程中对其进行观察变得更加困难，也更加重要。
我们与来自学术界、民间社会和产业界的同事合作，对目前应用最广泛的四种智能体框架进行了研究，考察它们实际上能够输出哪些监测信号。研究发现，这些框架存在重大缺陷，使得一些关键安全目标难以实现，例如及时发现违反政策的行为、未经授权的操作，甚至是人类监督环节本身的失效。
一些关键的可观测性要求尚未得到满足。例如，系统缺乏能够长期保持一致的智能体 ID，也缺少记录哪些人类人员批准了智能体任务的信息。这使得我们很难判断究竟是哪个智能体执行了什么操作，也难以评估它们是否采取了未经授权的行动。
好消息是，一旦明确了这些缺口，就有办法弥补。首先需要建立两类记录：一类记录智能体运行过程中发生了什么，另一类记录智能体是如何作出决策的。
第一类是过程记录（what happened）。它们需要在保护隐私的前提下识别智能体身份，同时记录人类何时介入，以及智能体的权限或“记忆”是否发生变化。第二类是决策记录（how the agent decided）。它们需要呈现智能体的推理过程，以及智能体对自己所采取行动的信心水平。
以一家银行使用智能体处理抵押贷款申请为例。系统审核一份贷款申请后，建议拒绝该申请，随后由一名人工信贷专员批准这一决定。在之后的审计中，甚至是在实时监管过程中，银行或监管机构都需要能够还原整个决策过程：究竟是哪个智能体作出了这一判断？哪位信贷专员批准了决定？他们分别花了多长时间？
此外，银行还必须分析智能体作出拒贷决定的过程记录，以确保它没有使用不被允许的信息，例如申请人所居住社区的相关信息。记录“发生了什么”和“智能体如何作出决策”，需要采用不同的方法，但两者都可以实现。
目前，“发生了什么”这类记录之所以缺失，主要是一个软件底层工程问题，可以通过 OpenTelemetry 来解决。OpenTelemetry 是一种开放的可观测性标准，由来自整个行业的工程师共同维护，并逐渐被各类智能体框架采用。
OpenTelemetry 已经成立了一个工作组，正在起草用于追踪智能体运行过程的通用数据格式，但这些标准尚未最终确定。该工作组应当尽快将以下标准纳入其中：如何维持智能体身份的长期一致性，以及如何记录人类的介入行为、智能体权限或记忆的变化。这项工作应当在这些系统大规模部署之前完成，同时还必须充分考虑智能体 ID 可能带来的隐私问题，尤其是当 ID 能够关联到现实中的具体个人时。
相比之下，保留“智能体如何作出决策”的记录要困难得多。这一问题也为模型提供商和研究人员提出了一系列尚待回答的研究问题：模型展示出来的逐步推理过程，也就是所谓的“思维链”（chain of thought），是否真的反映了模型实际作出决策的过程？我们是否有可靠的方法来衡量智能体对自身决策的信心程度？
在明确这些问题之前，我们还无法制定关于如何使用此类可观测性记录的统一标准。没有任何一家机构或单一行业能够独自弥补这些可观测性缺口，但各方可以携手建立必要的基础设施，从而防范危险事件的发生，并为 AI 安全提供支持。
开发智能体框架的 AI 企业，包括 OpenAI、Anthropic、CrewAI 和 LangChain，都必须将遥测信号（telemetry signals）整合到系统中，记录智能体长期稳定的身份信息、人类的介入行为，以及智能体权限和记忆的任何变化。
与此同时，采用这些智能体框架的企业也能发挥重要作用。尤其是在银行、医院等受到严格监管的行业，企业可以向智能体开发者施加压力，要求他们提供目前缺失的可观测性记录，即使相关标准尚未建立，也应当如此。
企业还必须制定明确的政策、权限和职责分工，规定智能体可以安全执行哪些操作。因为仅靠遥测数据，并不能判断智能体是否违反了某项具体规则。最后，监管机构和 AI 标准制定机构必须明确高风险 AI 应用所需的可观测性记录，同时将具体技术细节交由产业界解决。
目前，我们已经看到一些初步进展。例如，美国国家标准与技术研究院（NIST）正在推进一项智能体标准化计划，其中就包括研究智能体身份问题。这恰恰是我们在研究中发现的最突出缺口之一。
没有哪家银行会允许 1000 名没有身份标识的员工随意访问客户账户，然后寄希望于出了问题之后再拼凑出事情的经过。然而，这正是我们目前部署 AI 智能体的方式。
让智能体的行为变得可观测，是解决这一问题的第一步。而通过建立相应的监管和政策体系，确保我们能够根据观察到的信息采取行动，我们才能真正追究相关组织的责任。
在此之前，每当我们把一项任务交给智能体时，也就同时让渡了自己的一部分自主权。
原文链接：
https://www.technologyreview.com/2026/10/29/1147824/monitor-ai-agents-actions-real-time/
