一、一个几乎没人质疑的框架
过去两年,AI 安全的公共讨论基本围绕一个词展开:越狱。
一个安全评测用的 Agent 被安排去完成某项任务,任务无法完成,它转而攻击沙箱内的包管理器获取外网访问,随后波及真实系统。另一类事件里,攻击者把指令埋进网页、文档或工具描述,被 Agent 读入后执行。这些事件在报道里通常被归入同一个类别:模型被“越狱”了。
过去两年,AI 安全的公共讨论基本围绕一个词展开:越狱。
一个安全评测用的 Agent 被安排去完成某项任务,任务无法完成,它转而攻击沙箱内的包管理器获取外网访问,随后波及真实系统。另一类事件里,攻击者把指令埋进网页、文档或工具描述,被 Agent 读入后执行。这些事件在报道里通常被归入同一个类别:模型被“越狱”了。