当Agent需要逐一调用多个API才能回答用户问题时,效率与成本成为瓶颈。本文通过一个真实案例,揭示如何通过封装中间层将决策次数从多次降为一次,从而让Agent“少想几步”。作者还从传统分层架构的视角,剖析了AI时代模型作为新前端对聚合层的必然需求,并给出了三条实用的封装原则。

——让 Agent 少想几步,效率自然就上去了

工作中的一个实例场景

最近在做接入第三方API接口的需求,目前我们的平台已经能够支持用户按自己的需要将多个API接口直接打包成一个MCP接口,直接通过AI助手调用。

最初的想法是直接将所提供的API接口都接回来,由用户根据需要打包MCP接口,这样的方式可以更加灵活。但是在沟通的过程中发现,用户更希望直接用一些现成的东西去执行他所需的业务流程。直接交付原子API的时候,用户得自行判断哪些接口该放一起、工具叫什么名字、描述怎么写等等一系列问题。另一方面,用户组装的API接口本质上并没有减少agent的思考。

举个简单的例子:假设用户自己组装的MCP接口包含“实时行情、历史日K、历史分钟K”3个API,在接收到query时(比如:机器人概念和固态电池概念今天表现怎么样?各自涨了多少?),Agent思考过程中需要先判断走哪个服务,再需要逐一调用这3个API接口的详情并判断是否能够回答用户的问题,怎么回答。

我们把设计决策推给了用户,用户又把它推给了模型。

于是我们调整了实现方案,考虑在技术层面直接先封装一层API接口,再将中间层给出去。这样做有什么好处?还是上面这个例子,我们把“实时行情、历史日K、历史分钟K ”合成一个“行情”API接口。在接收到query时(比如:机器人概念和固态电池概念今天表现怎么样?各自涨了多少?),Agent 只需要判断一次,确定“这是行情问题”就可以决定用哪个服务,具体调哪个底层能力,由API A接口内部再路由分发。

底层能力一模一样,差别只在Agent决策发生在什么时候。前者需要逐一去调用判断,后者仅需要做一次决策,在这个过程中,agent每少想一步,消耗的时间和token就会变少一些,相应的速度和效率也会有所提升。

一些思考

这个优化调整的方案,让我想起了在AI时代之前传统需求的实施方案。

在以往的接口设计中,尤其是提供给第三方使用的接口,JAVA后端是不会把 DAO (数据访问层)直接暴露给前端,中间要有一层 Service (服务层)组合业务用例,对外由 Controller (控制层)暴露用例而不是数据表。

移动时代又加了一层 BFF(Backend For Frontend,前端展示需求的专属服务端承接层),同一套领域服务,给 Web、iOS、小程序各做一个聚合层。

到了Agent 时代,又多了一个新前端,它叫模型。它同样需要自己的聚合层。

当我们按用户意图把接口封了一层(比如,将实时行情、日 K、分钟 K 合成一个”行情”入口),实际上也是做了聚合层的工作。

这么看来,很多东西的只不过是使用的对象变了,底层逻辑依旧是相似的,只是在新的时代可能会以新的形态展示。

封装遵循的原则是:

  1. 按用户意图合并api,且分发逻辑极简(比如枚举分发、按类型分发)
  2. 若串行使用api,中间结果本身就是交付物就要拆开,否则合并
  3. 若api的入参出参差异过大,合并难度变大,也拆开

当然我们现在担心的另外一个点是加多了这一层封装之后,模型能否按照我们预期的方向执行,Agent 的能力上限由模型决定,还需要在后续的工作实践中再进一步检验。

本文由 @闪耀的曙光 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议