SuperCLUE 用端到端任务把 8 款国内办公 Agent 拉了一遍横测,豆包工作以 85.33 分拿下总榜第一,文档处理单项领先第二名近 5 分。作者结合自己每天在飞书里的用法,拆了拆这份榜单。

今天周六,不给大家整教程,也不聊什么技术细节了。这篇简单聊聊,就当唠唠嗑~

前两天刷到SuperCLUE发的一份办公智能体测评:SuperCLUE-Office

Image

他们一口气拉了8款国内主流办公智能体进行横测:豆包工作、Kimi Work、WorkBuddy、百度搭子、千问办公、商汤小浣熊、讯飞星火工作、纳米Work。

结果是,豆包工作以85.33分拿了总榜第一。Kimi Work第二、workbuddy第三。

Image

其中文档处理这一项,豆包工作拿到了87.12分,领先第二名将近5分。

Image

这5分是什么概念呢?前四名的总分,从第二到第四一共才差了1.96分,大家咬得非常紧。在这么卷的局面里,单项能拉开快5分,在这份榜单里还是挺显眼的。

SuperCLUE也表示,文档处理是办公智能体落地日常办公最重要的能力模块。

确实是,你回想一下自己的一天,写方案、改合同、整理纪要、出周报,有多少时间是花在文档上的?几乎所有吧。

然后我好好研究了一下这个榜单,我觉得还是有点东西的。

先简单说下SuperCLUE是啥。

它背后是CLUE,中文语言理解测评基准,2019年就开始做中文大模型的测评了,在中文NLP圈算是老牌机构。

这几年很多国内厂商发新模型,发布会上都会放一张SuperCLUE的成绩。

Image

不过让我觉得这次靠谱的,主要还是它的测法。

第一,它是端到端的。

不是选择题,也不是问答题,而是直接给你一堆真实文件,让Agent们交付一个能打开、能继续编辑的Word、PPT或者Excel出来。

我看了它公开的一道例题:扮演市场监管部门的负责人,给4份附件(两份发布稿、两份不合格明细表,其中一份还是老格式的.xls),要求交一份8到10页的可编辑Word月报,封面、目录、执行摘要、行动表一样不能少,百分比的小数位还得全文统一。

Image

这看起来好熟悉啊,这不就是很多打工人熬夜做的那些事儿吗。。

内容挺多,感觉好复杂。但是很真实了。

第二,评分非常细。每道题都五档评分细则。

Image

而且,编数据会倒扣分,最多扣4档。

这一点非常有必要,办公场景里最怕的就是AI一本正经地瞎编,到时候一个一个核对,说不定最终还要花更多的时间去纠错🤣。

第三,交付物先过一遍脚本,检查格式、页数、能不能打开,再由裁判模型按细则逐条打分(用的是Claude Code框架接入的裁判模型)。超过2小时还没有有效输出的任务,直接算失败。

Image

一直以来,我的文档,各种资料,协作都在飞书上,自从飞书和豆包工作完全打通后。处理文档更丝滑方便了。

然后9月份,豆包工作刚出来那会儿,我跟几个好朋友肝了7天开源了《豆包工作蓝皮书》。

Image

写蓝皮书的那段时间,也是我重度使用豆包工作的时候,各种办公场景,几乎都拿它跑过。

比如说整理会议纪要。要求提取决议事项、行动项和责任人。

我上线会很多。经常都是直接让豆包工作读当天的会议纪要,把待办建成飞书任务,截止日期按会议结论来设。它会先把清单发给我过目。

Image

再说多文件规划与执行。我加了个行业交流群,一天几百条消息,两天没看就得爬楼。我让豆包工作把最近7天的群聊按动态、观点、实操、选题分好类,放进我的飞书文档库。

Image

而且有件事我都没要求,它自己就做了:群里出现过的文档和链接,它翻了出来,挂回了对应的讨论下面。

还有批量处理这种Excel表,也是手拿把掐~

Image

我个人觉得它文档能领先这么多,可能有两个原因(我瞎说的)

第一个原因,是飞书。

巧妇难为无米之炊。模型再聪明,也只是厨子,你得有米。

我所有的文章和资料,上下文基本都沉淀在飞书里,有多维表格,也有很多文档。在我看来,飞书就像一个分好格子的米缸:文档、表格、妙记、群聊、日历、任务都在一处,权限也分得清清楚楚。

自从飞书跟豆包工作打通之后,我觉得目前操作飞书最丝滑的,还是豆包工作。

所以我现在经常让它直接去操作飞书,帮我把活干了。

可能是豆包模型有大量的专门针对飞书文档的操作训练,使豆包模型在文档方面更强了(瞎猜的)。

第二个原因,是字节在Agent这件事上起步很早。

Trae是2025年初发布的,算是国内最早的一批AI编程工具,后来做了SOLO,本质上其实就是一个桌面端Agent,到现在快两年了。

老粉应该知道,我2025年2月写Trae的时候,就在用它写稿了,不只是写代码。

所以我一直觉得,编程Agent和办公Agent,底子其实是一套东西:

读文件、拆任务、调工具、做完自己检查一遍。最开始大家做WorkAgent的时候,很多就是在原来的CodingAgent上硬加了一个Work入口,表面上可以切换Coding Agent和Work Agent,但其实根本没区别🤣。

庄子说,水之积也不厚,则其负大舟也无力。工程上的东西没有捷径,坑都是一个一个踩出来的。

所以我觉得,豆包工作身上是有很多Trae在工程上的积累的。

「最后」

坦白说,一次测评说明不了全部,我自己平时也在用好几款Agent,各有各的优势。

而且现在我感觉国内办公Agent好卷呀,我感觉每天都在升级,基本上打开遇到要更新的频次很高。

但说到底,神仙打架,最后受益的还是我们这些普通人。

但不管怎么说,但自己的效率提升才是王道。

所以不必局限某一个工具,像豆包工作文档处理很强,就可以把文档类工作都丢给它。

Codex操作浏览器的能力很强,所以基本上我都会把操作浏览器的活儿丢给Codex。

找出你手头最繁重的活儿,挑一个用着最顺手的搭子,能踏踏实实帮你把事办了,这就比啥都强。

本文由人人都是产品经理作者【袋鼠帝】,微信公众号:【袋鼠帝】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。