上一篇的链路里,大模型只干两件事:看标题勾编号,再根据勾中的正文写答复。

这两件事对模型的要求很不一样。勾选要读完整份标题和摘要,输出往往只有十几个字。作答读的是两三条全文,输出是一段话。所以换模型时,先看的不该是「谁更会聊天」,而是勾选那一次把时间花在了读,还是花在了写。

界面上能直接看见是哪一个模型在干活。同一次发薪问题,过程里写着「调用 Qwen3.6」,答复 5.6 秒回来。理解问题那一行写的是编排,本步不调用大模型。

过程里能看见实际调用的模型

展开勾选,输入框里是 35 条标题挤在同一次请求里,输出只有一个编号。读的篇幅和写的篇幅,在这一屏上是倒过来的。

一次勾选读完整份标题,只写回编号

一把开关

.env 里只改 MYCS_LLM:

glm 智谱 glm-4-flash-250414 ollama 局域网 110 上的 qwen2.5:7b qwen 局域网 175 上的 Qwen3.6 

地址和模型名分开写好,切换时不动它们。qwen 这条指向 http://192.168.10.175:8000/v1,服务上报的模型名就是 Qwen3.6,上下文 262144 token,也就是 256K。改完执行 scripts/restart-dev.sh,问答服务才换过去。

仓库里的示例是:

MYCS_LLM=glm GLM_API_BASE=https://open.bigmodel.cn/api/paas/v4 OLLAMA_BASE_URL=http://192.168.10.110:11434/v1 OLLAMA_MODEL=qwen2.5:7b QWEN_BASE_URL=http://192.168.10.175:8000/v1 QWEN_MODEL=Qwen3.6 

密钥只留在本机的 .env,不进仓库。MYCS_LLM 写成 qwen 或 ollama 时,不会因为本机还留着智谱的密钥就被拉回智谱。

27 秒那一次,慢在读标题

同一本三国演义,50 条问答,问「刘备和关羽什么关系」。qwen2.5:7b 的勾选用了 27.5 秒。它读了大约 3500 个 token 的标题和摘要,只写出 34 个 token,勾了两条。

生成不是瓶颈。整份列表要先被这个 7B 读完,而且当时几乎没有命中提示缓存。

同一类问题交给智谱 flash,勾选多在 1.2 秒到 2.7 秒,有一次同类问题到过 9.6 秒。Qwen3.6 读星河那 35 条并写完答复,发薪这题是 5.6 秒;把顶栏换成三国演义再问关羽、刘备和吕布,是 8.9 秒。

换到 50 条的三国演义,同一次会话 8.9 秒

256K 的窗口装得下这 3500 个 token,并不等于小模型读得动这份列表。窗口够大,解决的是「装不装得下」;7B 的 27.5 秒,解决不了。

三套库,先看叙事,再看制度

11 月 21 日用同一条链路跑了三本已上线的库。三国和权游是智谱 flash。星河先用智谱,改完提示和核对之后又用 Qwen3.6 跑了同一套 13 题。

知识库 条数 模型 计入题数 完全正确 部分正确 答错 总耗时 单题
三国演义 50 智谱 flash 11 10 1 0 84.7 秒 4.4–10.9 秒
权游知识手册 50 智谱 flash 12 11 1 0 82.8 秒 2.8–11.5 秒
星河员工手册 35 智谱 flash,改提示前 13 7 3 3 — —
星河员工手册 35 智谱 flash,改提示和核对之后 13 10 0 3 160.5 秒 平均约 12.3 秒
星河员工手册 35 Qwen3.6 13 11 2 0 95.7 秒 3.3–12.3 秒,平均约 7.4 秒

叙事库在智谱上已经接近能用。三国唯一计入的缺口是灭亡顺序:先蜀、再魏、最后吴说对了,建晋的司马炎那一条没勾上,也没有编一个名字。权游 12 题的标题全部勾对,铁王座只写了龙焰,没写「数千把宝剑」——召回是对的,作答少写了。库外问题都拒了:三国库里问铁王座,权游库里问罗贯中。

「诸葛亮出征骑的什么马」不在上面的 11 题里。库里的坐骑是四轮车,题干先把它说成了马。

星河是另一档。改提示之前,13 题里完全正确只有 7 道。错和半对混在一起,而且两类原因不一样:

现象 例 出在哪一步
该勾的没勾 笔记本丢失、绩效目标、离职事项 勾选。摘要里已经有「设备丢失」、评估周期、归还资产
勾对了,结论写反 发薪补了一句「未检索到银行放假」;年假把 30 天上限当成余额;礼品改成可以收;离职编了一句结清年假 作答。原文已经在上下文里

所以下一刀没有加检索,也没有加向量。改的是作答提示、数量计算,以及核对不再「有条目就算过」。

同一套 13 题,改完之后再比一次

星河 35 条已上线。题从适用范围、发薪、年假,到礼品、离职和年终奖拒答。两次正式对照都是知识库已选定、理解问题不再请求模型。

智谱 flash(改后) Qwen3.6
完全正确 10/13 11/13
部分正确 0 2
答错 3 0
总耗时 160.5 秒 95.7 秒
空召回仍去作答 没有 没有

Qwen3.6 逐题:

# 问题要点 召回 内容 耗时
1 手册适用哪些人 1.1 通过 6.7 秒
2 工资何时到账,银行假日 1.9 通过 5.7 秒
3 结转 8 天后再满一年 1.13、1.14 通过,余额 23 天 12.3 秒
4 账号疑似泄露,最晚何时报告 1.27 通过,2 小时 5.5 秒
5 每周远程 3 天,且周二周四为协作日 1.6、1.7 通过 8.1 秒
6 2 万课程能否直接用学习预算 1.21 通过,超出要审批 6.6 秒
7 1800 礼品,客户要求优先考虑 1.23 通过,不能接受 7.8 秒
8 6 月评估后能否改绩效目标 只有 1.19 部分通过,缺 6 月、12 月 5.2 秒
9 未批准的第三方 AI 分析客户数据 1.26 通过 7.5 秒
10 周五下班笔记本丢失 1.27 通过,2 小时,不用等到下个工作日 6.7 秒
11 手册里的金额限制 1.21、1.23 通过 9.4 秒
12 离职:年假、未报销、笔记本 1.11、1.13、1.32、1.33 部分通过,缺结转上限 10.9 秒
13 年终奖怎么发 空 拒答,没有编规则 3.3 秒

智谱改完提示之后仍错的三道,Qwen3.6 的去向:

  • 笔记本丢失。摘要写的是「设备丢失」。智谱返回空数组。Qwen3.6 勾上 1.27,写出两小时内上报。
  • 绩效目标。智谱连两次都把编号指到「如何举报」(1.34)。那条摘要是举报和禁止打击报复。模型写的理由却说它在讲绩效。我们一度怀疑是提示里新加的一句话带偏的,删掉重测,它仍指 1.34。Qwen3.6 勾回了「业务变更可以调整目标」(1.19),仍少了正式评估那一条(1.18)。
  • 离职。智谱只留下归还资产,还写了一句原文没有的「应结清年假」。Qwen3.6 把提前通知、报销期限、年假和归还资产都勾上了,没有再编那句。报销时限被说成了「必须」,原文没有这个词;结转上限 1.14 没勾上。所以是部分正确,不是答错。

这只说明在这 13 题、这一版提示上,Qwen3.6 更合适,也更快。不能外推成所有问题上它都更好。7B 没有再跑这 13 题:27.5 秒只是勾选,整套会更慢,而且它在「设备丢失」这种换说法上已经空过。

命中条目的题,大模型是 2 次。年假那道是 4 次,因为数量算完还有一次改写。年终奖空召回只有 1 次。运行错误是 0。

踩坑

Shell 里的旧变量会盖住项目。 机器上如果还留着另一套 OpenAI 兼容地址,不先读项目 .env,问答会打到别的网关。启动脚本现在先读 .env,项目里的 MYCS_LLM 为准。

推理模型默认会把 token 花在思考上。 Qwen3 一类接口如果不关 thinking,正文可能是空的,额度耗在思考上,JSON 也解不出来。接 qwen 时沿用已有的做法:兼容接口默认 enable_thinking: false。需要思考再单独打开。

过程面板是为了看见「有没有调用模型」。 理解问题跳过之后,这一步的标签是编排,不是大模型。勾选和撰写才标成大模型,并写上模型名。没有这个区分,会把 5.6 秒误当成「模型想了 5.6 秒」,其实里面还有读库和核对。

提示改了,不代表小模型会照做。 绩效那题把对的事实安到错的编号上,摘要全文就在同一次请求里。再加一句「看摘要」没有改变它的选择。能改的是换一个更听话的模型,或者在它交回编号之后,由程序丢掉摘要和问题对不上的那条。后一种还没做。

代码在 github.com/zealot2002/mycs 的 src/mycs/llm/factory.py。下一篇写这些问答是怎么进库的,以及核对怎样才不会把写反的结论放过去。