TL;DR:语义缓存有两个独立的实现选择:键怎么算、命中怎么判,本文测前者——缓存键的粒度。工程上流传着一个听上去很划算的优化:先用意图分类把查询归到某个类别,拿类别 ID 当键——键更短、命中率更好看、评审也更容易过。但在 847 条真实查询上,这套做法的键碰撞率与错误复用率同为 96.5%,几乎每一次"命中",给出的都是别人问题的答案;加上一层二次校验后,命中率从 96.5% 掉到 1.
综合
缓存键的粒度陷阱:用意图当键,96.5% 的请求拿到的是别人的答案
FreeBuf0 次浏览
原文:https://www.freebuf.com/articles/ai-security/506164.html