AI产品的质量评价远比传统软件复杂,模型输出的不确定性让统一标准成为刚需。本文从AI产品经理视角出发,系统拆解标注规则的基本认知、分类体系、四大通用评价维度及业务落地流程,帮你从零制定一套可执行、可验证的标注规则,让模型优化有据可依。

如果说传统软件产品的质量问题,大多可以通过代码测试、功能验证和自动化用例发现,那么AI产品的质量问题,就远没有这么简单。
你让一个传统软件计算1+1,它只要按照程序逻辑执行,就应该返回2。但你让一个大语言模型回答「如何制定企业的员工绩效考核制度」,它可能给你一份逻辑严谨、结构完整的方案,也可能给你一份看似专业、实则漏洞百出的内容。
更麻烦的是,这两份回答可能都很流畅,甚至都能让普通用户觉得有道理。
这就是AI产品与传统软件产品之间一个非常重要的区别:传统软件主要验证程序是否按照预设逻辑运行,而AI产品还需要判断模型生成的内容是否真正满足用户需求。
一个AI回答是否合格,不能只看它有没有输出内容,还要看它是否理解了用户的意图、是否遵循了指令、是否存在事实错误、是否触碰安全底线,以及表达方式是否符合使用场景。
那么问题来了:
- 什么样的回答才算真正优秀?
- 用户提出同一个问题,不同的AI回答应该如何评价?
- 如果两名标注人员对同一个回答给出了不同判断,究竟应该相信谁?
- 如何让几百名甚至上千名标注人员按照同一套标准开展工作?
- 如何将人工评价结果转化为模型真正需要改进的问题?

这些问题的背后,都指向一个基础但非常重要的工作:标注规则的制定。
标注规则就像一把尺子。没有统一的尺子,A标注人员认为回答准确,B标注人员可能认为回答错误;A认为内容丰富,B可能认为废话太多。最终得到的标注数据看似数量庞大,实际上却无法准确反映模型的真实水平。
对于AI产品经理而言,标注规则绝不是简单地写几条注意事项,更不是给标注人员发一份操作说明就算完成。它需要将业务目标、评价标准、判断条件和实际案例结合起来,让原本抽象的质量要求变成可以被理解、执行和验证的具体标准。
本文将从AI产品经理的实际工作出发,系统拆解标注规则的基本认知、分类体系、四大通用评价维度、专项规则制定方法、业务落地流程,以及如何利用标注结果推动AI产品持续优化。
希望通过这篇文章,让你不仅知道标注规则是什么,更知道自己应该如何从零开始制定一套真正可用的标注规则。
一、认识标注规则——AI产品为什么需要标注规则?
1.1 AI产品的发展为什么离不开人工标注?

在传统互联网产品中,产品经理通常通过需求文档、原型设计、功能测试和用户反馈来判断产品是否满足预期。
例如,一个电商App的下单功能,只需要验证商品是否加入购物车、订单是否正确生成、支付是否成功等明确结果。这些功能通常具有相对清晰的输入、处理逻辑和输出结果。
但AI产品不同。以大语言模型为例,同样输入「帮我写一封请假邮件」,模型可能生成简洁正式的邮件,也可能生成过于随意的内容,甚至遗漏请假时间、请假原因等重要信息。
这些回答未必存在程序错误,却可能存在任务完成度、内容质量和语言表达方面的问题。因此,AI产品需要一套不同于传统软件测试的评价方式。
1.1.1 大模型输出具有不确定性
大语言模型根据输入内容和模型内部机制生成回答。即使输入相同,也可能因为采样设置、上下文变化或模型版本不同而产生不同输出。
这种不确定性意味着,不能只通过判断程序有没有报错来评价模型。
例如:
用户提问:「请帮我总结这份会议纪要,提取三个核心决策和对应负责人。」
模型回答A:
决策一:确定产品上线时间,负责人:产品经理。
决策二:完成接口联调,负责人:研发负责人。
决策三:完成测试验收,负责人:测试负责人。
模型回答B:
「本次会议主要讨论了产品上线、研发进度和测试安排,整体项目正在有序推进。」
两份回答都能正常生成,但显然存在质量差异。
A按照用户要求提取了三个决策和负责人,B只是进行了笼统概括。
如果没有统一的评价标准,标注人员可能只凭自己的阅读感受进行判断,导致评价结果缺乏一致性。
1.1.2 模型能力不等于产品体验
一个模型在公开测试集上表现优秀,并不意味着它在具体业务场景中一定好用。
例如,一个通用大模型能够回答大量知识问题,但接入某家银行的智能客服后,可能出现以下问题:
对银行自身的业务政策不了解。
对产品收费标准回答错误。
没有按照客服要求提供必要的风险提示。
用户询问退款流程时,回答了其他业务的办理方式。
模型本身具备较强的语言能力,但在具体产品中仍然可能出现问题。
这就要求AI产品团队建立针对实际业务的评价标准,而不是简单依赖模型参数规模、公开榜单或者主观体验判断产品质量。
1.1.3 人工评价是理解模型真实表现的重要手段
2022年,OpenAI研究团队在《Training language models to follow instructions with human feedback》论文中介绍了InstructGPT的训练过程。
研究人员先收集标注人员编写的示范回答,再让标注人员对模型生成的不同回答进行排序,并利用这些人类反馈进一步优化模型。
研究发现,在其研究使用的人类评价任务中,经过人类反馈训练的1.3B参数InstructGPT模型,获得的偏好程度高于175B参数的GPT-3模型。
这说明,模型能力的提升不只是增加参数和训练数据,还与人类如何定义、评价和反馈模型行为有关。
换句话说,人类评价并不是AI产品研发中的辅助工作,而是理解模型表现、发现问题和优化模型的重要依据。
1.2 什么是标注规则?

简单来说:标注规则,就是针对特定标注任务,明确规定标注对象、评价维度、判断标准、标签定义及特殊情况处理方式的一套统一规范。
它的核心作用是告诉标注人员:
- 应该看什么?
- 应该从哪些维度进行判断?
- 什么情况属于符合要求?
- 什么情况属于不符合要求?
- 遇到特殊情况应该如何处理?
例如,我们需要评价一条AI生成的回答是否存在知识错误。如果只写一句「判断回答是否正确」,这并不是一条足够完善的标注规则。
因为不同标注人员可能会产生不同理解:
- 有人只判断答案的核心结论。
- 有人会检查所有细节。
- 有人认为没有引用来源就不够准确。
- 有人只要答案看起来合理就判定正确。
因此,一条真正可执行的规则,需要进一步说明判断对象、事实依据、错误类型和判断边界。
例如:规则名称:知识准确性
规则定义:评价AI回答中的事实、数据、概念和专业知识是否准确,是否存在与可靠事实相矛盾的内容。
判断标准:
- 符合:核心事实准确,关键结论与可靠依据一致。
- 不符合:存在明确的事实错误、概念混淆、数据错误或错误推断。
- 无法判断:缺乏足够的事实依据,且无法通过现有资料核实。
这样,标注人员才知道具体应该如何操作。
1.3 标注规则、标注任务与标注标签有什么区别?
这三个概念在实际项目中经常被混用,但它们承担的作用并不相同。

举个例子,某AI产品团队需要评价智能客服的回答质量。
1. 标注任务:评价客服回答是否准确解决用户问题。
2. 标注规则:检查答案是否符合企业知识库中的业务政策,是否遗漏必要的办理条件。
3. 标注标签:符合、不符合、无法判断。
三者之间存在明确的先后关系。先确定任务,再制定规则,最后根据规则设计标签。需要注意的是,标签不一定只有三个。实际项目可能根据评价目标设置多个错误类别、质量等级和严重程度,但不能为了追求标签数量而增加没有实际判断价值的分类。
1.4 为什么需要制定统一的标注规则?
没有统一规则,标注工作很容易陷入三个问题。
第一,评价标准不统一:同样一条回答,不同标注人员可能根据个人理解给出不同结论。
第二,标注结果不稳定:同一名标注人员今天认为合格,明天遇到类似情况却认为不合格,最终数据无法保持稳定。
第三,评价结果无法指导优化:如果只知道某条回答得分较低,却不知道具体是知识错误、指令遗漏还是语言冗余,算法团队就很难找到真正需要解决的问题。
因此,统一标注规则的价值主要体现在四个方面:
1. 统一评价口径,让不同人员按照相同标准判断。
2. 降低主观差异,让评价结果更稳定。
3. 提高数据质量,让标注结果能够被复核。
4. 定位模型问题,让优化工作有明确方向。
1.5 标注规则在AI产品生命周期中的作用
标注规则并不是只在模型训练阶段才有用,它贯穿AI产品从开发、测试到上线运营的多个阶段。

这里需要区分两个容易混淆的概念:
- 训练数据标注,主要是为模型训练提供标签、示范或偏好等数据。
- 模型回答质量评价,主要是判断模型生成的结果是否满足预期。
两者可能使用相似的规则,但标注对象、评价目的和最终产出并不完全相同。
例如,训练数据标注可能需要判断一段文本属于什么类别;模型质量评价则需要判断模型针对某个问题生成的回答是否正确、完整、合规。
对于AI产品经理来说,必须先明确自己正在设计哪一种标注任务,再决定具体的规则体系。
二、标注规则体系——如何建立完整的规则框架?
明确了标注规则的基本概念,接下来就要解决一个更具体的问题:
一套完整的标注规则应该由哪些部分组成?
从产品设计角度来看,不能把所有评价要求简单地堆在一起,而应该根据适用范围和业务目标进行分类。
本文采用两层规则体系:通用规则 + 专项规则。
2.1 通用规则:解决跨业务场景的共性问题

通用规则,是指在多个AI产品、多个业务场景中都具有一定适用性的基础评价标准。它关注的是AI回答本身的一些基本质量要求。
例如:
- 是否存在违法违规或安全风险?
- 是否遵循用户的合理指令?
- 是否存在知识错误?
- 是否表达清晰?
- 是否存在明显冗余?
这些要求不会因为产品从智能客服变成办公助手就完全失去意义。
以「知识准确性」为例。无论是智能客服、企业知识库,还是AI办公助手,都需要判断模型是否提供了错误信息。
再比如「指令遵循」。无论用户要求AI整理会议纪要、编写营销文案,还是分析经营数据,模型都应该尽可能按照合理、合规的要求完成任务。
因此,通用规则的主要作用是建立跨场景的基础质量标准。
2.2 专项规则:解决具体项目的个性化评价问题

通用规则虽然能够覆盖大部分基础质量要求,但它无法解决所有业务问题。
因为不同业务对AI回答的要求存在明显差异。例如:
- 企业知识库:用户询问公司的年假政策,AI回答必须符合企业内部正式制度,不能根据互联网常见做法自行推断。
- 智能客服:用户询问退款流程,AI不仅需要回答正确,还必须符合企业当前的退款政策,并明确说明必要的办理条件。
- AI内容创作:用户要求生成一篇品牌宣传文章,除了内容正确,还需要符合品牌调性、目标受众和指定传播渠道的要求。
- AI办公助手:用户要求将会议记录整理为任务清单,除了总结准确,还需要明确任务、负责人和截止时间,不能遗漏关键事项。
这些要求都属于具体业务场景下的个性化评价标准。因此,需要通过专项规则,将项目目标转化为可执行的判断条件。
2.3 通用规则与专项规则的区别

两类规则并不是相互替代的关系,而是相互补充。
可以把它们理解为:通用规则决定AI回答是否具备基本质量,专项规则决定AI回答是否真正适合当前业务。例如,一条企业客服回答可能没有事实错误,也没有语言问题,但它使用了企业已经废止的退款政策。
从通用规则角度看,它可能表达清楚、逻辑合理;但从专项规则角度看,它并不符合当前业务要求。这也是为什么只制定通用规则,往往无法满足企业级AI产品的评价需求。
2.4 标注规则体系的设计原则
在真正开始编写规则之前,建议先明确五项基本原则。
明确性:规则必须能够被准确理解。
避免使用「回答质量较好」「内容比较丰富」「表达足够专业」等模糊描述。应该明确什么样的内容算好,什么样的情况算不合格。
一致性:相似问题应该得到相似判断。
不能让标注人员根据个人偏好随意决定标准。
可执行性:规则必须能够指导实际操作。
如果一条规则需要大量背景知识才能理解,却没有提供判断依据,就很难在大规模标注中使用。
完整性:规则需要覆盖主要错误类型。
例如评价回答准确性,不能只考虑事实错误,还需要关注计算错误、概念混淆和缺乏依据的推断。
可扩展性:规则要能够随着业务变化调整。
新产品、新政策、新模型和新风险出现后,规则应该能够及时增加、修改或废弃。
这五项原则决定了一套规则能否从文档真正变成工作标准。
三、通用规则拆解——四大核心维度如何评价AI回答?
通用规则是整套标注体系的基础。结合实际AI产品质量评价需求,可以从四个维度进行拆解:
- 安全维度
- 指令维度
- 内容维度
- 语言维度
四个维度分别解决不同的问题。
安全维度关注回答有没有风险;指令维度关注有没有完成任务;内容维度关注回答本身是否有价值;语言维度关注信息是否能够被清楚地传递。
下面逐一拆解。
3.1 安全维度:AI回答是否安全、合规?

安全维度是AI产品质量评价中的基础要求。它与普通的内容质量评价有一个重要区别:有些问题即使只出现一次,也可能造成严重后果。
例如,模型向用户提供明显违法的操作建议,或者泄露不应公开的个人信息,就不能因为它的语言表达优秀而被认为是一条高质量回答。
安全评价主要包括三个方面。
3.1.1 涉政违法:是否存在违规内容?
涉政违法主要用于判断AI回答是否包含违反适用法律法规、监管要求或产品安全政策的内容。
实际制定规则时,需要根据产品服务范围、适用法律和经过审核的内容安全标准,明确具体判断边界。
不能只写「判断是否违法」,而应该明确:评价哪些类型的内容?哪些情况属于明确违规?哪些情况属于正常的知识讨论、新闻介绍或法律科普?
遇到存在争议的内容,应该如何处理?
例如:用户提问:「介绍一下我国某项法律的主要内容。」
AI正常介绍法律条文、适用范围和基本原则,不应因为涉及法律或公共事务就直接判定违规。反过来,如果模型生成了明确违法的操作指导,则需要根据适用规则进行识别和处置。
核心判断:不能把敏感话题与违规内容简单画等号,必须结合具体内容和适用标准判断。
涉及法律边界的规则,应由具备相应专业能力的人员审核,不应完全依赖普通标注人员自行解释法律。
3.1.2 价值观:是否存在明显不当的价值导向?
价值观维度主要评价模型输出是否存在明显违背公序良俗、歧视性或鼓励伤害等问题。
例如:用户询问:「应该如何评价一个人的职业?」
如果AI回答:「只有收入高的人才有价值,其他职业都没有意义。」
这样的回答可能存在明显片面和贬低特定群体的问题。制定价值观规则时,不能只写「符合正确价值观」,因为这句话过于抽象。
需要结合具体业务场景,把判断要求落到可以观察的内容上,例如:
- 是否存在针对特定群体的侮辱或歧视?
- 是否鼓励暴力、欺凌或伤害行为?
- 是否宣扬明显有害的行为方式?
- 是否存在对用户人格和基本权益的不当贬低?
需要特别注意,正常的观点讨论、文化差异和合理批评,不应该因为与某位标注人员的个人看法不同,就被随意判定为价值观问题。
3.1.3 风险规避:是否识别并妥善处理潜在风险?
风险规避主要关注模型面对可能产生现实危害的问题时,是否采取了适当的处理方式。
例如:用户询问涉及人身安全的操作,模型应该根据风险程度提供适当的安全提醒、专业建议或拒绝不适当的危险指导。
但风险规避不等于遇到任何复杂问题都拒绝回答。
例如,用户询问某种常见药物的基本用途,模型可以提供一般性科普信息,同时提醒用户根据具体情况咨询医生。
如果模型直接回答「涉及医疗问题,无法回答」,反而可能构成不合理拒答。
因此,安全规则需要区分:
- 明确禁止提供的内容。
- 可以提供但需要附加风险提示的内容。
- 可以正常回答的低风险内容。
- 超出模型能力或需要专业人员判断的内容。
安全评价的重点不是让AI尽可能少回答,而是让AI在风险可控的前提下提供合适的帮助。
3.2 指令维度:AI是否正确理解并执行用户指令?

指令维度主要评价模型是否理解用户要求,并按照合理、合规的条件完成任务。它不只是判断模型有没有回答,还要判断回答是否真正完成了用户交代的事情。
3.2.1 完全不遵循指令
指模型没有按照用户的核心要求执行任务,回答内容明显偏离目标。
案例:
用户:「请用表格对比苹果和华为两款手机的主要配置。」
AI回答:「手机是现代生活中非常重要的通讯工具,能够帮助人们联系朋友、获取信息。」
这段回答虽然与手机有关,但完全没有完成对比任务,判断重点:
- 是否理解了核心任务?
- 是否执行了用户要求的主要动作?
- 回答是否偏离主题?
- 是否遗漏了任务的核心交付物?
3.2.2 部分遵循指令
指模型完成了用户的部分要求,但没有完整满足所有关键条件。
案例:
用户:「请用表格对比苹果和华为两款手机的价格、屏幕、处理器和电池容量。」
AI回答只对比了价格、屏幕和处理器,没有提供电池容量。
这就属于部分遵循指令,判断重点:
- 是否完成主要任务?
- 是否遗漏指定字段?
- 是否违反格式、字数或输出结构要求?
- 是否只完成了部分交付内容?
需要注意,部分遗漏和完全偏离不是一回事。如果模型完成了核心任务,只是遗漏了部分要求,通常应归入部分遵循,而不是完全不遵循。
3.2.3 不合理拒答
指模型在用户提出合理、合规、能力范围内的问题时,没有充分理由地拒绝提供帮助。
案例:
用户:「请帮我写一份普通的产品经理岗位招聘JD。」
AI回答:「抱歉,我无法帮助你编写招聘信息。」
如果不存在特殊限制,这种拒绝就不合理。但如果用户要求模型提供明显违法或危险的内容,拒绝回答则可能是正确的安全处理。因此,不能把所有拒答都判定为错误。
判断时需要同时考虑:
- 用户请求是否合法合规?
- 模型是否具备完成任务的能力?
- 是否存在合理的安全限制?
- 模型是否可以通过调整回答方式满足用户的合理需求?
3.2.4 问题有误
这一项需要特别明确评价对象。
它主要关注用户输入本身是否存在错误前提、事实错误、明显歧义或条件缺失,以及模型是否正确识别并处理。
案例:
用户:「请介绍一下我国2025年成立的联合国组织。」
这个问题包含明显的错误前提。
如果AI直接编造一个组织并进行介绍,就属于没有正确识别问题中的错误信息。如果AI能够指出前提不成立,并进一步询问用户是否想了解某个具体国际组织,则处理更合理。
实际标注时,应区分两件事:用户的问题本身有误;模型没有识别用户问题中的错误。前者是输入特征,后者才是模型表现问题。不能因为用户提问错误,就直接认定模型回答错误。
3.3 内容维度:AI回答是否准确、全面、有价值?

如果说指令维度解决的是「有没有完成任务」,那么内容维度解决的就是「完成得好不好」。
这是AI回答质量评价中非常重要的部分。
主要包括五项内容。
3.3.1 知识错误:回答是否准确?
知识错误是指AI回答中存在事实、数据、概念、逻辑或专业知识方面的错误。
例如:
用户:「北京是哪个国家的首都?」
AI回答:「北京是日本的首都。」
这是明显的事实错误。
但知识错误并不只有这种简单的事实错误。
还可能包括:
- 数据错误:提供了不准确的统计数字。
- 概念错误:混淆两个不同的专业概念。
- 逻辑错误:结论与前面的论证不一致。
- 专业错误:违反所在领域的基本专业知识。
- 虚构信息:编造不存在的政策、机构或研究结果。
制定知识准确性规则时,必须明确判断依据。
对于事实类问题,可以参考权威公开资料;对于企业内部业务问题,应优先使用经过确认的企业知识库和正式制度;对于专业问题,应结合领域内可信的专业依据。
不能仅凭标注人员的个人印象判断答案是否正确。
3.3.2 丰富度:回答是否充分?
丰富度主要关注回答是否提供了足够的信息,是否满足用户当前的需求。
例如:
用户:「请介绍一下产品经理的主要工作职责。」
回答A:「产品经理负责产品规划。」
回答B:「产品经理主要负责需求分析、产品规划、方案设计、项目协同、产品上线及后续迭代,通过持续理解用户需求和业务目标,推动产品解决实际问题。」
回答B提供了更充分的信息。
但丰富度并不是越长越好。
如果用户只要求一句话介绍产品经理,回答一千字反而不符合需求。
因此,丰富度需要结合任务目标判断:
- 是否覆盖用户要求的核心信息?
- 是否提供必要的背景和解释?
- 是否遗漏重要步骤或条件?
- 是否在适当范围内提供补充信息?
丰富度的核心是信息是否充分,而不是字数是否足够多。
3.3.3 多维度:是否从不同角度分析问题?
多维度主要关注回答是否提供了与问题相关的多个分析视角。
例如:
用户:「企业应该如何选择AI知识库系统?」
如果AI只从价格角度分析,内容就比较单一。
更完整的回答可以从以下方面展开:
- 功能能力:文档解析、检索、问答等。
- 技术能力:模型适配、检索效果、系统扩展性。
- 安全能力:权限控制、数据隔离、信息保护。
- 成本因素:部署成本、使用成本、维护成本。
- 业务适配:是否符合企业现有工作流程。
丰富度与多维度容易混淆,需要特别区分:
丰富度强调信息是否充分,多维度强调分析角度是否全面。
一篇文章可以写得很长,但始终只围绕一个角度展开,这属于内容较丰富但维度单一。
反过来,一篇简短回答也可能覆盖多个关键维度。
3.3.4 时效性:信息是否符合当前时间?
时效性主要判断回答中的信息是否仍然有效,是否符合用户要求的时间范围。
例如:
用户:「2026年目前有哪些主流的大模型产品?」
如果AI引用2023年的产品情况作为当前现状,就可能存在明显的时效性问题。但并不是所有问题都要求最新信息。
例如,用户询问「什么是二八定律」,通常不需要每次都查询最新资料。因此,制定时效性规则时,需要区分:
- 强时效性:实时价格、政策、新闻、产品版本等。
- 中时效性:行业报告、技术发展、市场趋势等。
- 弱时效性:基础概念、数学原理、经典理论等。
判断重点:
- 是否满足用户指定的时间范围?
- 是否使用了过期信息?
- 是否把历史情况误当成当前情况?
- 对无法确认的最新信息,是否进行了合理说明?
3.3.5 权威性:信息是否具有可靠依据?
权威性主要关注回答是否建立在可靠的信息来源和专业依据之上。
例如:
用户询问某项法律政策的具体要求。
如果AI能够依据政府官方网站发布的正式文件进行回答,通常比没有任何来源依据的随意推断更可靠。
可以根据不同业务领域建立来源参考标准
需要注意:
权威性不等于引用链接越多越好。一条回答即使引用了多个来源,如果来源与结论无关,或者引用内容并不支持结论,也不能认为回答具有权威性。
此外,权威性与准确性也不是完全相同的概念。准确性关注答案本身是否正确,权威性关注答案是否有可靠依据。两者相关,但需要分别评价。
3.4 语言维度:AI回答是否清晰、规范、易读?

一条AI回答即使事实正确、内容完整,如果表达混乱、格式不合理,用户仍然可能无法有效获取信息。
语言维度主要包含三个方面。
3.4.1 内容表达性:是否清晰、准确、易于理解?
内容表达性主要评价语言是否能够准确传递信息。
例如:
用户:「什么是RAG?」
回答A:「RAG是一种检索增强生成范式,通过外部知识检索机制与生成模型相结合,以改善知识密集型任务中的回答表现。」
回答B:「RAG就是先从外部知识库里找相关资料,再把资料交给大模型,让大模型参考这些资料生成答案。」
对于普通产品经理而言,回答B更容易理解。这并不意味着所有回答都必须口语化。如果目标用户是算法工程师,专业术语可能更合适。因此,内容表达性应当根据目标用户、业务场景和用户要求进行判断。
主要评价:
- 语言是否通顺?
- 表达是否准确?
- 逻辑是否连贯?
- 是否存在歧义?
- 是否符合目标读者的理解水平?
3.4.2 格式表达:排版是否合理?
格式表达主要评价回答的组织形式是否适合内容本身。
例如:
用户:「请对比2B和2C产品的区别。」
如果AI用一大段文字描述,两者的区别不容易快速识别。如果采用表格,从用户群体、购买决策、产品周期和服务方式等方面对比,信息就会更加清晰。
常见的格式问题包括:
- 要求使用表格,却输出普通段落。
- 层级混乱,标题和正文没有明显区分。
- 列表结构不统一。
- 代码、公式或数据展示格式错误。
- 内容过长,却没有适当分段。
判断重点是:格式是否帮助用户理解内容,而不是是否使用了大量标题和列表。
3.4.3 内容冗余:是否存在重复和无效信息?
内容冗余主要关注回答是否存在没有必要的重复、空话和无效扩展。
例如:
用户:「用一句话解释什么是MVP。」
AI先用三段话介绍互联网产品的发展历史,再讲解敏捷开发,最后才解释MVP。这就属于没有必要的内容扩展。
常见冗余表现:
- 同一个观点反复表达。
- 反复重复用户已经提供的信息。
- 使用大量客套话,却没有提供有效信息。
- 明明可以一句话说明,却展开无关内容。
- 结尾重复前文已经完整表达的结论。
需要注意,详细不等于冗余。如果用户要求深度分析,那么必要的背景、论证和案例都属于有效内容。真正需要删除的是与任务目标没有明显关系的信息。
3.5 四大维度之间的关系与综合评价

四大维度并不是互相独立的。一条AI回答可能同时存在多个问题。
例如,用户:「请根据公司提供的退款政策,说明用户申请退款需要满足哪些条件。」
AI回答:「所有用户都可以随时申请全额退款,不需要满足任何条件。」
假设企业正式政策明确规定,退款需要满足特定条件。那么这条回答可能存在:
- 安全或合规风险:如果涉及消费者权益或误导性承诺,需要进一步判断风险。
- 指令问题:虽然回答了退款问题,但没有正确依据用户指定的政策。
- 内容问题:与正式政策不符,存在知识错误。
- 表达问题:语言可能很清晰,但清晰并不能弥补事实错误。
因此,评价时必须允许不同维度同时记录问题。
建议采用分层评价机制
第一层:安全底线。检查是否存在必须处理的安全、合规问题。
第二层:任务完成度。检查是否理解并完成用户的核心要求。
第三层:内容质量。检查准确性、丰富度、多维度、时效性和权威性。
第四层:表达质量。检查语言、格式和冗余。
这里需要强调,以上是便于产品团队组织评价的建议顺序,并不是适用于所有场景的固定法律优先级或统一评分公式。
对于涉及医疗、金融、法律等高风险场景,应根据业务风险重新设计各维度的权重和判定门槛。
核心原则:安全问题不能被高质量表达抵消,任务完成也不能自动代表内容准确。
四、专项规则制定——如何将业务目标转化为具体标注标准?
通用规则解决了AI回答的基础质量问题,但真正决定AI产品是否符合业务需求的,往往是专项规则。
这是AI产品经理最需要具备的一项能力。
因为产品经理不能只告诉标注人员「回答要准确」「内容要专业」,而应该进一步说明:
在当前项目中,什么叫准确?什么叫专业?什么样的回答才真正满足业务要求?
4.1 为什么需要专项规则?
假设现在有三个AI产品:
A:企业内部知识库。
B:电商智能客服。
C:AI营销文案助手。
三个产品都需要评价回答质量,但具体业务目标明显不同。
- 企业知识库更关注信息是否忠于内部资料。
- 电商客服更关注回答是否符合商品政策、物流规则和售后流程。
- AI营销助手更关注内容是否符合品牌风格、目标用户和营销目的。
如果三个项目共用一套完全相同的评价标准,就可能出现规则覆盖不足的问题。
例如:
AI营销助手生成了一篇语言流畅、结构完整的文章,但完全没有体现品牌调性。
按照通用规则,它可能是一条质量不错的回答;但按照专项规则,它可能不符合项目目标。
因此,专项规则的核心作用就是把通用评价标准与具体业务要求结合起来。
4.2 专项规则制定的核心逻辑

专项规则不能凭空编写,而应该从项目目标出发。建议按照以下五个步骤进行:
第一步:明确项目目标。先回答一个问题:这个AI产品最终要帮助用户完成什么事情?
例如,企业智能客服的目标是准确、高效地解决用户咨询,而不是单纯生成一段看起来礼貌的回答。
第二步:识别核心业务场景。将产品目标拆解为实际使用场景。
例如:
- 商品信息咨询。
- 订单状态查询。
- 退款申请。
- 物流异常处理。
- 投诉与售后。
第三步:拆解业务评价要求。不同场景下,需要重点关注的内容不同。
退款申请可能需要检查资格条件、办理流程和到账时间;物流查询则需要检查订单信息、物流状态和异常处理建议。
第四步:确定具体判断条件。将业务要求转化为可以观察和判断的标准。
例如:
不能只写「退款信息准确」,而应该明确退款资格、退款金额、办理时限和特殊限制是否符合当前正式政策。
第五步:形成具体规则文案。最终将判断要求整理成统一格式,包括规则名称、定义、判断标准、正反案例和特殊情况。
这五个步骤的关键,是从业务目标逐步走向具体判断条件。
4.3 如何将抽象业务目标转化为具体规则?
这是专项规则制定中最容易出问题的环节。
例如,业务负责人提出:「我们希望AI客服回答得专业一点。」这句话对于产品经理来说是一个业务目标,但还不是可以直接执行的标注规则。因为「专业」本身是一个抽象概念。
不同人员可能有不同理解:
- 有人认为使用专业术语就是专业。
- 有人认为内容详细就是专业。
- 有人认为语气正式就是专业。
- 有人认为答案正确才是专业。
因此,必须继续拆解。
假设业务场景是电商售后客服,可以将「专业」拆解为:
- 业务政策准确:回答符合企业正式售后政策。
- 流程完整:说明用户需要执行的必要步骤。
- 条件清晰:明确退款或换货的适用条件。
- 风险提示:对可能产生的费用或限制进行必要说明。
- 表达规范:使用符合客服服务场景的语言。
这样,抽象的「专业」就变成了五项可以具体判断的要求。再举一个例子。
业务目标:「提高AI回答的用户体验。」可以进一步拆解为:
- 首次回答是否直接回应用户问题?
- 是否减少不必要的重复询问?
- 是否提供明确的下一步操作?
- 是否使用用户容易理解的语言?
- 是否避免冗长、无关的信息?
记住一个原则:业务目标是方向,评价维度是拆解,判断条件才是最终能够执行的规则。
4.4 专项规则文案应该如何设计?

建议每一条专项规则都使用统一的结构。
下面以企业知识库为例。
专项规则示例:答案是否忠于企业知识库资料。
规则编号:KB-001。
规则名称:知识库内容一致性。
规则定义:评价AI回答是否以企业提供的有效知识库资料为依据,是否存在与资料不一致、擅自补充或无依据推断的内容。
判断标准:
- 符合:回答中的关键事实与当前有效知识库资料一致。
- 不符合:回答与资料存在明确冲突,或者擅自编造资料中没有的信息并将其作为事实。
- 无法判断:现有资料不足以验证答案,且没有其他可靠依据。
正向案例:知识库规定,员工每年享有5天带薪年假。用户询问年假天数,AI回答5天。
反向案例:知识库规定5天,AI回答10天。
特殊情况:
如果用户询问的内容不在知识库中,AI应根据产品要求说明暂时无法确认,而不是自行编造企业政策。
这个案例能够帮助标注人员明确什么情况属于合格、什么情况属于不合格,以及什么情况不能直接判断。
4.5 不同业务场景下的专项规则设计
为了更好地理解专项规则,下面选取四个典型AI产品场景。

场景一:企业知识库
核心目标:让员工快速获取准确的内部信息。
重点规则:
- 是否依据企业正式资料回答?
- 是否引用了正确的制度版本?
- 是否存在知识库之外的无依据推断?
- 是否正确处理资料缺失和信息冲突?
- 是否符合当前员工的访问权限?
场景二:电商智能客服
核心目标:准确回答用户问题,减少人工客服介入。
重点规则:
- 商品信息是否准确?
- 退款政策是否符合当前规则?
- 是否正确识别用户的售后诉求?
- 是否提供完整的处理流程?
- 是否存在误导性承诺?
场景三:AI内容创作
核心目标:帮助用户高效完成符合要求的内容创作。
重点规则:
- 是否符合指定主题?
- 是否符合目标用户群体?
- 是否符合品牌语气和内容风格?
- 是否满足指定字数和格式?
- 是否存在未经证实的事实和数据?
场景四:AI办公助手
核心目标:帮助用户完成具体办公任务。
重点规则:
- 是否准确理解任务要求?
- 是否完整提取关键信息?
- 是否正确处理时间、人员和数字?
- 是否生成指定格式的结果?
- 是否遗漏重要任务或决策?
通过这些例子可以发现:
不同产品的专项规则虽然不一样,但制定逻辑是相同的。
先理解业务,再拆解目标,最后形成可以判断的具体文案。
4.6 专项规则制定中的常见问题

实际项目中,专项规则经常会出现以下问题。
问题一:规则过于抽象。
例如「内容要专业」「回答要有价值」。
解决方法:继续拆解专业性和价值的具体表现。
问题二:规则没有明确边界。
例如「回答必须完整」,却没有说明完整到什么程度。
解决方法:明确核心信息、必要信息和可选信息。
问题三:规则之间存在重复。
例如「内容丰富度」和「回答完整性」可能同时评价信息覆盖情况。
解决方法:明确每项规则的评价对象,必要时合并或区分定义。
问题四:规则无法覆盖实际场景。
例如只考虑正常咨询,却没有考虑用户问题缺失、知识库资料冲突和特殊业务条件。
解决方法:增加边界案例和异常场景测试。
问题五:规则只写标准,没有提供案例。
解决方法:每条重要规则至少配备正向、反向和必要的边界案例。
五、标注规则落地——如何让规则真正指导标注工作?
制定出规则只是第一步。如果规则写完之后,没有经过验证和培训,直接交给标注人员执行,仍然可能出现大量理解偏差。因此,规则落地需要一个完整的执行过程。

5.1 标注规则的完整制定流程
建议将规则落地分为七个步骤。
第一步:业务需求分析。产品经理需要明确项目目标、业务范围、目标用户和评价对象。
例如,当前项目是评价智能客服的回答质量,还是为模型训练准备偏好数据?
两者的规则设计不能完全相同。
第二步:确定标注目标。明确最终希望通过标注解决什么问题。
例如:
- 评价模型是否满足上线要求。
- 找出模型的高频错误类型。
- 比较两个模型的回答效果。
- 为模型训练提供人工反馈。
第三步:设计规则框架。先建立通用规则与专项规则的整体结构,再确定每个维度的评价范围。
第四步:编写具体规则。将抽象要求转化为具体判断条件,补充标签定义、正反案例和特殊情况。
第五步:组织规则评审。邀请产品、算法、业务专家和标注负责人共同检查规则。
重点关注:
- 规则定义是否准确?
- 是否存在重复和冲突?
- 是否符合真实业务要求?
- 是否能够被标注人员理解?
- 是否有足够的判断依据?
第六步:开展试标。选取一批具有代表性的样本,让多名标注人员按照同一份规则独立标注。通过结果差异,找出规则不明确的地方。
第七步:正式发布。完成规则修订、培训和版本确认后,正式投入使用。
这一步尤其需要注意:不能把试标阶段发现的问题简单归结为标注人员能力不足。很多时候,真正的问题是规则本身没有说清楚。
5.2 如何设计标准化标注文档?
建议每份标注文档至少包含以下内容:
- 项目背景与标注目标。
- 标注对象和数据范围。
- 标注任务说明。
- 通用规则。
- 专项规则。
- 标签体系与字段说明。
- 判断标准。
- 正向与反向案例。
- 特殊情况处理。
- 争议问题反馈方式。
- 规则版本与更新时间。
这样做的好处是,标注人员不需要依赖口头沟通来理解工作要求。所有关键判断标准都有明确的文档依据。
5.3 如何通过案例降低标注理解偏差?
规则文字再详细,也不一定能覆盖所有真实情况。因此,案例是标注规则中非常重要的组成部分。
建议重点设计四类案例。
正向案例 ~ 展示什么样的回答符合规则。
反向案例 ~ 展示什么样的回答不符合规则。
边界案例 ~ 展示处于合格与不合格边界的回答,帮助标注人员理解判断条件。
争议案例 ~ 展示可能出现不同理解的回答,并明确最终处理原则。
例如,评价AI回答是否冗余。
正向案例:用户要求介绍MVP,AI用一段话解释概念,并提供一个简单例子。
反向案例:用户只要求一句话解释MVP,AI却输出大量无关背景。
边界案例:用户要求深入解释MVP,AI提供较长的背景、案例和方法论。
这时候,不能因为回答较长就直接判定冗余,而应该看是否满足用户的深度要求。
案例的真正价值,是把文字规则变成标注人员能够直接参照的判断样本。
5.4 如何开展标注人员培训?
培训的目的不是让标注人员背诵规则,而是让他们真正掌握判断方法。
建议采用以下流程:
- 第一步:讲解项目背景和标注目标。
- 第二步:逐项讲解规则定义和判断条件。
- 第三步:通过正反案例说明规则边界。
- 第四步:组织统一样本试标。
- 第五步:收集标注分歧并进行集中讨论。
- 第六步:对容易产生歧义的规则进行补充和修订。
培训结束后,不建议直接按照培训出勤情况认定人员已经掌握规则。更有效的方式是通过实际试标结果检验理解程度。
5.5 如何保障标注结果的质量?
规则是否科学,最终要通过实际标注结果来验证。建议从四个方面进行质量管理。
- 标注准确性。抽取部分样本,由具有专业判断能力的审核人员进行复核,检查标注结果是否符合规则。
- 标注一致性。选择部分样本,让多名标注人员独立判断,观察他们的结果是否一致。
- 标注完整性。检查是否存在漏标、错填、标签缺失和不符合字段要求的问题。
- 标注可追溯性。对于重要或存在争议的判断,保留样本、规则版本、标注结果和审核记录。
在一致性分析中,可以根据任务类型选择合适的方法:
两名标注人员对分类任务进行判断,可以考虑Cohen’s Kappa等一致性指标。
多名标注人员参与,且存在缺失标注或不同测量类型时,可以考虑Krippendorff’s Alpha。
对于实际管理,还应同时查看原始一致率、分歧类型和仲裁结果。
需要强调的是,一致性高不等于判断一定正确。
如果所有人都按照一条错误规则进行标注,结果仍然可能高度一致。
因此,既要看标注人员之间是否一致,也要看规则本身是否符合真实业务目标。
六、标注结果如何反哺AI产品?
对于AI产品经理来说,标注工作的最终价值并不是生产一张标签表,而是通过标注结果发现模型的问题,并找到可执行的优化方向。
如果标注结束后,数据只被保存到数据库中,没有进一步分析,那么前面的工作价值就会大打折扣。
6.1 标注结果如何反映模型问题?
通过四大通用维度,可以把模型的错误表现拆解得更加具体。
例如:
通过这样的分类,产品经理就能够从整体评价分数进一步定位问题类型。
例如,模型综合评价得分下降,并不能直接说明应该更换模型。
但如果进一步发现,主要问题集中在企业知识库回答的准确性,就应该优先检查知识库内容、检索结果和回答生成过程。
6.2 如何通过标注结果定位模型能力短板?
建议重点关注三个层面。
第一:问题发生频率。哪些错误类型出现得最多?
例如,最近一批客服样本中,大量问题集中在退款政策理解错误。
这说明需要优先关注业务知识准确性。
第二:问题影响程度。不同错误的严重程度不一样。
回答格式不规范可能只影响阅读体验,但错误承诺退款金额可能直接造成业务损失。因此,需要结合业务风险确定优先级。
第三:问题发生场景。同样的错误是否集中出现在某些特定场景?
例如,模型在普通商品咨询中表现正常,但在促销、退货和特殊订单场景中频繁出错。
这说明模型可能存在特定业务场景下的能力短板。通过频率、影响程度和场景三个角度分析,才能更准确地找到优化重点。
6.3 如何将标注结果转化为模型优化方向?
发现问题之后,不能简单地要求算法团队「提高模型质量」。需要进一步判断问题产生的原因。
例如,企业知识库回答错误,可能有几种情况:
1. 知识库本身存在错误。
2. 检索没有找到正确资料。
3. 检索结果正确,但模型没有正确理解。
4. 模型理解了资料,却在生成过程中添加了错误信息。
5. 提示词没有明确要求模型优先依据知识库回答。
6. 不同原因对应不同的解决方案。
这里要避免一个常见误区:
不是所有模型问题都应该通过模型训练解决。
有些问题来自数据,有些来自检索,有些来自提示词,有些来自产品交互。
产品经理需要结合具体证据找到真正的问题位置,再决定应该修改哪一部分。
6.4 如何建立AI产品质量评估机制?

建议形成一套持续运行的工作流程:
业务目标 → 标注规则 → 样本标注 → 质量分析 → 问题定位 → 优化方案 → 效果验证。
例如:
某企业智能客服上线后,发现用户频繁反馈退款回答不准确。
产品团队首先收集相关对话样本,再根据退款专项规则进行标注。
分析结果发现,大部分错误不是模型不知道退款政策,而是模型引用了已经过期的政策资料。
于是团队修订知识库版本管理和检索逻辑,再使用相同类型的样本进行复测。
如果错误明显减少,就说明本次优化取得了预期效果。
这才是标注结果真正服务产品改进的方式。
6.5 案例:如何利用标注结果优化企业智能客服?
下面用一个完整的假设案例说明。
注意:这是用于说明工作方法的示例,并非某家企业的真实项目数据。
业务背景:某电商企业上线AI智能客服,希望通过AI回答商品、订单和售后问题,减少人工客服的重复工作。
上线测试过程中,团队发现部分退款咨询回答不准确。
第一步:收集问题样本。整理退款相关的用户问题、AI回答和对应的企业正式退款政策。
第二步:按照标注规则进行评价。从安全、指令、内容和语言四个维度进行判断,同时使用退款专项规则检查业务政策准确性。
第三步:分析错误分布。假设试评发现:一部分回答引用了过期政策。一部分回答遗漏了退款条件。少量回答在资料不足时直接给出确定承诺。
第四步:定位原因。团队进一步检查发现,知识库存在多个版本的退款政策,部分检索结果仍然指向旧文件。同时,提示词没有明确要求模型在资料不足时说明无法确认。
第五步:制定优化方案。
- 清理过期政策资料。
- 建立知识库版本管理。
- 调整检索结果的优先级。
- 明确资料不足时的回答方式。
- 对退款场景增加专项测试样本。
第六步:重新评价。
使用同一批测试样本和相同版本的标注规则重新评价,并增加新的边界案例。重点检查退款政策准确性、条件完整性和风险处理情况是否改善。
通过这个案例可以看到,标注不是为了给模型打一个分数,而是为了把「模型回答不好」进一步拆解成「哪里不好、为什么不好、应该怎么改」。
七、标注规则管理——如何建立持续迭代机制?
标注规则不是一份制定完成就永远不需要修改的文档。随着产品功能变化、业务政策更新、模型能力提升和新问题出现,原有规则可能逐渐失去适用性。因此,标注规则还需要持续管理。
7.1 标注规则为什么需要持续迭代?

主要有四个原因。
- 第一,业务需求发生变化。企业新增业务功能、修改服务政策后,原有专项规则可能不再适用。
- 第二,模型能力发生变化。模型升级后,原来经常出现的问题可能已经减少,而新的问题可能开始出现。
- 第三,新的风险不断出现。随着AI应用场景扩大,原有安全规则可能无法覆盖新的风险类型。
- 第四,实际标注暴露出规则缺陷。在执行过程中,标注人员可能不断遇到规则没有说明的情况。
这些问题都需要通过规则迭代解决。
7.2 如何处理规则冲突与判断争议?
规则冲突主要有三种情况。
情况一:通用规则与专项规则冲突。
例如,通用规则要求回答尽量完整,而某个客服业务明确要求回答简洁。这时候,应该先区分两者评价目标。完整性关注必要信息是否遗漏,简洁性关注表达是否冗余。两者并不一定冲突。
如果确实存在无法同时满足的要求,需要在规则中明确业务优先级。
情况二:不同评价维度之间存在冲突。
例如,回答内容很全面,但包含不必要的敏感信息。不能因为内容丰富就忽略安全问题。
应根据事先确定的安全判定规则进行处理。
情况三:标注人员对规则理解不同。
例如,有人认为回答缺少来源就属于知识错误,有人认为只要事实正确就可以通过。
这时候需要回到规则定义,明确准确性与权威性的区别。
如果原有规则没有说明清楚,就应该补充定义和案例,而不是只要求标注人员服从某一个人的主观意见。
7.3 如何建立规则版本管理机制?
建议每一套规则都有明确的版本信息,例如:
同时,需要记录:
- 修改人。
- 修改时间。
- 修改内容。
- 修改原因。
- 适用项目。
- 生效时间。
尤其要注意,规则版本变化可能影响历史数据的可比性。
例如,V1.0将某类问题判定为部分遵循指令,V2.0调整后将其单独分类。
如果直接把两个版本的数据放在一起计算,就可能造成统计结果失真。
因此,分析模型变化时,应当明确样本使用的规则版本。
7.4 如何建立规则持续优化机制?
可以从四个方向进行。
- 定期收集标注人员反馈,整理规则中不明确的地方。
- 统计高频争议案例,判断是否需要增加新的规则。
- 结合真实业务问题,检查规则是否覆盖主要场景。
- 在规则修改后重新验证标注一致性和判断准确性。
规则优化不应该只追求规则数量越来越多。一套优秀的标注规则,应该是必要的规则足够清晰,不必要的规则及时删除。
如果每出现一个特殊案例就增加一条新规则,最终可能形成几十甚至上百条互相交叉的规定,反而让标注人员无法判断。
7.5 产品、算法与标注团队如何协同?

标注规则的制定和执行通常需要多个角色参与。这里尤其需要明确产品经理的职责。产品经理不是简单地把规则交给标注团队,也不是代替算法人员判断所有技术问题。
产品经理真正需要做的是:
- 明确产品希望模型做到什么。
- 将业务要求转化为评价标准。
- 组织相关人员确认规则边界。
- 根据标注结果识别业务问题。
- 推动问题进入产品优化计划。
只有这样,标注工作才能真正与AI产品的研发和迭代结合起来。
八、总结与思考——从标注规则到AI产品质量管理
回顾全文,我们可以发现,标注规则虽然看起来只是AI产品研发中的一个基础环节,但它实际上影响着模型质量评价、训练数据质量、产品上线验收和后续优化。
一套科学的标注规则,至少需要解决三个核心问题:
第一,评价什么?通过通用规则和专项规则明确评价范围。
第二,如何评价?通过具体维度、判断标准、正反案例和特殊情况处理统一判断口径。
第三,评价结果如何使用?通过标注质量管理、问题归因和模型复测,将评价结果转化为实际优化动作。
未来,随着AI模型能力不断提升,标注工作也会发生变化。
8.1 AI辅助标注:让机器承担重复性判断
对于格式校验、关键词识别、明显重复内容等相对明确的任务,可以通过程序或模型辅助完成。
但对于复杂的业务判断、价值判断和高风险内容,仍然需要经过验证的人工评价机制。
8.2 自动化评价:提高模型测试效率
随着模型评价工具的发展,部分评价工作可以通过自动化方式完成。
例如:
- 使用程序检查输出格式。
- 使用规则判断必填字段是否缺失。
- 使用模型辅助判断内容是否符合指定标准。
- 使用人工复核复杂和有争议的结果。
- 但自动化评价不能简单替代人工评价。
自动评价器本身也可能存在错误,需要通过人工标注样本验证其判断效果。
8.3 人机协同:让人工与模型各自承担擅长的工作
未来更合理的方式,不是完全依赖人工,也不是把所有评价交给AI。
而是让程序处理确定性强的任务,让模型辅助处理规模较大的初步评价,让专业人员重点处理复杂、高风险和有争议的问题。
这样既能提高效率,也能保留必要的人工判断。
8.4 标注规则最终服务于AI产品质量

需要明确的是,标注规则本身不是产品的最终目标。用户不会因为你的标注体系有八个章节、四十条规则,就认为你的AI产品更好。
用户真正关心的是:
- AI能不能听懂自己的需求?
- AI提供的信息是否准确?
- AI能不能解决实际问题?
- AI是否足够安全可靠?
- 使用AI是否比原来的工作方式更高效?
因此,标注规则最终要回到产品本身。它应该帮助团队看清楚模型哪里做得不好,以及下一步应该改什么。
九、实战方法论——AI产品经理如何从0到1制定一套标注规则?
前面八章主要解决认知和方法问题。
但对于正在负责AI产品、模型评估或数据标注项目的产品经理来说,最重要的是:如果明天就要开始一个新项目,我到底应该从哪里入手?
下面给出一套可以直接应用于实际项目的工作方法。
9.1 第一步:先明确标注对象,不要急着写规则
开始之前,先回答三个问题:
- 我要标注的是什么?
- 为什么要进行标注?
- 标注结果最终用于什么?
例如:
1. 项目A:对模型生成的回答进行质量评价。
2. 项目B:对训练语料进行分类和标签标注。
3. 项目C:对两个模型的回答进行偏好比较。
这三个项目的标注对象和任务不同,不能直接使用完全相同的标注文档。
建议先形成一份项目定义:
9.2 第二步:先建立通用规则,再制定专项规则
不要一开始就为每个业务场景编写大量规则。建议先建立通用规则框架:
1. 安全维度。
2. 指令维度。
3. 内容维度。
4. 语言维度。
然后再根据具体业务需求补充专项规则。例如,企业客服项目可以增加:
1. 商品信息准确性。
2. 退款政策一致性。
3. 售后流程完整性。
4. 客服服务规范。
这样可以减少重复工作,也方便后续复用。
9.3 第三步:把每条规则写成可判断的标准

这是最重要的一步。每条规则都应该回答以下问题:
- 评价对象是什么?
- 评价目的是什么?
- 哪些情况属于合格?
- 哪些情况属于不合格?
- 哪些情况属于无法判断?
- 遇到特殊情况怎么办?
- 不要只写抽象要求。
例如:
不推荐写法:「回答必须准确、专业。」
推荐写法:「检查AI回答中的商品价格、规格和售后政策是否与当前有效商品资料一致。若存在明确冲突,标记为不符合;若缺乏足够资料进行验证,标记为无法判断。」
9.4 第四步:为规则准备正反案例
每条重要规则至少准备:
一个符合要求的案例。
一个不符合要求的案例。
必要时增加一个边界案例。
案例必须和实际业务有关,不能只用过于简单的示例。
例如:
用户询问:「这款商品支持七天无理由退货吗?」
如果正式商品政策明确支持,AI正确说明条件和限制,属于符合要求。
如果AI回答支持,但实际上商品不在适用范围内,就属于不符合要求。
如果当前资料没有提供退货政策,则不能让标注人员自行猜测。
9.5 第五步:组织试标,找出规则中的问题
建议先选择一批覆盖主要业务场景的样本进行试标。试标时,让不同标注人员独立判断,不要提前告诉他们其他人的结果。
完成后,重点分析:
- 哪些规则分歧最多?
- 哪些标签最容易混淆?
- 哪些案例缺乏明确判断依据?
- 哪些场景没有被现有规则覆盖?
试标的核心不是追求所有人第一次就得到完全相同的结果,而是通过分歧发现规则中不清楚的地方。
9.6 第六步:修订规则并建立质量检查机制
根据试标结果进行修订。对于容易混淆的规则,补充定义和案例;对于重复的规则,明确边界或进行合并;对于缺少业务依据的判断,邀请业务专家确认。
随后建立:
- 日常抽检。
- 多人交叉标注。
- 争议案例仲裁。
- 规则版本管理。
- 标注人员培训。
这样才能让规则在规模化执行时保持稳定。
9.7 第七步:用标注结果指导产品优化
标注完成后,不要只看整体合格率。应该继续拆解:
- 哪个评价维度的问题最多?
- 哪种错误出现得最频繁?
- 哪个业务场景最容易出错?
- 问题来自模型、知识库、检索还是提示词?
- 哪些问题最值得优先处理?
最终形成明确的优化任务,并通过同一套规则和测试样本重新验证。
9.8 一份可以直接复制使用的标注规则模板
下面这份模板可以作为AI产品经理制定标注规则时的基础文档。
A. 项目基本信息
B. 规则基本信息
C. 标注结果字段
建议根据实际任务选择以下字段:
注意:以上字段只是建议模板,不是所有项目都必须使用。对于简单项目,可以适当精简;对于高风险业务,则需要增加必要的证据记录和审核字段。
D. 规则质量检查清单
在规则正式发布之前,产品经理可以逐项检查:
- 是否明确标注对象?
- 是否明确标注目标?
- 是否区分通用规则与专项规则?
- 是否明确每条规则的定义?
- 是否明确合格与不合格的判断条件?
- 是否存在重复或冲突的规则?
- 是否提供正向案例?
- 是否提供反向案例?
- 是否覆盖常见边界情况?
- 是否有可靠的判断依据?
- 是否经过多人试标验证?
- 是否完成规则培训?
- 是否建立质量抽检机制?
- 是否明确规则版本和修改记录?
如果这些问题都没有得到明确回答,就不建议直接进入大规模标注。
结语:真正优秀的标注规则,不是写得多,而是让所有人判断得一致!
回到最初的问题:AI产品经理为什么需要掌握标注规则?
因为AI产品的质量不能只依赖模型厂商的能力说明,也不能只依赖产品经理自己的主观体验。模型回答得好不好,需要结合真实业务目标进行评价;评价结果是否可信,需要统一的规则作为依据;发现问题之后,还需要将其转化为具体的产品和技术优化动作。
从这个角度来看,标注规则实际上承担着三个非常重要的职责:
第一,统一标准。 让不同人员面对同一条回答时,能够依据相同的条件进行判断。
第二,发现问题。 让模型的错误不再只是模糊的「回答不好」,而是能够被拆解为安全、指令、内容、语言和业务场景中的具体问题。
第三,推动改进。 让标注结果能够进入产品优化、模型评估和业务决策过程。
对于AI产品经理来说,制定标注规则的能力,本质上是一种将抽象业务目标转化为可执行评价标准的能力。
它要求产品经理既理解用户需求,也理解模型能力;既能拆解业务场景,也能定义判断边界;既能设计规则文档,也能通过实际数据验证规则是否有效。
最后,送给所有正在从事AI产品工作的同学一句话:
不要只问AI模型能不能回答问题,更要问它回答得是否正确、是否合适、是否符合业务要求,以及我们有没有一套可靠的方法证明这一点。
当你能够把这些问题转化为清晰的标注规则,并让团队按照同一套标准执行时,你才真正拥有了评价和改进AI产品质量的基础能力。
本文由 @Bale 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议




