测试一个 APP 的头像审核时,我发现了一个比较有意思的现象:图片里的敏感文字能被拦下来,但部分敏感图片本身却可以正常上传和展示。后来我审核人员给我讲解了实际流程,我又把这个思路带到了直播场景。顺着这两个事件继续往下看,会发现内容风控不只是“模型能不能识别出来”的问题,机器审核、人工复核以及最终处置之间同样存在时间差。 本文从这次实际测试出发,简单拆一下常见的内容风控模型和审核流程,并用伪代码还原