口径漂移是标注质量的最大杀手。它不是"标注员不认真",而是标准本身没有可判定的边界。
一份可执行规范至少包含五部分:
每个字段的名称、类型、取值范围、是否必填,以及空值语义(null 与 "未知" 必须区分)。
把主观判断拆成有序的判定步骤,明确每一步的边界与优先级。
每个字段配 2–3 个正例与典型反例;边界样本单独成组。
明确不确定时的操作:标记待仲裁、跳过、还是按默认值。
一致性下限(Kappa)、一次通过率下限、抽检比例与复算方式。
| Kappa | 解读 | 建议动作 |
|---|---|---|
| < 0.60 | 标准存在系统性歧义 | 停止生产,重写判定树并重新校准 |
| 0.60–0.75 | 可生产但需高抽检 | 提高抽检比例,逐周复盘争议样本 |
| 0.75–0.90 | 健康区间 | 按常规抽检比例生产 |
| > 0.90 | 标准清晰 | 可降低抽检比例,或提升任务复杂度 |
纸质规范会过期,配置化的 schema 不会。我们的做法是把规范做成可配置的 schema:字段、规则、示例、校验条件都在系统内维护,支持版本管理与变更影响提示。