资源中心 / 数据标准

如何定义一套可执行的标注标准

2026-09-15 · databurger 数据工程团队 · 约 9 分钟阅读
口径漂移是标注质量的最大杀手。它不是"标注员不认真",而是标准本身没有可判定的边界。

一、不可执行的三种标准

二、可执行标准的结构

一份可执行规范至少包含五部分:

字段定义

每个字段的名称、类型、取值范围、是否必填,以及空值语义(null 与 "未知" 必须区分)。

判定树

把主观判断拆成有序的判定步骤,明确每一步的边界与优先级。

正反示例

每个字段配 2–3 个正例与典型反例;边界样本单独成组。

争议处理

明确不确定时的操作:标记待仲裁、跳过、还是按默认值。

验收指标

一致性下限(Kappa)、一次通过率下限、抽检比例与复算方式。

三、一致性指标怎么用

Kappa解读建议动作
< 0.60标准存在系统性歧义停止生产,重写判定树并重新校准
0.60–0.75可生产但需高抽检提高抽检比例,逐周复盘争议样本
0.75–0.90健康区间按常规抽检比例生产
> 0.90标准清晰可降低抽检比例,或提升任务复杂度

四、把标准写进系统而不是文档里

纸质规范会过期,配置化的 schema 不会。我们的做法是把规范做成可配置的 schema:字段、规则、示例、校验条件都在系统内维护,支持版本管理与变更影响提示。

五、一份规范模板清单

把你的规范交给我们做一次压力测试

用 100 条样本试标,先看一致性再谈规模。