数据标注选型与采购指南
这份指南面向第一次采购数据标注服务的算法团队与项目负责人。数据标注的采购陷阱大多不在价格,而在验收标准没有事先量化、标注规范没有事先固化。以下内容整理自常见项目场景,希望帮您在签合同之前把关键问题想清楚。如果您已经明确了需求,也可以直接浏览我们的服务项目。
一、先选模态,再谈价格
数据标注的第一步不是询价,而是确认模态:图像、点云、文本、语音还是视频。模态决定了工序结构,工序结构决定了成本与周期的量级。图像框选是最轻的工序,单件耗时短、验收指标成熟;语义分割的精度要求会显著拉长单件耗时;点云标注需要三维工具适配与遮挡规则,工序最重;文本标注的成本集中在口径确认而非打标动作上;语音与视频则要注意时间轴与帧间一致性这两类容易被忽视的质检点。选模态时还要考虑模型侧的真实需要:如果目标检测模型在验证集上的瓶颈是小目标召回,把预算花在高精度分割上往往是浪费。
二、规范文档是采购合同的一部分
很多项目失败的根源是"规范口头约定"。同一张图里半遮挡的行人算不算目标、文本里的机构名切到哪里为止、点云里稀疏的远车怎么处理——这些边界情况如果没写进文档,标注员只能凭感觉,交付时双方再争论就已经晚了。建议把规范文档视为采购合同的技术附件:每类目标的判定标准、遮挡截断的处理方式、存疑样例的上报路径,逐条写清。规范不是一次写完的,试标阶段会暴露一批边界情况,规范要随试标结果升版本,全组同步后再批量开工。
三、验收指标必须量化
"标注质量不错"不是验收标准,"框选 IoU ≥ 0.75、类别准确率 ≥ 98%、按 5% 比例抽检"才是。不同模态常用的量化指标不同,下面这张表可以作为谈判时的对照参考:
| 模态 | 常用量化指标 | 易忽视的风险点 | 建议抽检比例 |
|---|---|---|---|
| 图像框选 | IoU 阈值、类别准确率 | 密集小目标、遮挡截断判定 | 5%–10% |
| 语义分割 | 边界误差、类别像素一致率 | 细长目标与半透明物体 | 10% 左右 |
| 3D 点云 | 3D 框贴合度、点级分割一致率 | 稀疏远距目标、噪点规则 | 10% 左右 |
| 文本实体 | 实体切分一致率、分类准确率 | 边界切分口径、嵌套实体 | 8%–15% |
| 语音转写 | 字错率抽检、时间轴偏差 | 说话人分离、方言处理策略 | 8%–12% |
| 视频逐帧 | 帧间 ID 一致率、类别准确率 | 目标身份断裂、事件起止点 | 按段抽检 |
抽检不达标的批次应当返工,返工条款要在合同中写明:返工是否计入交付周期、返工后的复检比例是多少。这两个问题谈清楚了,质量纠纷就有了处理框架。
四、成本与周期的现实预期
标注成本由四个变量决定:规则复杂度、单件耗时、精度要求、质检比例。降低成本最有效的手段不是压单价,而是减少无效工作量——先做数据清洗,把模糊、重复、无效样本在进标注线之前剔除,往往能省下两位数百分比的预算。周期方面,几万张的图像框选通常以周为单位,点云与视频会更长;任何供应商给出的确定到天的承诺都值得警惕,合理做法是试标之后按实测人时推算排期。更多常见疑问可以看我们的问答页。
五、供应商评估清单
选择标注服务商时,建议按这份清单逐项确认,而不是只比报价:
- 是否愿意先做小批量试标,试标结果是否与您的算法团队逐条比对过
- 规范文档是否有版本管理,边界情况的上报与修订流程是否成文
- 质检岗是否独立于标注岗,抽检比例与返工条款是否写入合同
- 交付格式能否直接接入您的训练管线,是否附带质检报告
- 保密协议的数据存储、销毁流程是否明确可执行
如果您在选型过程中有具体场景想讨论,欢迎通过联系我们发起一轮评估。