查看英文原文

中文编辑版。原文作者 Rebecca Rolfe，Google Design。

设计机器学习产品时，团队往往把注意力全部放在最终用户，却忽略了另一群决定产品质量的人：标注者。他们通过高亮、分类、分组和裁决把专业知识教给模型，是产品链条中的“起始用户”。

被忽略的起始用户

Google Brain 团队的标注者需要阅读超过 40 页规则，并在简单的标注工具中完成复杂任务。工具缺少快捷键，错误不易发现，操作无法撤销，每次编辑都像一次高风险承诺。

问题并不是标注者不够认真，而是设计团队从未把他们当作真正用户。训练数据的质量依赖他们的判断，如果工作流制造疲劳、歧义与误操作，模型会直接继承这些问题。

一次可测量的工作流改进

设计师观察标注者的真实工作方式，记录绕行路径和痛点，并与他们共同排列解决方案。工程团队随后加入快捷键、编辑能力和错误提醒。一个月后，标注错误率下降了 96%。

这证明内部工具并非次要界面。对高频专业流程而言，减少一次点击、允许撤销或保留上下文，都可能显著改善数据质量与模型表现。

四条设计原则

为高频动作提供多种快捷方式

标注者会形成自己的操作节奏。键盘、批量操作和直接操控应覆盖关键流程，而不是强迫所有人走同一条线性路径。

支持暂停、返回和改变判断

真实标注并不按固定顺序发生。用户会跳过困难样本、回看前文、重新分组并与他人协商。工具必须保留上下文并允许修正。

把规则放进工具

不要把复杂约束只写在文档里。通过即时校验、错误列表和提交前检查，让正确操作在界面中清晰可见。

让设计师靠近模型生产流程

设计师需要与工程、项目团队和标注者共同工作。越靠近真实数据与真实操作，越容易发现静态流程图看不到的问题。

结论

少量标注者能够影响数百万最终用户。为他们创造清晰、高效、可纠错的教学环境，模型才能更快、更准确地学习。设计 AI 产品时，不要只看输出端；先看是谁、用什么工具教会了模型。