查看英文原文

原文作者：Christian Holst；初次发布于 2025 年 10 月 7 日，更新于 2026 年 5 月 28 日。本文已完整翻译为中文。

Baymard 用可复现测试衡量自动化 UX 启发式评估与人类专家判断的一致程度。

关键结论

• 对 AI 工具和“预制提示词”进行 UX 分析或转化率优化（CRO）建议测试时，准确率通常只有 50%–75%，甚至根本没有公开准确率。

• 采纳一条错误 UX 建议，就可能带来巨大的商业损失。

• 应要求用于 UX 分析和 CRO 的 AI 工具公开准确率。

• Baymard 不会发布准确率低于 95% 的自动化 UX 工具。

本文已使用 2026 年 5 月的新数据更新。

过去一年，我们一直在开发 UX-Ray 2.0。它可以扫描正在运行的电商网站，或读取尚未开发的设计截图，并即时完成启发式 UX 评估。

评估覆盖 346 条 UX 启发式规则，也就是 Baymard 指南；这些规则全部来自 Baymard 超过 20 万小时的大规模 UX 研究。

UX-Ray 的特别之处在于，它与人类 UX 专家对同一网站的评估结果相比，拥有经过记录的 95% 准确率。

相比之下，对生成式 AI 工具和“预制提示词”的公开测试表明，它们用于 UX 分析或 CRO 建议时，准确率通常只有 50%–75%，更差的情况是完全没有公开准确率。

这很重要。任何用大语言模型或生成式 AI 做 UX 分析、提出 CRO 建议的工具，只要准确率没有记录，或低于 95%，就不适合直接应用到商业网站。

实施几条损害转化的 UX 改动所造成的收入损失，远高于为了确保改动有 UX 研究支撑而付出的成本。因此，要求工具公开准确率完全合理。

本文会讨论生成式 AI 工具常见的准确率、一条错误建议可能造成的商业成本、为什么应该要求工具公开准确率，以及 UX-Ray 如何达到超过 95% 的人类专家级准确率。

生成式 AI UX 工具通常只有 50%–75% 的准确率

两年前，我们记录过 ChatGPT 4.0 用于启发式评估时，准确率只有 20%。此后，关于生成式 AI 工具进行 UX 分析或提出 CRO 建议的准确率，又出现了更多研究。

图片来源：Microsoft UX 研究员 Jackie Ianni 与 Serena Hillman，2025 年 3 月。图表底行是错误率，准确率为其反向指标。

2025 年 3 月，两位 Microsoft UX 研究员采用相似方法，测试生成式 AI 和大语言模型在启发式评估上取得了多大进步。

结果显示，不同 AI 工具的准确率只有 50%、62%、67% 和 75%。其中 75% 只在一个工具上实现，而且必须显著减少工具能够识别的 UX 改进机会。

也就是说，为了达到 75% 准确率，工具会漏掉同一网页上由人类专家发现的 16 个问题中的 13 个，也就是漏掉 81%。

采纳一条错误 UX 建议的巨大商业成本

人们可能会认为，只要能得到更多高质量 UX 建议，夹杂少数有害建议也可以接受。

现实中，越来越多生成式 AI UX 分析工具正在出现，LinkedIn 等平台也在传播更多“预制 UX/CRO 审核提示词”。然而 Baymard 建议，对使用大语言模型和生成式 AI 为商业网站做 UX 分析或提出 CRO 建议保持高度谨慎。

原因是，一条错误 UX 建议被真正实施后，损失的商业收入可能非常巨大。

AI 工具也许会给网站提出 10 条 UX/CRO 建议，其中 5–7 条确实正确、值得实施；问题在于，它还会同时提出 3–5 条伤害转化的建议，而使用者无法把它们与好建议区分开来。

如果全部实施，部分体验会改善，另一些部分却会变差。最好只是浪费资源、原地踏步；最坏则是主动破坏体验并降低转化率。简而言之，50%–75% 的准确率太低，不足以在商业网站上采用生成式 AI UX 工具。

一次错误 UX 改动的真实商业影响

即使只是用缩略图还是圆点表示更多商品图片，也会显著影响用户发现内容和完成购买。

看似细小的 UI 实现差异，可能在大型商业网站上放大为可观的转化变化。

企业管理者需要理解，哪怕只是额外商品图片的提示方式这样的微小 UI 改动，也可能给网站和用户带来很大差异。看似细节的 UX 改进，能够显著影响转化率和商业收入。

Baymard 为大型品牌和《财富》500 强公司开展的 UX 审核提供了一些例子：

• 一家美国大型零售商把更多商品图片的指示方式从圆点改为缩略图后，转化率提高了 1%（Baymard 指南 #774）。

• 一家大型奢侈品零售网站在结账流程里为每个配送选项显示“预计送达日期”后，平均购物车放弃率下降了 0.5%（指南 #543）。

• 一家美国体育用品零售商把“提交订单”按钮从“核对订单”页面底部复制一份到顶部，仅这一项改动就使年销售额增加了 1000 万美元（指南 #556）。

• 美国排名前三的一家航空公司在订票流程里用星号表示可选字段，移动网页放弃率超过 90%（指南 #686）。

多个真实案例显示，微小 UX 决策会通过转化率产生巨大的财务影响。

网络上还有大量 A/B 测试案例，说明小型 UI 改动也会造成巨大财务影响。重点在于，看起来只是小细节的 UX 变化，往往拥有庞大的商业后果。

这也带来一个难题：只观察界面，很难判断 UX 是好是坏；人类如此，AI 也如此。因此，一个错误实现就可能通过线上收入损失给企业带来巨大成本。此外还有浪费的设计和工程成本，以及落后于竞争对手的机会成本。

与实施表现不佳的 UX 建议所带来的高额商业成本相比，用经过验证的 UX 研究强化网站决策，成本微不足道。

能否在 AI 错误上线前把它们拦下来

要从 5–7 条好建议中找出 3–5 条有害建议并修正，通常只有两条路。

1. 对所有 AI 生成的改动进行 A/B 测试，包括那些本身含有严重转化错误的方案。这样一半测试流量会经历严重的转化损失，同时真正的交付速度也会下降。精心规划的 A/B 测试，本来就不会故意上线已知存在转化问题的实验方案。

2. 让经验丰富的 UX/CRO 专家对 AI 建议进行质量审核，但这会抵消 AI 分析带来的速度收益。

判断好坏 UX 需要深入检查。现实中，专家审核 AI 建议花费的时间，可能和直接审核原网站一样多。两种方式都会抵消最初使用 AI 工具的好处。

不要只依靠大语言模型或生成式模型

Baymard 与包括 Nielsen Norman Group 在内的多家权威 UX 机构都建议，不要把大语言模型或生成式 AI 当成分析网站、决定 UX 改动的主要来源。

这类方法的准确率要么过低，要么未知，不适合商业网站。Baymard 并不否认生成式 AI 和大语言模型能提高效率与速度，但提供不准确的 UX 建议后果严重。

生成式 AI 更适合执行一组边界明确、基于规则的检查，而不是提供开放式建议。如果为了节省成本和加速交付，反而让更多低质量 UI/UX 改动进入生产环境，最终只会适得其反。

要求 UX/CRO AI 工具公开准确率

如果某个 AI 工具承诺进行 UX 分析或提出 CRO 建议，要求查看它的准确率文档是合理的。

准确率测试应覆盖广泛的网站，至少 20 个，而不是少数经过挑选的案例。任何没有记录或低于 95% 的准确率，都不足以安全用于收入真正受到影响的商业网站。

某个 UX/CRO 部门获得的短期效率提升，可能会因实施几条糟糕建议造成的线上收入损失而被完全抵消。

UX-Ray 2.0 的准确率为 95%

Baymard 不会发布准确率低或没有记录的自动化 UX 工具。在把 700 多条研究型 UX 启发式规则加入 UX-Ray 之前，每条规则都必须达到有记录的 95% 以上准确率。

准确率通过与人类 UX 专家的判断比较来测量。这里的人类专家是 Baymard 高度专业化的 UX 审核团队，他们通常为《财富》500 强网站和全球领先品牌做审核。UX-Ray 和人工审核结果会逐行人工比较。只有当 95% 准确率在大量网站上可重复出现时，这条规则才会加入 UX-Ray。

截至 2026 年 5 月，结果如下：

• UX-Ray 可以根据线上网址或网站、原型截图，对 346 条 UX 启发式规则做自动评估，准确率达到或超过 95%。

• 346 条规则都有研究支撑，全部建立在 Baymard 超过 20 万小时的大规模电商 UX 研究上。

• 95% 准确率来自对 79 个不同网站的人工启发式评估；UX-Ray 与 Baymard 审核员使用完全相同的截图评估这些网站。

• 79 个测试网站包含美国、英国和欧洲的大中型网站，覆盖服装、杂货和电子产品等常见行业。其中 15 个不是英语网站，语言包括德语、法语、波兰语、意大利语、荷兰语、丹麦语和西班牙语。

UX-Ray 2.0 的原始测试数据

79 个网站、346 条启发式规则的逐行对比数据，展示 UX-Ray 与人类专家判断如何对应。

• 查看逐行准确率结果（2026 年 5 月，UX-Ray 2.0）。

• 下载由 UX-Ray 与人工专家共同评估的网站截图。

完成这套准确率测试的成本超过 10 万美元，但 Baymard 认为值得。

95% 准确率来自八年的人类准确性建设

UX-Ray 建立在人类专家使用的专有评估工具上；团队用八年时间，把 8000 多个常见 UI 组件映射到明确的启发式评估结果。

与很多团队一样，Baymard 发现大语言模型和生成式 AI 很适合：

• 在没有唯一正确答案时创造多样化结果，例如创意任务。

• 遵循简单事实模式，在大量文档中快速搜索并综合答案，例如从 1000 页资料里判断某类答案是否存在。

但在复杂 UX 分析和 CRO 建议中，即使使用非常详细的提示词，生成式 AI 往往只能给出一部分好答案，同时稳定地产生伤害转化的建议；其大规模准确率仍低于商业使用所需的 95%。

UX-Ray 并不使用大语言模型或生成式 AI 生成 UX 分析、UX 推理或设计判断，也不会用它们描述 UX 改进机会或转化建议。

它使用由 15 个以上独立系统组成的级联，其中大多数不是生成式 AI，每个系统只解决整个评估流程中的一个具体问题。

在 UX-Ray 中，大语言模型和生成式 AI 只用于判断某个 UI 组件采用了哪一种模式。例如：“这张筛选界面的截图中，筛选值使用了复选框、链接样式，还是普通文本样式？”回答选项由人类专家预先定义，通常只有 2–10 个。

生成式 AI 不负责判断检测到的模式是好是坏，也不负责决定应该怎样改进。所有改进建议只来自 Baymard 超过 20 万小时的大规模 UX 研究。

这种方式的优点，是与使用生成式 AI 直接完成分析或提出建议的方法相比，准确率非常高；缺点是极其依赖人工。

UX-Ray 之所以可行，是因为团队八年来一直在为人类专家建立专有启发式评估工具，手工把 8000 多个常见 UI 组件映射到 700 多条 UX 启发式规则的具体结果。讽刺的是，这套工具最初是为了提高 UX 审核服务中人类评估者之间、以及同一评估者前后判断的一致性。

“安全失败”很重要

除了达到 95% 准确率，UX-Ray 不让大语言模型或生成式 AI 直接提出分析与建议，还有另一个好处：在剩余 5% 的错误里，它会以更适合工作环境的方式失败。

生成式 AI 可能给出错误推理和错误方案；受限系统则只会在可被轻易核对的模式识别环节出错。

生成式 AI 在 UX 与 CRO 建议上犯错时，往往会生成错误解决方案，或采用错误 UX 推理。在 25%–50% 的错误情况下，它可能建议：

“把图片库中的额外图片从缩略图改成圆点，使布局更简洁。这样可以减少空间占用，让界面看起来更平静，通常被认为是更好的 UX。”

前文案例说明，这样的错误让一家美国大型零售客户错失了 1% 的转化率增长。

UX-Ray 出错时，只会错在 UI 样式识别。因为它只用大语言模型和生成式 AI 判断组件样式，从不让它们决定这个样式好不好。因此在同一案例中，UX-Ray 最多会错误地说：

“你的图片库使用圆点而不是缩略图作为指示器。”

如果网页明明使用了缩略图，任何人——包括非 UX 专业人员——都能在实施前立即发现这条错误。由于改进建议不是由大语言模型或 AI 生成的，UX-Ray 更能避免难以察觉的幻觉。

确保生成式 AI 帮助 UX，而不是伤害 UX

生成式 AI 的成长令人兴奋。如果要采用承诺提供 UX 分析或 CRO 建议的工具，先要求查看准确率文档是合理的；这也是 Baymard 在本文公开数据的原因。

没有记录或低于 95% 的准确率，不适合用于真正承载收入的商业网站。人类当然也不完美，即使有数十年经验的 UX 专家也会误读问题或遗漏上下文，但只要判断建立在大规模 UX 研究上，他们几乎不会提出严重到伤害转化率的改动。

Baymard 决定，只把准确率至少达到 95% 的规则加入 UX-Ray。未来会继续把 700 多条启发式规则逐步加入，但前提是能持续证明 UX-Ray 可以准确、稳定地诊断问题。

免费试用 UX-Ray，可以先获得电商网站的两条 UX 建议。