Runner AI
文档自动化、测试和创建

实验测量

比较对照和变体指标,调整流量,查看 AI 建议,并决定是否应用实验更改。

实验测量可帮助您在做出实时商店决策之前比较对照和活跃变体。

入口路径

打开商店项目 → 更多实验 → 选择实验 → 性能

开始前

  • 确认实验目标和当前流量分配。
  • 在解释小百分比变化之前等待有用的样本。
  • 在考虑 应用更改 之前,在 实验 标签中查看变体更改。
  • 在执行部署更改或停止实时测试的操作之前,询问工作区所有者。

性能控制和结果

控制或部分发生或出现的内容
实验打开周期消息、计划、预览、更改和待处理请求。
性能打开运行时间、样本大小、流量分割、图表和指标表。
指标选择器将图表更改为受支持的度量,例如转化、添加到购物车、结账、购买、订单价值、每个访客的收入、横幅点击、购物车放弃或错误率。
对照 / 变体图表比较原始和实验版本的记录系列。
流量控制 → 更新在允许的范围内保存新的实验分配。
AI 洞察允许批准显示的流量建议。
AI 洞察取消在不批准的情况下关闭该建议。
询问 Runner AI在实验工作区内发送消息。
查看计划打开当前周期计划和待办事项列表。

查看测量

  1. 打开 性能
  2. 在阅读趋势之前确认运行时间、样本大小和流量分割。
  3. 选择与实验目标相匹配的指标。
  4. 在同一时期比较对照和变体。
  5. 检查支持指标以了解错误、放弃或收入权衡。
  6. 返回 实验 并查看产生变体的确切更改。
  7. 在允许流量更改之前阅读任何 AI 洞察 请求。
  8. 仅在查看行为和实现后,选择继续测量、调整流量、停止或准备应用。

高影响操作

操作第一次点击做什么确认意味着什么
应用更改打开 应用实验更改确认会将实验更改应用到主商店路径并启动生产部署。首先查看命名的实验。
停止打开 停止实验 并显示警告。确认会结束当前实验。如果实验授权保持启用,Runner 可能会启动另一个;当您打算完全禁用实验时,使用项目设置。
流量 更新提交新分配。成功后,未来符合条件的流量使用更新的分割。

故障排除

状态含义和后续步骤
没有周期数据测量尚未产生周期结果。保持实验运行或检查其状态。
无法加载指标重新加载 性能 并稍后重试;不要从缺失数据应用更改。
平坦或混合结果可用证据未显示明确改进。继续测量或停止而不应用。
流量更新失败当前值未被存储。在重试有效分配之前重新加载。
应用失败没有确认成功的生产应用。保留错误并在重试之前验证实时商店。

相关指南