跳到正文
Boardmix博思白板 logo boardmix 白板
产品
AI工具
企业服务

产品实验不是“上线一个版本看看数据”,而是提前写清:要验证什么、用什么指标判断、哪些用户进入比较、什么时候停止、结果如何影响下一步。缺少这些条件,实验结束后很容易只挑支持观点的数据解释。

下面以“首次创建白板时,是否提前展示模板选择”为虚构教学案例,给出可填写的方案和决策规则。它不是 Boardmix 已开展的实验,也没有真实效果数据。随机分组实验、灰度发布和上线前后观察回答的问题不同;样本不足的随机实验可以是不确定的实验结果,不能靠改名解决证据不足。

A与B两条路径经过同一完成率判断门槛,旁边保留护栏与尚未打开的结果信封
在看到结果之前,先约定比较方法、主指标和护栏。 查看大图

先把问题写成可证伪的假设

好的假设同时包含对象、变化、结果和方向,例如:

对首次进入白板创建流程的用户,将“选择模板”提前到创建流程中,能提高首次进入后24小时内的创建完成率,同时不增加创建后24小时内的删除比例。

这个句子可以被数据推翻。如果只写“模板能提升体验”,无论结果怎样都能解释成支持,无法指导决策。

写假设时检查四点:

  • 对谁:新用户、回访用户、团队管理员,还是某个使用场景?
  • 改什么:入口、文案、流程步骤、推荐规则或默认值?
  • 影响什么:完成率、错误率、留存、耗时还是投诉?
  • 方向和边界:希望上升、下降或保持不变,允许的副作用是什么?

指标要写口径、分母和观察窗口

实验方案中最容易造成争议的是指标名称相同、计算口径不同。每个指标至少写出定义:

指标类型示例定义需要补充的口径
主指标首次创建完成率 = 首次进入后24小时内创建完成的用户数 / 符合资格且已分组、首次进入流程的用户数成功事件、去重方式、观察窗口
护栏指标创建后24小时内的删除比例分母为创建完成用户;删除事件定义、每人首份白板、窗口是否完整
诊断指标模板选择页到下一步的转化率页面版本、埋点时机、缺失数据处理
质量指标实验期间错误上报率错误类型、采集渠道和排除规则

主指标用于决定是否达到目标,护栏指标用于防止局部提升伤害其他体验,诊断指标帮助解释原因。不要用多个指标中表现最好的一项替代预先定义的主指标。

分组和对照:先确认是否真的能比较

要解释某个改动带来的效果,应让符合相同资格条件的对象随机进入处理组或对照组,并在同一时期观察。“两组看起来相近”不能替代随机分配。方案中写清:

  1. 谁可以进入实验,谁必须排除?
  2. 分组单位是用户、团队、设备还是会话?同一用户能否跨组?
  3. 分流在哪里发生,分流结果如何持久化?
  4. 组间除了实验变量,是否还存在版本、渠道、地域或运营活动差异?

本例若只改变个人创建页面,可按稳定的用户标识分组,同一用户再次访问仍留在原组;若改动影响团队共享的模板入口,就要考虑按团队分组,并按相应统计单位分析,避免同一团队成员互相影响。

如果只能先后上线、无法建立对照,仍可以做前后对比,但结论应写成“观察到变化”,同时记录同期活动、季节性和数据口径变化。不要把前后差异直接归因于实验变量。

样本、周期和停止条件怎么定

不必凭经验写一个看起来精确的天数。方案至少说明:

  • 预计每天可进入实验的用户量和有效事件量。
  • 需要覆盖的完整业务周期,例如工作日与周末。
  • 何时检查数据质量,何时允许查看结果。
  • 提前终止的条件:严重错误、合规风险、护栏指标越过安全线等。
  • 正常结束条件:达到预先约定的样本、周期和数据质量要求。

启动前由数据负责人根据基线完成率、最小值得投入的变化幅度、显著性水平、统计功效和分组单位估算样本。把“值得投入的提升”写成绝对百分点或相对百分比,并明确单位;完成率从20%到22%是提高2个百分点,也可表述为相对提高10%,两者不能混用。

固定样本方案应按约定周期结束,不因某天结果刚好越过显著性门槛就宣布胜出;使用序贯方法时,则按预先约定的统计规则判断。严重故障可以触发安全停止,但这不等于已经得到有效的效果结论。

看结果前先看分流与数据质量。例如计划50:50分组时,实际人数不必完全相等,但如果出现超出随机波动可解释范围的比例偏差,应调查分流、日志丢失或过滤规则。Microsoft 的样本比例失配说明将此类问题视为实验可信度检查;查清原因前不据此选胜出方案。

产品实验方案模板

你可以直接复制下面的结构填写:

1. 背景和问题

说明当前行为、证据来源、影响范围和为什么现在验证。

2. 假设

用“对谁—改什么—预期影响—允许副作用”写一句可证伪的假设。

3. 实验变量

列出处理组与对照组要比较的差异,尽量保持其他配置、版本和运营条件一致;无法固定的变化要记录。一次同时改入口、文案与推荐时,结论只针对这一整组改动,不能声称识别了每个组件的效果。

4. 指标和口径

写主指标、护栏指标、诊断指标、分母、去重、观察窗口和数据负责人。

5. 分组与实施

说明资格条件、分组单位、分流位置、上线顺序、回滚方式和监控入口。

6. 样本和时间

写预计流量、最短观察周期、数据检查点和结束条件;缺少统计依据时明确限制。

7. 决策规则

预先写出“满足上线条件、暂不确定、不采用当前方案”分别对应的动作,而不是看完结果再决定标准。

填写示例:E-001 模板入口位置实验

方案项本例填法
资格与排除首次进入创建流程、此前没有创建成功记录的登录用户;内部测试账号在分组前排除,不按实验后的行为剔除失败用户。
A组与B组A沿用原创建入口,B将模板选择提前;两个组都保留空白创建路径。模板供给和其他页面内容保持一致。
分组与曝光按用户标识稳定随机分组,预设比例50:50;记录分组、进入流程、完成创建三个不同事件。统计资格与曝光口径先由数据和研发对齐。
主要判断主指标为24小时创建完成率;删除比例与错误率为护栏。上线门槛、可接受护栏变化和分析方法在启动前填写并确认,本文不提供通用阈值。
样本与时间先完成样本估算,记录目标样本数和最长观察期;覆盖预定业务周期,最后一批用户也获得完整观察窗口。流量不足时按预定规则输出不确定。
职责产品确认假设与上线门槛,数据确认口径与统计方案,研发验证分流与埋点并准备回滚,运营记录同期活动。
归档材料方案版本、分组规则、埋点定义、数据质量检查、结果报告和最终决定。结论中的数字必须能回到对应报表。

例如B组完成率更高,但删除比例也超过事先约定的护栏,就不能直接全量;应先定位是否存在误创建。若两组差异的区间仍覆盖有意义的收益与损失,结论是不确定,而非“已经证明没效果”。

把结果分成三种结论,避免过度解释

实验结束后可以按下面三类输出:

  • 满足上线条件:数据质量合格,预先约定的统计判断和业务收益门槛均满足,护栏未越界;按既定发布流程扩大范围。
  • 不确定:区间仍较宽、样本不足,或数据质量问题尚未排除;保留不确定性,按预定方案继续观察或重新设计实验,不临时无限延长。
  • 不采用当前方案:有充分证据表明收益未达到业务门槛、存在损害,或护栏越界;回滚或调整方案。仅仅“未显著”不能单独证明假设为假。

每种结论都要绑定下一步动作、负责人和日期。只写“结果良好”“继续观察”无法进入执行。

在 Boardmix 中协作实验方案

Boardmix 适合把方案、材料和判断过程放在一张可讨论的画布中;流量分配、埋点采集和统计推断仍需要对应的业务与分析系统。准备好上面的E-001内容后,打开 Boardmix 工作台,登录并创建协同白板:

  1. 用文档或文本放置问题与假设,在旁边画A、B两条路径,标明唯一要比较的入口变化。先讨论两组用户到底看到了什么。
  2. 从工具栏添加表格,把指标、分子、分母、窗口、负责人分成五列,逐项填入主指标和护栏。表格工具的用法可查阅官方帮助中心。
  3. 另设“数据质量”和“结果与决定”两个区域。方案区写版本和确认日期,结果区放分析报告链接及必要的数据摘要;不要用后来表现好的指标覆盖原指标。
  4. 邀请产品、数据、研发和运营在相应内容旁评论。尚未确认的样本、门槛或埋点问题保留负责人和完成条件,解决后再启动。
  5. 实验结束后,把支持、未知和不支持的证据分别写清,链接到产品决策记录,说明是否全量、回滚或重做,以及下一次检查时间。
Boardmix实验方案画布对比A与B的入口路径,并列出指标口径、比较条件与三种决策结果
画布组织假设、处理差异和判断规则;分流、埋点与统计分析由业务及分析系统完成。 查看大图

实验方案常见误区

  • 把一次灰度上线称为 A/B 实验,却没有对照或稳定分流。
  • 先看结果再选择指标,导致选择性解释。
  • 只看转化率,不设错误率、投诉或撤销等护栏指标。
  • 统计单位混用用户、会话和事件,分母随报告变化。
  • 实验期间修改多个变量,结果无法归因。
  • 发现数据异常仍继续解读,而没有记录缺失和修复时间。

常见问题

产品实验一定要做 A/B 分组吗?

不一定。探索性原型评估、可用性测试和灰度观察也有价值,但应使用与方法相符的结论强度。没有对照时,不要把前后差异写成确定因果。

实验可以中途调整指标吗?

若发现埋点错误,可以修复并记录影响;若只是结果不理想而临时换指标,应把它作为新的分析或实验,不能覆盖原方案。

什么时候应该停止实验?

严重故障、合规风险、用户损失或护栏指标越过安全线时应优先停止。正常结束则按预先写好的样本、周期和质量条件判断,不以某一天的波动决定。

继续完成这项任务

把想法整理成图,让讨论有据可依

用 Boardmix 梳理思路、绘制图表,与团队共同完善。

打开 Boardmix 白板 浏览模板