产品实验不是“上线一个版本看看数据”,而是提前写清:要验证什么、用什么指标判断、哪些用户进入比较、什么时候停止、结果如何影响下一步。缺少这些条件,实验结束后很容易只挑支持观点的数据解释。
下面以“首次创建白板时,是否提前展示模板选择”为虚构教学案例,给出可填写的方案和决策规则。它不是 Boardmix 已开展的实验,也没有真实效果数据。随机分组实验、灰度发布和上线前后观察回答的问题不同;样本不足的随机实验可以是不确定的实验结果,不能靠改名解决证据不足。

先把问题写成可证伪的假设
好的假设同时包含对象、变化、结果和方向,例如:
对首次进入白板创建流程的用户,将“选择模板”提前到创建流程中,能提高首次进入后24小时内的创建完成率,同时不增加创建后24小时内的删除比例。
这个句子可以被数据推翻。如果只写“模板能提升体验”,无论结果怎样都能解释成支持,无法指导决策。
写假设时检查四点:
- 对谁:新用户、回访用户、团队管理员,还是某个使用场景?
- 改什么:入口、文案、流程步骤、推荐规则或默认值?
- 影响什么:完成率、错误率、留存、耗时还是投诉?
- 方向和边界:希望上升、下降或保持不变,允许的副作用是什么?
指标要写口径、分母和观察窗口
实验方案中最容易造成争议的是指标名称相同、计算口径不同。每个指标至少写出定义:
| 指标类型 | 示例定义 | 需要补充的口径 |
|---|---|---|
| 主指标 | 首次创建完成率 = 首次进入后24小时内创建完成的用户数 / 符合资格且已分组、首次进入流程的用户数 | 成功事件、去重方式、观察窗口 |
| 护栏指标 | 创建后24小时内的删除比例 | 分母为创建完成用户;删除事件定义、每人首份白板、窗口是否完整 |
| 诊断指标 | 模板选择页到下一步的转化率 | 页面版本、埋点时机、缺失数据处理 |
| 质量指标 | 实验期间错误上报率 | 错误类型、采集渠道和排除规则 |
主指标用于决定是否达到目标,护栏指标用于防止局部提升伤害其他体验,诊断指标帮助解释原因。不要用多个指标中表现最好的一项替代预先定义的主指标。
分组和对照:先确认是否真的能比较
要解释某个改动带来的效果,应让符合相同资格条件的对象随机进入处理组或对照组,并在同一时期观察。“两组看起来相近”不能替代随机分配。方案中写清:
- 谁可以进入实验,谁必须排除?
- 分组单位是用户、团队、设备还是会话?同一用户能否跨组?
- 分流在哪里发生,分流结果如何持久化?
- 组间除了实验变量,是否还存在版本、渠道、地域或运营活动差异?
本例若只改变个人创建页面,可按稳定的用户标识分组,同一用户再次访问仍留在原组;若改动影响团队共享的模板入口,就要考虑按团队分组,并按相应统计单位分析,避免同一团队成员互相影响。
如果只能先后上线、无法建立对照,仍可以做前后对比,但结论应写成“观察到变化”,同时记录同期活动、季节性和数据口径变化。不要把前后差异直接归因于实验变量。
样本、周期和停止条件怎么定
不必凭经验写一个看起来精确的天数。方案至少说明:
- 预计每天可进入实验的用户量和有效事件量。
- 需要覆盖的完整业务周期,例如工作日与周末。
- 何时检查数据质量,何时允许查看结果。
- 提前终止的条件:严重错误、合规风险、护栏指标越过安全线等。
- 正常结束条件:达到预先约定的样本、周期和数据质量要求。
启动前由数据负责人根据基线完成率、最小值得投入的变化幅度、显著性水平、统计功效和分组单位估算样本。把“值得投入的提升”写成绝对百分点或相对百分比,并明确单位;完成率从20%到22%是提高2个百分点,也可表述为相对提高10%,两者不能混用。
固定样本方案应按约定周期结束,不因某天结果刚好越过显著性门槛就宣布胜出;使用序贯方法时,则按预先约定的统计规则判断。严重故障可以触发安全停止,但这不等于已经得到有效的效果结论。
看结果前先看分流与数据质量。例如计划50:50分组时,实际人数不必完全相等,但如果出现超出随机波动可解释范围的比例偏差,应调查分流、日志丢失或过滤规则。Microsoft 的样本比例失配说明将此类问题视为实验可信度检查;查清原因前不据此选胜出方案。
产品实验方案模板
你可以直接复制下面的结构填写:
1. 背景和问题
说明当前行为、证据来源、影响范围和为什么现在验证。
2. 假设
用“对谁—改什么—预期影响—允许副作用”写一句可证伪的假设。
3. 实验变量
列出处理组与对照组要比较的差异,尽量保持其他配置、版本和运营条件一致;无法固定的变化要记录。一次同时改入口、文案与推荐时,结论只针对这一整组改动,不能声称识别了每个组件的效果。
4. 指标和口径
写主指标、护栏指标、诊断指标、分母、去重、观察窗口和数据负责人。
5. 分组与实施
说明资格条件、分组单位、分流位置、上线顺序、回滚方式和监控入口。
6. 样本和时间
写预计流量、最短观察周期、数据检查点和结束条件;缺少统计依据时明确限制。
7. 决策规则
预先写出“满足上线条件、暂不确定、不采用当前方案”分别对应的动作,而不是看完结果再决定标准。
填写示例:E-001 模板入口位置实验
| 方案项 | 本例填法 |
|---|---|
| 资格与排除 | 首次进入创建流程、此前没有创建成功记录的登录用户;内部测试账号在分组前排除,不按实验后的行为剔除失败用户。 |
| A组与B组 | A沿用原创建入口,B将模板选择提前;两个组都保留空白创建路径。模板供给和其他页面内容保持一致。 |
| 分组与曝光 | 按用户标识稳定随机分组,预设比例50:50;记录分组、进入流程、完成创建三个不同事件。统计资格与曝光口径先由数据和研发对齐。 |
| 主要判断 | 主指标为24小时创建完成率;删除比例与错误率为护栏。上线门槛、可接受护栏变化和分析方法在启动前填写并确认,本文不提供通用阈值。 |
| 样本与时间 | 先完成样本估算,记录目标样本数和最长观察期;覆盖预定业务周期,最后一批用户也获得完整观察窗口。流量不足时按预定规则输出不确定。 |
| 职责 | 产品确认假设与上线门槛,数据确认口径与统计方案,研发验证分流与埋点并准备回滚,运营记录同期活动。 |
| 归档材料 | 方案版本、分组规则、埋点定义、数据质量检查、结果报告和最终决定。结论中的数字必须能回到对应报表。 |
例如B组完成率更高,但删除比例也超过事先约定的护栏,就不能直接全量;应先定位是否存在误创建。若两组差异的区间仍覆盖有意义的收益与损失,结论是不确定,而非“已经证明没效果”。
把结果分成三种结论,避免过度解释
实验结束后可以按下面三类输出:
- 满足上线条件:数据质量合格,预先约定的统计判断和业务收益门槛均满足,护栏未越界;按既定发布流程扩大范围。
- 不确定:区间仍较宽、样本不足,或数据质量问题尚未排除;保留不确定性,按预定方案继续观察或重新设计实验,不临时无限延长。
- 不采用当前方案:有充分证据表明收益未达到业务门槛、存在损害,或护栏越界;回滚或调整方案。仅仅“未显著”不能单独证明假设为假。
每种结论都要绑定下一步动作、负责人和日期。只写“结果良好”“继续观察”无法进入执行。
在 Boardmix 中协作实验方案
Boardmix 适合把方案、材料和判断过程放在一张可讨论的画布中;流量分配、埋点采集和统计推断仍需要对应的业务与分析系统。准备好上面的E-001内容后,打开 Boardmix 工作台,登录并创建协同白板:
- 用文档或文本放置问题与假设,在旁边画A、B两条路径,标明唯一要比较的入口变化。先讨论两组用户到底看到了什么。
- 从工具栏添加表格,把指标、分子、分母、窗口、负责人分成五列,逐项填入主指标和护栏。表格工具的用法可查阅官方帮助中心。
- 另设“数据质量”和“结果与决定”两个区域。方案区写版本和确认日期,结果区放分析报告链接及必要的数据摘要;不要用后来表现好的指标覆盖原指标。
- 邀请产品、数据、研发和运营在相应内容旁评论。尚未确认的样本、门槛或埋点问题保留负责人和完成条件,解决后再启动。
- 实验结束后,把支持、未知和不支持的证据分别写清,链接到产品决策记录,说明是否全量、回滚或重做,以及下一次检查时间。

实验方案常见误区
- 把一次灰度上线称为 A/B 实验,却没有对照或稳定分流。
- 先看结果再选择指标,导致选择性解释。
- 只看转化率,不设错误率、投诉或撤销等护栏指标。
- 统计单位混用用户、会话和事件,分母随报告变化。
- 实验期间修改多个变量,结果无法归因。
- 发现数据异常仍继续解读,而没有记录缺失和修复时间。
常见问题
产品实验一定要做 A/B 分组吗?
不一定。探索性原型评估、可用性测试和灰度观察也有价值,但应使用与方法相符的结论强度。没有对照时,不要把前后差异写成确定因果。
实验可以中途调整指标吗?
若发现埋点错误,可以修复并记录影响;若只是结果不理想而临时换指标,应把它作为新的分析或实验,不能覆盖原方案。
什么时候应该停止实验?
严重故障、合规风险、用户损失或护栏指标越过安全线时应优先停止。正常结束则按预先写好的样本、周期和质量条件判断,不以某一天的波动决定。