产品实验方案怎么做？从假设、指标到停止条件的完整模板

产品实验不是“上线一个版本看看数据”，而是提前写清：要验证什么、用什么指标判断、哪些用户进入比较、什么时候停止、结果如何影响下一步。缺少这些条件，实验结束后很容易只挑支持观点的数据解释。

本文提供一套适合功能、流程和内容改版的实验方案结构。若样本量、分流或统计条件不足，应诚实写成观察性验证或灰度评估，不把它包装成因果实验。

先把问题写成可证伪的假设

好的假设同时包含对象、变化、结果和方向，例如：

> 对首次创建白板的用户，将“选择模板”提前到创建流程中，能减少首次创建过程中的中断，并且不降低成功发布比例。

这个句子可以被数据推翻。如果只写“模板能提升体验”，无论结果怎样都能解释成支持，无法指导决策。

写假设时检查四点：

• 对谁：新用户、回访用户、团队管理员，还是某个使用场景？
• 改什么：入口、文案、流程步骤、推荐规则或默认值？
• 影响什么：完成率、错误率、留存、耗时还是投诉？
• 方向和边界：希望上升、下降或保持不变，允许的副作用是什么？

指标要写口径、分母和观察窗口

实验方案中最容易造成争议的是指标名称相同、计算口径不同。每个指标至少写出定义：

主指标用于决定是否达到目标，护栏指标用于防止局部提升伤害其他体验，诊断指标帮助解释原因。不要用多个指标中表现最好的一项替代预先定义的主指标。

分组和对照：先确认是否真的能比较

正式比较通常需要同时存在处理组和对照组，并且两组在进入实验前有相近的资格条件。方案中写清：

1. 谁可以进入实验，谁必须排除？
2. 分组单位是用户、团队、设备还是会话？同一用户能否跨组？
3. 分流在哪里发生，分流结果如何持久化？
4. 组间除了实验变量，是否还存在版本、渠道、地域或运营活动差异？

如果只能先后上线、无法建立对照，仍可以做前后对比，但结论应写成“观察到变化”，同时记录同期活动、季节性和数据口径变化。不要把前后差异直接归因于实验变量。

样本、周期和停止条件怎么定

不必凭经验写一个看起来精确的天数。方案至少说明：

• 预计每天可进入实验的用户量和有效事件量。
• 需要覆盖的完整业务周期，例如工作日与周末。
• 何时检查数据质量，何时允许查看结果。
• 提前终止的条件：严重错误、合规风险、护栏指标越过安全线等。
• 正常结束条件：达到预先约定的样本、周期和数据质量要求。

如果没有统计功效计算或足够样本，结论中不要使用“显著提升”“确定有效”等强表述。可以把结果作为下一轮实验的线索，并说明不确定性。

产品实验方案模板

你可以直接复制下面的结构填写：

1. 背景和问题

说明当前行为、证据来源、影响范围和为什么现在验证。

2. 假设

用“对谁—改什么—预期影响—允许副作用”写一句可证伪的假设。

3. 实验变量

列出处理组与对照组的唯一差异，固定其他配置、版本和运营条件。

4. 指标和口径

写主指标、护栏指标、诊断指标、分母、去重、观察窗口和数据负责人。

5. 分组与实施

说明资格条件、分组单位、分流位置、上线顺序、回滚方式和监控入口。

6. 样本和时间

写预计流量、最短观察周期、数据检查点和结束条件；缺少统计依据时明确限制。

7. 决策规则

预先写出“支持假设、暂不确定、否定假设”分别对应的动作，而不是看完结果再决定标准。

把结果分成三种结论，避免过度解释

实验结束后可以按下面三类输出：

• 支持：主指标达到预设方向和门槛，护栏指标没有越界，数据质量合格。
• 不确定：主指标变化不稳定、样本不足或存在明显数据缺失，暂不扩大全量。
• 不支持：主指标未达到门槛，或护栏指标变差；分析原因后决定回滚、修改假设或停止。

每种结论都要绑定下一步动作、负责人和日期。只写“结果良好”“继续观察”无法进入执行。

在 Boardmix 中协作实验方案

可以把问题、假设、指标表、分组图和结论放在同一画布，给每个卡片标注负责人和状态。实验前锁定方案版本；数据检查时只更新结果区域，并保留原始口径和变更说明。这样产品、数据、研发和运营讨论的是同一份规则，而不是各自的截图。

实验方案常见误区

• 把一次灰度上线称为 A/B 实验，却没有对照或稳定分流。
• 先看结果再选择指标，导致选择性解释。
• 只看转化率，不设错误率、投诉或撤销等护栏指标。
• 统计单位混用用户、会话和事件，分母随报告变化。
• 实验期间修改多个变量，结果无法归因。
• 发现数据异常仍继续解读，而没有记录缺失和修复时间。

常见问题

产品实验一定要做 A/B 分组吗？

不一定。探索性原型评估、可用性测试和灰度观察也有价值，但应使用与方法相符的结论强度。没有对照时，不要把前后差异写成确定因果。

实验可以中途调整指标吗？

若发现埋点错误，可以修复并记录影响；若只是结果不理想而临时换指标，应把它作为新的分析或实验，不能覆盖原方案。

什么时候应该停止实验？

严重故障、合规风险、用户损失或护栏指标越过安全线时应优先停止。正常结束则按预先写好的样本、周期和质量条件判断，不以某一天的波动决定。