使用场景#

先定义主指标，比如点击率、转化率、留存率；再定义样本范围、实验时间和排除规则。实验期间不要随意改版本。

我会先准备一个小样本，保证可以人工检查结果。大表直接跑起来很快，但一旦结果不对，很难判断是代码错、字段错，还是数据本身脏。

最小代码#

1
summary = df.groupby("variant").agg(
2
    users=("user_id", "nunique"),
3
    conversions=("converted", "sum"),
4
)
5
summary["conversion_rate"] = summary["conversions"] / summary["users"]
6
print(summary)

检查结果#

• 行数是否符合预期，不能只看代码是否报错。
• 关键字段的类型、缺失值和唯一值数量是否合理。
• 输出结果能否用三到五行样本手工复算。
• 如果生成报表，要保留清洗前后的对账数字。

容易忽略的点#

容易忽略的是样本量和波动。样本太少时，短期差异可能只是随机波动，不适合立刻下结论。

最小验收样例#

我会用三行数据做一次手工验收：一行正常记录，一行边界记录，一行异常记录。代码跑完后，把输出和手工计算结果对照一遍，确认不是字段名写对了但口径理解错了。

如果这一步会进入日报、周报或正式报告，还要把输入行数、输出行数和被过滤的记录数写到日志里。数据处理的可信度，来自这些可以复查的中间证据。

小结#

A/B 测试先定义指标 要解决的是一个可复查的数据处理问题。先定义口径，再写代码，最后用样本和统计结果验收，分析结果才站得住。