遇到辛普森悖论式的反转,先别急着推翻分组结论。正确动作是找到“总体”和“分组”各自的分母定义,确认它们是否来自同一批可观测对象、同一时间窗和同一去重规则;多数反转不是数据错了,而是两个分母在回答不同问题。缺少完整数据或权限时,你仍可完成一项最小动作:把总体数字拆成“分组分子之和”与“分组分母之和”,检查是否等于总体分子与分母,不等就先修口径再谈结论。
两种条件对应两种选择。条件一:总体和分组都能拿到分子、分母原始计数,此时应直接重算,而不是比较现成比率。条件二:只有比率、没有分母,或部分分组被权限截断,此时应停止下“总体优于分组”或“分组优于总体”的结论,转而标注“分母不可核验”。
判断依据不是比率高低,而是三个可核查证据:各分组分母之和是否等于总体分母;总体时间窗是否覆盖所有分组;去重键(如设备、账号、会话)在总体和分组中是否一致。只要其中一项不一致,反转就可能是口径造成的。
假设一个短例子:某栏目总体转化率为 4%,按来源分组后,A 来源 6%、B 来源 2%,但总体仍显示 4%。若 A 的分母只统计了登录用户,B 的分母统计了全部访客,那么 A 的高比率来自更窄的分母,不能直接推断 A 渠道质量更好。这里数字仅用于说明比较方法,不代表任何真实项目结果。
没有完整权限时,先执行以下动作,并记录每一步的结果如何影响下一步:
这个动作的结果会直接决定下一步:分母对不上,就修数据范围;分母对得上但权重差异大,就改用加权口径或分层报告;两者都对且反转仍存在,才需要回到业务解释。
缺少完整数据或权限时,仍可执行的最小动作是:只核对一个时间窗、一个指标、一个去重键,确认可见分组的分母之和是否等于总体分母。若无法取得总体分母,可退一步检查各分组的分母定义是否一致,例如是否都按访客、都按会话、都按曝光。
但不能推出的结论包括:不能仅凭比率反转断定某个分组更优;不能因某个分组分母归零就认为该来源没有价值;不能因总体数字未变就认为分组变化没有发生。请求量、抓取量或某项统计归零,也可能是权限截断、时间窗错位、过滤条件变化或上报延迟,不能单独证明处理正确。
例外情况:如果总体本身是估算值,而分组是站内精确计数,两者口径天然不同,此时应优先相信可核验的分组计数,并把总体当作参考,而不是把两者直接比较。
最终报告里,先写分母定义,再写分子,最后写比率。若分母不可核验,就在结论旁标注“不可比”,并说明缺失的是哪一部分。这样做的实际影响是:后续修复动作会从“调整渠道”转向“补齐分母”或“统一去重”,避免在错误口径上继续做优化。
一个可执行的收尾动作是:把总体和分组的分子、分母、时间窗、去重键并列记录,交给能提供完整数据的人复核。若复核后分母仍对不上,结论应停留在“口径待确认”,而不是“分组结论推翻总体”。