打造用户增长场景下的AB实验体系 咱们须要做什么

一、新用户场景下实验面临的疑问

UG 经过渠道，比如 Paid Ads、 ASO、SEO 等渠道，获客引流到 APP。接上去，会做一些新手的运营和疏导，来促活用户，使其进入成熟期。后续用户或许会缓缓地失活，进入消退期，甚至进入散失期。在这时期会做一些散失的预警，促活的召回，前面还有一些对散失用户的召回。

可以概括为上图中的公式，即 DAU 等于 DNU 乘上 LT。UG 场景下的一切上班都可以基于这一公式来拆解。

AB 实验是要对流量启动齐全的随机，关于实验组和不同和对照组，给予不同的战略。最后联合统计的方法和实验的假定做出迷信的决策，这就是整个实验的架构。现有市面上的实验分流的类型，大略分为两种：实验平台分流和客户端本地分流。

实验平台分流是有前提的，须要设备实现初始化能失掉到稳固的 ID，基于这个 ID 向实验平台请务实验平台实现分流相关的逻辑，把分流 ID 前往给端上，而后端上基于收到的 ID 做相应的战略。它的好处是有一个实验平台，能够保障分流的平均性和稳固性。它的缺陷是设备必定实现初始化才干启动实验分流。

另外一种分流是客户端本地分流，这种场景相对来说会比拟小众一点，关键是在一些 UG 的场景，广告开屏的场景，以及一些性能的初始化场景。这里一切的分流逻辑都是在端初始化时实现的，其好处很清楚，就是无时延，开机即可分流。从逻辑过去讲，其分流平均性也是能够失掉保障的。然而在实践的业务场景上，它的分流平均性经常存在疑问。前面会引见其要素。

3、新用户场景AB实验面临的疑问

UG 场景实践面临的第一个疑问是尽或许早的分流。

这里举个例子，比如这里的流量承接页面，产品经理感觉 UI 可以再优化一下，进而优化外围目的。在这样的场景下，咱们宿愿实验尽早地启动分流。

在页面 1 的分流，是在分流时设备实现初始化并失掉 ID，有 18.62% 的用户是没有发生 ID 的。假设用传统的实验平台的分流形式，会有 18. 62% 的用户是不能被分组的，先本能会发生选用偏向的疑问。

另外，新用户的流量是十分贵重的，有 18. 62% 的新用户不能被用于实验，关于实验的时长和流量应用效率也是有很大损失的。

未来处置实验尽或许早的分流的疑问，咱们就会用客户端本地分流实验。其好处是在设备初始化的时刻，就实现了分流。其原理为，首先是在端上方初始化的时刻，它自身就可以生成随机数，对随机数启动哈希当行启动雷同的分组，进而发生了实验组和对照组。从原理上看，应该能够保障分流是平均的，但经过上图中的一组数据会发现，有超越 21% 的用户是重复进到不同的组的。

有一种场景是，一些很受欢迎的产品，比如王者荣耀或许抖音，用户很容易上瘾。新用户在实验周期外面会有屡次的卸载重装。依照刚刚讲的本地分流的逻辑，随机数的发生和分流会让用户进入不同的组，这样就会发生分流的 ID 和统计 ID 不能一对一婚配。形成了分流不平均的疑问。

在新用户场景下，咱们还面临着实验评价规范的疑问。

咱们梳理了新用户流量承接这一场景的时期图。APP launch 的时刻，选用了分流。假定分流机遇能够做到这个，而且是平均的，同时就有相应的战略发生作用。接上去目的统计 ID 的生成是晚于战略作用的机遇的，在这时才干观测到数据。数据观测的机遇远远落后于战略作用的机遇，就会形成幸存者偏向。

二、新实验体系及其迷信性验证

为了处置上述疑问，咱们提出了新的实验体系，并对其迷信性启动了验证。

1、新用户场景实验分流ID选用

前面曾经讲到了新用户实验关于新用户的分流选用要求会比拟高，如何选用新用户实验分流 ID 呢？有以下几个准则：

2、分流才干迷信性验证

选用好分流 ID ，分流才干往往是经过两种形式，第一种是经过实验平台，第二种是经过端上实现。

有了分流的 ID ，把分流 ID 提供应实验平台，在实验平台里实现分流的才干。作为分流平台，最基本的是须要验证它的随机性。首先就是平均性。在同一层实验外面，把流量平均地分到了很多个分桶，每个分桶进组的数量应该是平均的。在这里可以简化一下，假设一层只要一个实验，分红 a、 b 两组，进组的对照组和实验组的用户数应该是近似相等的，进而验证分流才干的平均性。其次，关于多层实验，多层实验之间应该是相互正交，不受影响的，同理这里也须要去验证不同层实验之间的正交性。可以经过统计学上的 category test 去验证平均性和正交性。

引见完分流选用的 ID 和分流的才干，最后要从目的结果层面去验证新提进去的分流结果，能否合乎 AB 实验的要求。

3、分流结果迷信性验证

联合外部的平台，做了很屡次 AA 的simulation。

比拟对照组和实验组在对应的目的上方能否满足实验的要求。接上去看一下这一组数据。

抽样了一局部 t 测验的一些目的组，可以了解为关于做的这么屡次实验，放 type one error rate 应该是在很小的概率，假定 type one error rate 预约是在 0. 055% 左右，它的置信区间其实应该在 1000 次左右，应该是在 0. 0365- 0. 0635 之间。可以看到第一列抽样进去的一些目的，都在这个执行区间之内，所以从 type one error rate 视角来看现有的这个实验体系是 OK 的。

同时思考到测验是关于 t 统计量的测验，相应的 t 统计量在大流量的散布上方，应该是近似地听从正态散布的。也可以对 t 测验的统计量做正态散布的测验。这里用了正态散布的测验，可以看到测验进去的结果也是远远大于 0.05 的，即原假定成立，也就是 t 统计量是近似听从正态散布的。

关于每次测验 t 统计量测验进去的结果的 pvalue，在这么屡次实验外面来看，也是近似地听从平均散布的，同时也可以对pvalue 做平均散布的测验，pvalue_uniform_test，也可以看到相似的结果，它也是远远大于 0.05 的。所以原假定 pvalue 近似听从平均散布也是 OK 的。

以上从分流 ID 和目的计算口径的逐一对应相关，从分流的才干和分流的结果目的结果上方都去验证了新提进去的这种实验分流体系的迷信性。

接上去联合 UG 场景下的实践运行案例，解说如何做实验评价，处置前面提到的疑问三。

1、新用户场景实验评价

这里是典型的 UG 流量承接场景，在 NUJ 新用户疏导或许新用户义务的时刻会做很多的优化，从而优化流量应用率。这个时刻的评价规范往往都会是 retention rate，这是业界现有的惯例了解。

假定重新用户下载到装置再到首启的这个流程， PM 感觉这样的流程关于用户经常使用，特意是从未体验过产品经常使用的这一局部用户来说门槛太高了，是不是应该先让用户相熟产品，体验到产品的嘻哈 moment ，再疏导登录。

进而 PM 提出了另外的假定，关于素来没有体验过产品的用户，在新用户登录或许新用户 NUJ 的场景外面，降落阻力。关于体验过产品的用户，换机用户，还是走线上的流程。

基于目的 ID 启动分流，首先失掉的目的的 ID，而后启动分流，这样的分流往往是平均的，从实验的结果也可以看到，同时从 retention rate 上方也可以看到没有太大的区别。从这样的结果上，很难去做出推全的决策。这样的实验其实糜费了一局部流量，同时存在选用偏向的疑问，所以进而会做本地分流的实验，下图可以看到本地分流的实验结果。

进组的新设备数上方会有清楚性的差异，而且是置信的。同时在 retention rate 上方有优化，但在其它外围目的上其实是有负向的，而且这个负向很难被了解，由于它跟留存其实是强相关的。所以基于这样的数据，也很难去解释或许去归因，也很难去做出推全的决策。

可以去看一下重复进组的用户的状况，就会发现超越 20% 的用户是被重复进到不同的组的。AB 实验的分流的随机性就曾经被破坏了，这样的结果就很难允许咱们做出比拟迷信的决策。

最后，看一下用提出的新的分流的实验的结果。

开机即可分流，分流才干是由外部平台来保障的，它能够极大水高山保障分流的平均性和稳固性。从实验的数据来看，简直是凑近的，在做开方测验的时刻也能够看到它是齐全满足需求的。同时看到有效的新设备数是有极大的参与的，参与了1%，同时在 retention rate 上方也有所优化。同时从对照组或许单看实验组，能够看到基于分流 ID 到最终发生的新设备的流量转化率，实验组比对照组优化了 1% 。之所以发生这样的结果，实验组其实是加大了用户在 NUJ 和 NUT 的这个入水口，有更多的用户更容易出去体验到产品，进而留上去。

把实验数据拆成 login 和 not login 两局部，可以看到关于实验组的用户，有更多的用户选用了非登录的形式，去体验产品，同时留存也失掉了优化，这样的结果也是合乎预期的。

可以看到 by daily 的目的，进组的用户数，其实是有常年写，by daily 来看是稳固参与的，同时留存目的也有优化。实验组相比对照组在有效设备数和留存上都是有优化的。

关于新用户流量承接的场景，更多的评价目的是从留存或许短期的 LT 的维度来做的评价，这里的优化其实只是在 LT 层级的一维空间上方的优化。

而在新的实验体系外面，把一维优化变成了二维优化， DNU 神尚 LT 全体失掉了优化，这样战略空间从以前的一维变成了二维，同时在有些场景下是能接受一局部 LT 的损失的。

四、总结

最后，对新用户场景下实验才干树立和实验评价规范启动一下总结。