第44件事 5步评估改版后的效果

小O最近在网上看到一个段子,说的是产品经理有三宝:山寨、改版、再推倒。每次做产品的版本规划,其实都是为了改版,改版的目的是提升各项指标数据,但是产品经理经常会遭遇研发团队、UED、运营团队的责难。按照产品经理的需求改版之后,到底有没有效果?效果显不显著?拿什么来证明改版的效果是显著的?这些问题的分歧经常导致团队成员之间的矛盾冲突。小O也不例外。好几次面对研发和运营团队同事咄咄逼人的质问,心中难免不爽,但是又拿不出有力的证据来证明,只能向高手请教了。老K师傅也见过几次这种团队矛盾冲突的情况,思考和总结了一套方法,打算传授给小O。

如何评估改版后有没有效果,效果显不显著?最有利的证明就是运营数据。在很多数据驱动的团队,经常是拿数据说话,评估改版后的效果也是以数据为依据的。不过,需要引起注意的是,数据本身也是存在谎言的,需要我们用科学的数据分析方法进行验证,确保其准确性。

1.确定关键数据指标

评估改版效果的第一步就是确定关键数据指标。不同的产品,关键数据指标可能会不一样,比如电商产品,其收入公式如下:

收入=访问者数量×转化率×客单价

不难看出,访问者数量、转化率和客单价是最重要的三个数据指标。

而对于游戏型产品来说,收入公式如下:

收入=用户活跃数×付费率×ARPPU

其中:

  • 付费率:是指付费用户的比例。
  • ARPPU:是指平均每个付费用户的收入。

不难看出,用户活跃数、付费率和ARPPU是最重要的三个指标。对于媒体型产品来说,可能PV和UV是关键数据指标。对于社区型产品来说,可能活跃度和留存率是关键数据指标。

我们以手游产品迭代改版为例,评估改版效果最关键的三个数据是用户活跃数、付费率和ARPPU。我们以手游产品的月收入为例,月收入=月用户活跃数×月付费率×月ARPPU,其中月活跃用户数是数值型数据,月付费率是比率型数据,月ARPPU是数值型数据,数据类型不同,分析和检验的方法也会不同。

2.假设检验

假设检验(Hypothesis Testing)又称显著性检验(Significance Testing),是数理统计学中根据一定假设条件由样本推断总体的一种方法。其基本原理是先对总体的特征作出某种假设,然后通过抽样研究的统计推理,对此假设应该被拒绝还是接受作出推断。既然以假设为前提,那么在进行检验前需要提出相应的假设:

  • H0:原假设或零假设(null hypothesis),即需要去验证的假设;一般首先认定原假设是正确的,然后根据显著性水平选择是接受还是拒绝原假设。
  • H1:备择假设(alternative hypothesis),一般是原假设的否命题;当原假设被拒绝时,默认接受备择假设。

如原假设是假设总体均值μ=μ 0,则备择假设为总体均值μ≠μ 0,检验的过程就是计算相应的统计量和显著性概率,来验证原假设应该被接受还是被拒绝。

常见的假设检验主要有卡方检验和T检验。

3.卡方检验

卡方检验(chi-square test),也就是x 2检验,用来验证两个总体间某个比率之间是否存在显著性差异。也就是说卡方检验适用于比率型的数据,即月付费率。假设在一定的时间区间内,比如说改版前后各30天,取30天数据的均值,改版前月活跃用户数是10000,月付费用户数是1000,月付费率为:

r1=1000/10000=10%r_1=1000/10000=10\%

改版后月活跃用户数是20000,月付费用户数是3000,月付费率为:

r2=3000/20000=15%r_2=3000/20000=15\%

我们先进行假设,H0:r1=r2H_0:r_1=r_2,改版前后月付费率相等。H1:r1r2H_1:r_1\neq r_2,改版前后月付费率不相等。

将(10000,1000)和(20000,3000)两组数据分别输入一个卡方检验模板,得出的结果如图7-8所示。

00139.jpg

图7-8 卡方检验

注意上图中总访问数等同于月活跃用户数,转化访问数等同于月付费用户数,转化率等同于月付费率。结论就是改版前后的月付费率在95%的置信水平上存在显著性差异,说明改版后月付费率效果显著。

4.T检验

T检验(T Test)是最常见的一种假设检验类型,主要验证总体均值间是否存在显著性差异。T检验属于参数假设检验,所以它适用的范围是数值型的数据。T检验还需要符合一个条件:总体符合正态分布。

T检验适用于手游产品的月活跃用户数和月ARPPU。这里就以月ARPPU为例。假设以一定的时间区间为界限,比如说改版前后各10天,改版前月ARPPU的10天数据分别是23.6、28.9、24.1、21.7、27.4、28.6、29、24.2、26.3、22.1;改版后月ARPPU的10天数据分别是29.1、24.4、30.9、28.8、25.3、29.8、26、30.2、31.7、27.6。将数据输入Excel,使用Excel的数据分析工具,选择“t检验:平均值的成对二样本分析”,输出检验结果:单尾P值=0.014901。由于0.014901<0.05,即单尾P值<0.05,存在显著性差异,所以改版后月ARPPU效果显著。

5.总体结果评估

总体结果评估会存在3种结果,我们以手游产品的月收入三个关键指标为例。

月收入=月用户活跃数×月付费率×月ARPPU

所以3种结果如下:

  • 月用户活跃数改版后效果显著,月付费率改版后效果显著,月ARPPU改版后效果显著,故总体改版效果显著。
  • 月用户活跃数改版后效果不显著,月付费率改版后效果不显著,月ARPPU改版后效果不显著,故总体改版效果不显著。
  • 月用户活跃数、月付费率、月ARPPU这3个指标中只要存在一个或两个指标不显著,剩余指标显著,这时应依据月收入的增加或减少来评估结果,如果改版后总体月收入增加,则改版效果显著;如果改版后总体月收入减少,则改版效果不显著。

小O听完老K师傅的课,这下心里有底了,以后跟研发和运营团队争执或者矛盾冲突的时候,就可以拿数据作为证据。事实胜于雄辩,有理有据,自己也有底气多了。

00128.jpg

平时工作中,经常会用到卡方检验(适用于比率型数据)和T检验(适用于数值型数据)去检验产品的关键数据指标改版效果是否显著。当所有数据指标改版后效果都显著时,整体改版效果为显著;当所有数据指标改版后效果都不显著时,整体改版效果为不显著;当有的指标显著,有的指标不显著时,看总体效果而定。