6.10 业务方实施落地应用方案并跟踪、评估效果

按照上述的运营和监控方案对运营组和对照组进行分层的精细化运营,一周后效果结论出来了,效果结论是从以下两方面来测量的。

❑预测模型的稳定性评测。根据对照组的模型来进行验证,经验证,模型的稳定性非常好,与当初模型拟合时的稳定性完全一致,得分最高的30%用户群里,可以有效覆盖75%的流失用户。

❑运营效果,即流失客户的挽留效果的评测。6个细分群体的运营组与未作运营触碰的对照组相比,没有流失率上的差别,换句话说,本次运营没有达到挽留客户,降低流失率的目的。

根据对邮件运营方式每个环节的完成率进行分析,有充足的理由可以认为电子邮件通道的打开率和行动率非常低。总体的运营效果非常差,如图6-5所示。

00049.jpeg

图 6-5 第一次运营的效果评估图

面对该模型落地应用后的首次实战评估效果不佳,业务方和数据分析师一起讨论了原因并寻找突破口。当时会议主要的焦点如下:

❑从电子邮件运营的效果来看,邮件运营组相比于对照组没有实质性的流失降低,个别组甚至流失率高于对照组。同时,电子邮件运营的打开率和行动率都非常低,是运营文案的问题?还是运营通道即电子邮件的问题?或者是其他的问题呢?

❑从IM运营的效果看,除了个别细分组的效果好些外,大部分的效果也跟对照组没有区别,是否是文案和运营策略需要调整……

❑接下来的运营策略是什么?