18.1 一个有效的质量保障流程制度

图18-1是一个数据挖掘商业实践中质量保障流程制度的简单示意图。该流程制度从数据分析挖掘的业务需求收集整理开始,通过需求收集、评估、课题组成立、向业务方提交正式项目计划书、开展数据分析挖掘、提交结论报告及应用建议,到落地应用跟踪和总结,构成一个完整的数据挖掘商业实践流程和制度,很适用而且比较有效。

00148.jpeg

图 18-1 数据挖掘商业实践中质量保障流程制度的简单示意图

以下内容,将针对上述各环节的具体内容、重点、环节产出物、环节责任人、环节的价值等做详细的分解和说明。

18.1.1 业务需求的收集

作为流程制度的第1步,本环节重点在于收集、发掘来自业务实践的有价值的商业分析挖掘需求。俗话说得好,好的开头是成功的一半,一个在落地应用中取得较好商业价值的数据分析挖掘应用,一定是在最开始的业务需求提炼中就能够有效聚焦商业(业务)需求,并且该商业需求应适合转化成数据分析挖掘课题。

所谓有效聚焦商业(业务)需求,是说提炼、收集的分析需求应该是定义清楚的、符合业务场景的,并且能反映当前业务中的难点、瓶颈和前景,如果能有效解决,将会对业务发展产生正面的推动和促进作用。当然,这些要求都是需要接口相应业务线的数据分析师做初步判断和评估的。

所谓适合转化成数据分析挖掘课题,是指在商业实践中,有的分析需求是伪命题,比如明显不符合逻辑的业务假设,而有的分析需求则不具备分析条件,比如数据积累不足等。对于诸如此类的问题,则需要相关的数据分析师基于对业务的理解和对数据分析技术的了解而作出比较准确的判断并给出结论。

具体来说,本环节的制度流程包含了以下内容:

❑明确该环节的责任人。在企业的商业实践中,一般来说,每个业务线或业务板块,都应该有相应的数据分析师作为接口人来对接业务需求,该数据分析师需要熟悉相关的业务内容,负责对日常的数据分析工作进行支持。同时,该数据分析师也需要定期收集或提出业务线的专题数据分析挖掘课题方向。所以,各业务线(业务板块)的接口数据分析师即该环节的责任人,他(她)要负责月度、季度甚至半年中本业务线潜在的数据分析挖掘需求的收集、提炼和整理工作。

❑明确数据分析需求的两个来源。一般来说,需求的来源有两个,一个是由业务方(包括管理层)提出分析需求,另一个是由数据分析师基于自己的观察和判断提出的分析需求。两个来源都很重要,都不能忽视和放松。对于业务方来说,因为他们最了解自己的业务,具有旁人所无法具备的深刻的业务经验和业务敏感性,所以业务方提出的分析需求常常代表了业务方的难题和瓶颈,通常也预示着有效解决此分析需求将会极大促进业务发展。另外,因为是来自业务方的需求,所以在后期的分析讨论和落地应用实践中也常常会得到他们的大力支持和配合,这一点在落地应用中尤其重要。对于数据分析师来说,由于他们既了解接口的业务,又熟悉数据分析技术,所以数据分析师提出的潜在分析需求,相比业务方提出的分析需求常常更加容易转化成数据分析课题,更有复合性,其兼顾业务和分析技术。当然了,要具有这些优势,是需要数据分析师自身的素质和能力有一定的保证。

❑分析需求的提出,需要业务方给出正式的需求文档——分析需求申请书,哪怕是数据分析师提出的分析需求,也应该争取业务方的理解和支持,并由业务方提出需求,该需求文档一般是由业务方通过电子邮件(E-mail)的方式提交给数据分析部门,同时抄送业务方的业务主管。之所以需要抄送给业务主管,主要是为了确保业务分析需求是经过业务主管同意的,是从业务整体利益考虑的,并且是经过业务主管把关和过滤的;同时,只有是经过业务主管同意的业务分析需求,才可以保证在随后的业务分析展开和落地应用环节能得到业务方在组织构架上的有效支持和参与。如果没有业务主管的同意和支持,很多数据分析的结论在后期甚至根本就不能得到落地应用的机会。所以,取得业务主管的同意和支持是收集和提出分析需求的一个关键环节,这需要数据分析师和数据分析团队共同遵守。

18.1.2 评估小组评估需求的优先级

本环节作为流程制度的第2步,重点负责对分析需求进行评估,决定需求是否合理,对优先级进行排序等工作。分析需求评估是本流程制度的核心环节,在很大程度上决定了分析课题的最终商业效果和商业价值。

首先,应该由数据分析部门牵头成立一个需求评估小组,以负责需求评估的具体实施。需求评估小组作为数据分析部门内部评估分析需求的常设权威组织,一般由数据分析部门的领导、资深分析和建模专家、资深项目经理、各业务线的业务专家等组成,该小组负责对数据分析部门所接受的所有业务分析需求进行评估并做决定,同时监督立项的各分析课题的有效展开(或分析过程监控),在面对分析困境时要能给出明确具体的解决方法。通过设立并落实需求评估小组制度,不仅可以有效保障各分析课题的分析过程和最终产出物的质量,更可以有效指导后期的落地应用实践。

具体来说,本环节的制度流程包含以下内容:

❑需求评估小组定期(或不定期)对于各业务线的接口数据分析师所提交的业务分析需求进行评估。具体评估方向包括对建模(分析)技术的把握、不同分析思路及方法的罗列、潜在课题产出物对业务应用部门的商业支持价值、潜在课题产出物对数据分析部门的价值等,以此来评估业务需求的合理性和优先顺序,并初步过滤某些不合理需求,诸如伪命题、数据积累不足等。而对于合理的分析需求,除了排出优先级顺序之外,还要按照产能、资源等情况决定何时成立课题组,并考虑课题组的成员构成和各自的分工。

❑在需求评估会上,提交需求的各接口分析师要负责准备比较详细的背景介绍,以回答评估小组的提问,如果有必要,分析师要会前与业务方详细沟通并达成共识,记录并在会后回复重要的但在会上无法回答的关键数据、关键背景、关键业务逻辑。

❑需求评估小组负责人负责本环节的实施。

18.1.3 课题组的成立及前期摸底

本环节作为流程制度的第3步,重点在于成立具体的课题组,明确课题组的人员构成及前期任务。

具体来说,本环节的制度流程包含以下内容:

❑具体课题组人员的构成。课题组组长一般是由经验丰富的数据分析师担任,每个课题组至少应包含1名来自业务部门的业务方代表。这是因为一方面可以保证数据分析挖掘过程自始至终有业务方参与,并且能得到业务方的理解和支持;另一方面也可以在分析挖掘过程中,随时听取业务方的意见和建议,随时得到业务方的有效支持和响应。

❑前期摸底主要是针对具体的课题及课题组成员构成与业务方沟通、讨论,并抽取粗略的背景数据,以便透彻理解业务背景和需求逻辑,为准确制订课题计划书提供重要的理论和数据参考依据。

❑课题组长负责本环节的具体执行。

18.1.4 向业务方提交正式课题(项目)计划书

本环节作为流程制度的第4步,重点在于完成并提交正式课题(项目)计划书。

具体来说,本环节的制度流程包含以下内容:

❑经过前期的摸底,并对课题小组的人员构成进行讨论后,将需求提交给评估小组,在获得认可后,就要通过E-mail向业务需求方提交正式的课题(项目)计划书了。计划书包括具体课题组的人员组成、时间结点、人员分工、产出物预估等,并通过邮件告知相关业务方负责人、需求评估小组成员、相关接口人及课题组成员。

❑对于比较复杂的课题,有一定技术难度的课题,其课题(项目)计划书通常是需要事先提交给评估小组的负责专家进行认可的,之后才能正式提交业务方。之所以增加这个认可环节,主要是为了确保课题(项目)的产出物质量。

❑课题组长负责本环节的具体执行。

18.1.5 数据分析挖掘的课题展开

本环节作为流程制度的第5步,重点在于具体展开分析挖掘工作。

具体来说,本环节的制度流程包含以下内容:

❑在计划书规定的时间结点内,课题组按计划有序地展开分析工作。

❑其间有阶段性的业务沟通、初步结论反馈分享、模型修正等。

❑课题组长负责本环节的具体执行,需求评估小组负责分析挖掘过程中对技术难点的技术支持。

18.1.6 向业务方提交结论报告及业务落地应用建议

本环节作为流程制度的第6步,重点在于提交课题产出物及落地应用建议。

具体来说,本环节的制度流程包含以下内容:

❑项目在规定的时间完成后,先在数据分析部门内部分享、讨论,并征求修改意见,由需求评估小组专家成员给出对于成果的评价和意见。

❑经过讨论和修改,并得到需求评估小组专家成员的认可后,正式向业务需求方提交课题(项目)产出物和相应的落地应用建议。

❑课题(项目)的产出物,包括落地应用建议的主要内容(视不同课题)包括结论、模型覆盖率、模型效率、特征阀值、预测的分数、建议的目标群体规模、建议的运营方式和策略等。

❑课题组长负责本环节的具体执行。

18.1.7 课题(项目)的落地应用和效果监控反馈

本环节作为流程制度的第7步,重点在于落地应用的监控和效果反馈,以及后期的模型维护、更新和优化等。

单纯输出模型或者得出分析结论还远远谈不上业务价值和业务贡献,只有在落地应用中才能体现其价值,所以课题(项目)小组的成员必须与业务方一起,参与到业务落地应用的全过程中,包括一起制定运营策略、具体实施监控、模型实施后的效果评估以及反馈总结等。

具体来说,本环节的制度流程包含以下内容:

❑模型的应用效果原则上是由业务方负责监控和总结的,数据团队可以在技术、思路上给予指导和帮助。之所以由业务方来负责效果监控,主要是为了确保对分析结论,如对模型精度、效率、效果等的客观评价。

❑对于落地应用中效果良好的课题,相应课题(项目)组长要负责组织、总结并对此进行宣传(以企业内部邮件的形式),目的是逐步提升数据分析团队的影响力、凝聚力和集体荣誉感。

❑对于落地应用中效果不好的课题,相应课题(项目)组长负责组织效果诊断会,邀请相关的业务方、课题组、需求评估小组专家等一起找原因,不断完善模型和分析结论,不断优化落地应用环节和效果。

❑落地应用后的总结、反馈由课题(项目)组长在数据分析团队的周会上做专题分享和讨论,目的是不断总结经验教训,让数据分析团队成员共同进步,共同成长。

❑在模型应用后,课题(项目)组同时还要负责每3~6个月的模型Review,包括根据应用效果决定模型是否需要修正,如何修正,并且在具体修正后重新投放应用等。

❑对于落地应用后效果比较稳定的解决方案,由课题(项目)组协助开发团队和数据仓库团队进行相关的模型固化工作,把模型嵌入企业的自动化流程中去。