如何评价客户流失预测模型效果呢？
用来评估客户流失预测模型预测效果好坏的一个重要指标就是提升度了。所谓提升度，简单来说，使用模型预测客户流失比不使用模型要好多少。如图，将客户按流失概率由大到小排名，图中的点（10%，50%）表示流失排名前10%的客户包含了实际流失客户的50%。换句话说，如果企业有300万的客户，平均流失率为1%，如果对前10%的客户进行捕获，实际上能够捕获到真实流失的客户15000人（即300万×1%×50%）。
图中蓝线表示在没有预测模型指导的情况下随机抽取客户的结果。这条线其实很好理解，如果抽取10%的客户，则能够捕获到300万×10%×1%个流失客户，占到总实际流失客户的300万×10%×1%÷（300万×1%）=10%，所以这条线实际上是一条斜率为45度的直线。图中红线表示客户流失预测模型预测下的结果，如线上的点（10%，50%）表示流失排名前10%的客户包含了实际流失客户的50%。所以，对于流失排名前10%的客户，使用模型预测的效果是没有使用模型预测的5倍！这就是所谓的提升度。
其实，上图的红线就是传说中的ROC曲线，全称Receiver Operating Characteristic Curve，中文名叫接收者操作特性曲线。而蓝线就是基准线。一般来说，ROC曲线与偏离基准线，越向左上方靠拢，模型的预测效果就越好。
提升度对于评判模型预测性能好坏固然很重要。但是，人们往往只关注有由提升度所给出的模型预测效果，却忽视（或者没有去评估）客户流失预测模型所表现出来的“应用效果”。
人们一般比较关心，有了这样一个流失预测模型，或者说在这个模型的指导下对高流失可能客户开展挽留关怀活动，下个月的客户流失率会不会显著地降低呢？这样的看法是不正确的，因为客户流失预测模型只是揭示了“什么样的客户更可能会流失”这样一个客观规律。
实际情况是，在使用客户流失预测模型之后，客户流失率往往得不到大幅度的降低。下面通过一个证券行业的例子来说明。
假设某个券商A，当前有300万的客户，月平均流失率为1%。为了更好地建立预测模型，在开发模型的过程，仅对有效客户进行建模，也就是说，在建模之前，需要通过设定一定的条件来剔除非有效客户，如机构客户、资产极大或极小客户、无交易行为客户，等等。这样，有效客户数120万，月平均流失1.8万，流失率为1.5%。最后，券商A针对有效客户开发了客户流失预测模型，其效果可以用上面的图示来表示，即如果选取最具流失倾向的前10%客户作为目标活动客户，可以包括所有实际流失客户的50%。
由于券商A的各方面资源紧缺，客服人员人数有限。所以券商A决定根据流失预测模型的高流失倾向的客户名单，对有效客户开展一对一的针对性挽留关怀活动，而对非有效客户，则希望通过普通的营销政策进行挽留。
券商A按照流失预测模型给出的流失倾向评分从高到低，依次选择这次活动的目标客户，即从120万的有效客户中选取了前5%的高流失倾向客户作为目标客户，即6万。，接下来，客服人员将在“挽留月”对这6万客户进行一对一的挽留关怀工作。券商A希望能在月末的流失率统计中有一个令人满意的结果。
这6万客户中真实流失的客户有120×5%×1.5%×5=0.45万个，若能全部挽留住这0.45万个客户自然是好，但在实际挽留关怀工作中，却是很难做到。
我们需要注意客户流失预测模型在实际应用中会引起耗散的几个地方：
（1）在全部客户中，仅对有效客户进行针对性挽留关怀，假设比例a，这里a=120/300=40%
（2）目标活动客户选取时，仅对高流失倾向客户进行挽留，假设选取比例b=5%
（3）客户挽留过程，存在目标活动客户的接触成功率，假设c
（4）客户接触成功的客户中又存在挽留成功率问题，假设d
根据之前券商A在客服方面的经验，a、b、c、d都是可以估算的。这里不妨假定，成功接触率c为50%，接触成功的客户中有流失倾向的人的挽留成功率d为30%。
进一步假设流失客户在接触到和接触不到的客户中均匀分布，我们可以计算出券商A根据流失预测模型来采取挽留关怀活动能够成功挽留下来的客户数量为
成功挽留的客户数=总客户数×有效客户比例a×高流失倾向客户比例b×有效客户的平均流失率×模型提升度×接触成功率c×接触到的客户的成功挽留率d=3000000×40%×5%×1.5%×5×50%×30%=675人
在这种情况下，总体流失率=（30000-675）/3000000=0.9775%，和不做活动的1%几乎没有什么区别！
从这里我们可以看出，客户流失预测模型并没有给企业带来关于客户流失率方面的多大改变。看到这样的结果，有人不禁要问，那还要不要做流失预测模型呢？这是一个非常现实的问题。
实际上，回答这个问题，首先就要回答另外一个问题：建立流失预测模型的目的是为了减低客户流失率呢，还是为了提高关怀与挽留工作的有效性呢？如果是单纯为了大幅度降低客户流失率，流失预测模型所起到的效果是相对较少的。原因很简单，流失预测模型其实是一种方法论，它并不能直接带来客户流失率的降低。打个比方，就好比给病人看病，再先进的医疗设备也只能帮助病人查毛病，而不能帮助病人养好病。证券行业的流失预测模型在客户挽留中所起的作用也只能是帮助券商找到流失倾向比较高的客户群，而不能直接导致流失率的下降。这一点要清楚。
纵观证券行业，券商通常认定真正流失的客户是指发生了消资金账户、转托管和撤销指定等行为的客户，但客户流失预测模型的流失定义通常是针对客户资产是否严重缩水。这样，预测模型不仅包括了上述三种客户，而且还包括了这样的一些客户：由于资产缩水严重而超出自己能够承受的预期损失、被深度套牢而很可能转为睡眠客户、等等。这些客户虽然看起来仍然还是券商的客户，但已由活跃客户逐渐转为不活跃，不再给券商贡献利润价值。从证券行业的实际情况来看，发生消资金账户、转托管和撤销指定等行为的客户流失不可避免，而且占一定的比例。但后一种客户，却是可以通过挽留关怀来使客户继续保持活跃，继续为券商贡献利润价值。
所以，客户流失预测模型的目的应该是为了提高挽留关怀工作的有效性，最大限度地让客户保持活跃状态，而不是所谓的大幅度降低客户流失率。
客户保持工作的最佳时机是在其未流失时，所谓防患于未然嘛。面对日益激烈的市场竞争，大多数企业越来越重视客户保持工作，通过不断地投入来做好客户关怀与挽留工作，最大可能地留住客户。但它们通常都会面临这样的问题：如何在企业资源紧缺的情况下，提高客户关怀与挽留工作的效率，如何能够在较少的客户接触成本上关怀到更多实际将会流失的客户呢？这就要借助于基于数据挖掘的客户流失预测模型了。
继续上面的例子，假定券商A每月可以达到的客户接触为6万人次，而且把要接触的对象集中在了高价值客户上。如果根据由客户流失预测模型给出的高流失倾向的前5%的客户名单开展关怀与挽留工作，刚好120×5%=6万人，这个时候每月可以成功挽留住的客户数为675人。但如果没有模型指导，每月可以成功挽留住的客户数为
总客户数×高价值客户比例a×高流失倾向客户比例b×高价值客户的平均流失率×接触成功率c×接触到的客户的成功挽留率d =3000000×40%×5%×1.5%×50%×30%= 135人
通过简单的比较就可以发现，基于完全相同的人员投入、完全相同的接触成功率、完全相同的挽留成功率，有模型指导的挽留比没有模型指导的挽留在每月的工作中成功地多挽留了675-135=540个客户。假设这些成功留住的客户可以继续保持活跃状态的时长为半年（比较保守的估计），有效客户平均贡献佣金每月100元，则每月由于挽留效率的提高可以获得的额外收益将为540×100×6=324000元，一年下来，年总收益将增加324000×12=3888000元。这已经是最为保守的估算了，因为据了解，多数客户的月平均佣金贡献高达几百元，甚至几千元。
再进行更为保守的估算，如果在模型指导下选取前5%的高流失倾向客户作为目标客户时，模型的提升度为3。这样的情况下，每年的收益依然能够增加1944000元，投资回报依然很大！
实际上，我们的估算忽略了开展挽留关怀活动所耗费的成本问题。之所以忽略，是因为我们在没有模型指导和有模型指导下进行挽留活动所花费的成本都是一样的。我们只需要比较在有模型指导下进行挽留活动比没有模型指导增加了多少收益。
通过这些估算，只是为了说明一个问题：客户流失预测模型不是开发好了，部署起来，就扔在那里，每月按时跑数，也不能只看到模型预测结果准还是不准，关键是要应用到实际的客户挽留关怀工作当中去，这样才能看到实实在在的效果。
