来源于：TalkingData furion推荐

高铎（译）

要点：
1）很多公司数据分析不到位，实际上使用了不完备的数据；
2）即便是资深数据分析专家，在面对大量数据库分析时，也会面临成本高昂和容易出错的问题；
3）自动化的数据发现，采用机器学习来进行大规模数据提取和发现，标示数据和数据关系，应该是我们进行数据治理的常识。

数据分析的信心来自于数据的完整性。很多公司访问和理解数据的困难，在于处在一个老旧孤立的系统里面。

考虑到以下情况，你的CEO认识到数据分析需要在公司里面发挥更大的作用，近期尤其迫切。竞争对手也在加速构建数据分析能力，精通数据的新贵如亚马逊也可能进入这个行业。如果你的公司没有全面拥抱和接受数据分析思维，很可能失去市场份额，甚至更糟糕的逐渐在行业变得无足轻重。

所以，你的CEO组建了最强团队，由公司最厉害的数据分析专家组成，还配备了外部热衷于解决问题的顶级顾问。几个月后，他们基于分析给出一系列改善业务的建议，从增加客户获取和留存、更快的产品演进，到改进的价格计划和客户忠诚度计划，更高的客户满意度计划和更有效的供应链流程。

在实施这些建议措施并监测几个月效果后，显然预期的改进没有实现，在有些领域还有恶化的倾向。CEO显得有些焦虑，毕竟他承诺过接受数据分析，将会使业务更加高效和有竞争力。到底哪里出了问题？怎么去防止呢？

数据科学家知道如何做数据分析，但为什么我们不相信结果？

在已有的数据完整性上，数据分析已经做得很好。虽然分析工作本身可能微不足道，但是好的数据科学团队，知道如何使用流行的数据方法和技术，包括机器学习、随机树、神经网络或非线性回归等，来进行专业高质量的数据分析。他们精通流行的编程语言，如Python、R、Java和C＋＋。此外，他们也了解一些一流公司（如IBM、微软、谷歌、甲骨文、SAP、亚马逊和SalesForce）的数据分析、机器学习等可用性知识。凭借这些知识和专家，为什么数据分析的结果还是可疑的？

你的数据分析好坏，取决于你的数据完整性。

答案是数据分析专业人员经常使用不完整的数据。虽然他们的工作是一流的，但技术上分析并不全面，可靠的结论是难以实现的。实际上，数据专业人员在被迫时，也会说实话，他们最困难的不是数据分析本身，而是获得、甚至全面了解他们做好分析所需要的数据。

这其实不是边缘情况，也不是一个微小因素。事实上研究发现，很多公司缺失80%的数据资产，从而使其缺乏对关键数据元素和数据流的洞见。即使做了此类数据分析的一些公司也会报告说，他们缺乏对20～50%自己数据的深入了解，因为通常其原始数据存储在老旧的孤岛系统里面。另一个原因是采购了良好性能的软件，但这些软件是个黑盒子，数据被隔离而不能进行有效分析。

数据分析的信心从对完整数据的了解开始 。

譬如考虑一个拥有很多旧系统的公司，近些年靠多次收购来支撑增长。在用旧系统的情况下，原有的开发人员很早就离开了公司，留下了有限的文件资料；而这些年来系统增加了大量补丁可能使得情况变得更糟。同时，收购的公司也引进了自己的系统，母公司可能将其整合封装在现有的系统中，却从未做过彻底的全面系统切换，因此对基础数据资产缺乏了解。所以该公司可能真正只是了解其数据元素和数据关系的很小一部分。

另一类场景则是一些在不同业务领域独立运营的公司。譬如，想象一家金融服务公司，有零售银行、经纪人服务、高净值银行服务、企业银行和信用卡部门。该公司期望了解其客户的360度信息，但是由于每个业务单元自身对客户数据了解有成熟的系统，使得公司缺乏将各个业务单元个人数据整合的有效方法。如果公司可以超越这一挑战，它将在客户的购买行为分析、交叉销售机会、客户服务提升和关键问题解决上，有很多新的思路。

在这两种情况下，数据分析师的建议可能不是显得那么有信心，因为他们只是使用了部分数据。

人工去做数据发现很难。

使用老旧系统（包括并购获得的系统）的公司，需要了解其基础系统的数据结构和封装系统的结构，进而了解这些系统中的数据如何与自己数据库中的实体相关。金融服务机构则要了解每个单独系统的结构和架构，它需要一种连接这些系统实体的方法，去表征同一客户的真实生活。

很少有公司进行深入的数据库映射和挖掘工作。过去这些工作需要一个数据专家团队，去手动探索发现数据的未知元素和关系，这是一项艰巨的任务。

已经发现的是，数据库专家每月可以分析的数据库数量是有限的，通常每月在3～5个之间。对于具有成百上千个数据库（还可能不断增加）的企业来说，这可能是一个繁琐、费用高昂而有容易出错过程。即使一家公司找到一个可以了基其系统的大型数据库专家团队，可能所有这些艰苦的工作都是徒劳的。一些优秀的公司很难据此采取行动。

智能数据发现才是解决方案。

近期的技术突破是第二种更有效的方法：采用智能数据发现解决方案，以自动化的方法，来大规模的检测和标示未知数据元素和数据关系。这种方法采用机器学习，来提取和自动分析企业数据。

这个方法虽然比较新，但却为数据发现提供了更快捷、更准确和更具成本效益的解决方案。实际上，根据与不同公司的合作，我们发现与人工数据发现相比，自动化进行数据发现，成本降低高达80%。

一个组织需要对所有数据进行分析，以便在市场上进行更好地竞争，并成功地完成数字化转型。随着今天数据量的高速增长，自动化的关系发现是必须的。过去，很多公司认为统一化数据资产是徒劳的，如今新技术使其可行和可实现。

使用自动化的机器学习进行综合性数据分析应该是我们的常识。它对于数据治理、数据驱动的决策和数字化转型来说，是最好的。