对数据分析而言,不仅仅是直接回答问题,同时还需要针对问题,不断去探求,不断去深入。当探求问题的时候,可以用到图表可以用到统计,不过图表和统计的方式只是解决问题的手段,真正要解决问题,就需要用到结构思维。
分析的目的
结构思维就是对应着数据分析的目的。需要通过数据分析来解释的问题,无外乎在三个方面:what,why,how即是什么,为什么以及怎么样三个方面的问题。针对问题的拆分和对比也是围绕着三个点展开。
对what而言,就是需要了解现在的情况是什么样子,有哪些对象,在对象中涵盖了哪些数据,对象可以分成哪些部分,各个部门数据的大小如何,主要的数据贡献是来自于哪些地方等等。What就是状态进行展开,尤其是现状展开。比如分析现在各家产商的份额就是属于what的问题。
对why而言,比what更进一步,从现状进行回溯,需要通过分析来理清问题发生的因果关系以及对象之间的逻辑关系。和what聚焦静态数据相比,why更专注于动态数据,重点在考察哪些数据在不同的情况下发生的变化。比如需要分析市场份额为什么发生的变化,价格为什么上涨或者下降等等。
对how而言,从关注原因发展到了关注结果,更注重未来的情况,各个对象的数据未来会如何变化,对于分析的对象而言未来是什么样子。比如在制定了一项市场决策后,就会预测未来的投资收益情况。
从what到why再到how,数据分析起到的不仅是知其然的作用,同时也起到了知其所以然的作用。在这些问题的背后,都是对问题进行拆分和对比,可以说what,why和how都是问题进行拆分和对比的立足点。
问题分解的基本原则
在数据分析中,实际上是对问题的不断分解。对分解而言,最基本的原则的就是MECE。MECE来源于麦肯锡方法,是互相独立,完全穷尽的意思,在有的场合中也被称为穷举法。
问题在分解的过程中,一方面不断扩展广度,将一个问题再下一个层级中被平行分成若干部分,另外一方面,在一个方向上逐渐深入,步步下钻,在深度上不断深化。当广度和深度互相结合的时候,就能够把问题说透。
MECE的互相独立、完全穷尽原则就是在各个层面和对象上进行施用,从而起到广泛分解和深入钻探的作用。在用MECE分解问题的过程中,首先将问题分解成若干的方面,这些方面合起来,都能够完全解释这个问题,同时各个方面上都不能互相影响。
如图所示,将问题分解成了方面1和方面2,方面1和方面2都是互相独立,完全穷尽的。接下来,针对某一方面,再用同样的方式去分解出次一级的子方面,如方面1被分解成了方面1.1和方面1.2.同时也对分解出来的每个方面按同样的方式分解,不断地循环往复,知道不能够分解成更细的颗粒,最终形成一个树状结构。图中在第二层中,方面2.1还可以继续分解,于是加上方面2.1分解出来的方面2.1.1和方面2.1.2,整个问题就被分解成了三层。
分解的模式
MECE是对问题分解的方式,对问题的分解除了要有正确的方式,还需要有合适的维度,也可以说是合适的模式。
在分解问题的模式,其实是指从哪些角度来来分解问题。通常而言,可以从时空维度,即问题按时间与空间的关系进行分解。可以从成分维度,即问题在物理上或者社会意义上的构成进行分解。可以从要素维度,即问题的影响因素上进行分解,已经不再简单的考虑时空和关系。同时也可以从逻辑维度,即将问题中的逻辑连接进行分解。当然对问题的分解的问题不仅仅限于此,只要能够想到可以,进行分解。
基于时空分解
在在问题的分解中,基于时空分解的落脚点在于时间和空间,其反应的是事物的结构和变化情况。
在时间维度上,就是把整体的时间,按照时间顺序划分为不同的时间单位,并在时间轴上进行对比,体现出对象在不同时间的变化情况。这个时间段比前一个时间段是增加还是减少,这个时间段的数据和其他时间段的数据相比,变化的幅度有多少。
在对时间的分解中,可以以常用的时间单位进行分解。比如将一年分成四季或者12个月,将一个月分成四周,将每周分成七天,或者将每天分成24小时,甚至将小时拆分为分钟。在基于时间单位的分解中,常见的例子就是股票K线图,股票价格变化可以按年,月,周,日,小时,分钟的单位进行呈现,同时也可以根据自定的时间单位进行呈现。
在时间维度上,除了按照标准的时间单位分解外,也可以通过事物发展的阶段分解,比如在市场营销中就把产品的生命周期分为了”导入期-成长期-成熟期-衰退期”四个阶段,对个人成长而言,也可以分为“婴幼儿-少年-青年-中年-老年”等阶段。
此外,在时间维度上,还可以按照流程进行分解,比如将业务处理或者生产中的每一个步骤分解出来,对比流程中每个点的产出,就能够知道每个点的效率。在电商中,从搜索到最终下单有若干个步骤,对比经历每个步骤的人群,就可以知道每步的转化情况。
在空间的维度上,就将对象从按照空间的组成进行分解成不同的单位。
首先可以根据地域进行分解,全国可以分解成各个省,省再往下分解成县市区。当观察全省或者全国的数据时,就可以拆分成更小的地理单位进行对比。比如知道一个城市的房价情况后,就可以按照不同的区县进行分解,可以得到整个城市的房价分布情况,哪些地方高,哪些地方低,哪些地方上涨猛烈,哪些地方出现下跌都能发现。
同时,可以突破地域的限制,根据地理位置的分布,划分为不同的网格,按照网络进行分解,在地图软件上我们常常的见到的热力图,就是把地图分成了若干的小单位,然后统计每个单位的数据,最终按照颜色的深浅,显示数据分布情况。
地域和空间,都是在一个平面上进行分解,也可以按照空间进行分解,一个大楼可以分解成不同楼层,考察每层楼的人群分布和消费情况,天空可以分解成不同的高度,来对比每个高度上的飞机密度,同样水下也可以分解成不同的深度,来对比不同深度的水文特征和自然资源分布。
基于成分分解
这基于成分的分解,是将分析对象按照其在物理和在社会关系的维度上,分解成各个子对象的方式,其中既包括了以人群为对象的分解,同时也包括了以事物为对象的分解。
以人群为对象,顾名思义,就是将一大群人按照某种特征和相关的关系,分成一个又一个的小群体,在这个基础上,可以对比对象之间的数据分布。
常用的方式有根据组织结构分解,人群网络分解,人口类别分解等等。在组织结构分解,常用在一个组织中,比如公司,政府机构、社会团体等,通过上下级汇报关系,展开成一张图。例如销售部门可以按照分解成各个销售小组,然后对比各组的业绩情况。又例如,将一个组织展开后,可以对比各部门的编制人数和工作内容,然后知道各部门的工作负荷情况,这样可以用于调整编制、
人群网络分解,其实将一群人按照其社会关系进行分解,在一群人中,可以根据他们之间的关系,划分为同一家公司的同事,沾亲带故的亲戚,一起读书的同学,同一家学校出来的校友。根据种种关系,就可以把一大堆人分成很多细微的人群。在社交网站中,当出现推荐好友时,其实就是对用户之间有连接的人提出来,然后根据相互的小圈子进行推荐。人群网络的分解,更像是渔网一样,以一个人为中心,像周边扩散为种种关系网。前段时间的打老虎的周永康,也把按照和他的关系,把一起落马的人群,分为了四川帮,石油帮,白手套,亲属等等。对这些人群,就可以来对比,社会危害情况,涉案金额,还有判刑程度等等。
人口类别的分解,是按照一些人口统计学的特征,划分成不同的人群情况。比如一堆用户可以按照年龄,性别,文化程度,职业甚至星座和血型等特征划分。这样即可以分析各个人群的占比情况,进一步地也可以对比人群之间的数据分布,如总体贡献,或者人群平均的数值情况等等。
以事物为对象,是将事物根据按照更小的颗粒度进行分解。事物相对人群而言,构成更加丰富,成分之间的关联也变得多样化起来。因此围绕事物进行分解,也会呈现出多种形式。
在针对事物的分解中,可以将产品按照形态或者组合进行分解,对现在的很多公司而言,都有不同的产品线,各个产品线中又有不同的产品,产品线的宽度和深度都共同的构成了公司的产品体系,因此按照“产品体系-产品线-产品“的维度,就可以把公司的所有产品,按照隶属关系,一步步拆分成更小的集合。在这种情况,能够对比产品的销售贡献情况和利润情况。
对单个物体而言,也能够在物理上进行分解。如一辆车可以分成不同部分,发动机,转向系统,底盘系统,电器系统等等。就像车一样,各个部分可以组合成一个更大的实体。对象被拆分成部件后,可以对比各个部件之间相关数据,从而分析对整体的影响。如在工程领域就有可靠性理论,通过计算各个部分的可靠性,来推测总体的可靠性。
除了实物以来,事物可以按照社会形态进行分解,一个常见的情况就是根据行业分解,分解以后分析各个行业的情况,包括从业人数,经济产出等等。例如一家公司就可以分析各个行业市场的份额,销售金额,利润,从而制定出相关的市场组合决策。当然在行业下面,还可以拆分成不同的公司,可以进一步分析各个客户的贡献情况。
以事物为对象的分解,一方面可以在物理成面展开,还有一方面可以在社会关系层面展开,总之展开的方向可以多样,不仅仅是产品,部件和行业的形式,总之只要能够想到合理的形式,都可以步步分解。
基于要素分解
问题可以通过时空和成分关系进行拆分,然而并不是所有时时候都能单独按照时空和成分的模式进行拆分。很多时候,问题可以分解为不同的要素,可以在不同的维度上来将问题拆分为更小的对象。问题可以有多种多样,通常有一些对问题的拆分方法就是按照要素的模式对事物进行分解。
5W1H是对问题的按照六个维度进行分解,分别围绕对象(何事What)、原因(何因Why)、地点(何地Where)、时间(何时When)、人员(何人Who)、方法(何法How)对问题的进行展开。在5W1H中既可以引入定性的因素,也可以引入定量的因素。当对比其中一个维度时,就可以拉通其余的五个要素进行对比。比如产品的销售可以按照,时间、地点、人员、方式等维度进行依次对比。
鱼刺图是质量管理中常用的工具,就是围绕事物发生,去一层一层剖析原因,直到发现问题发生的根源。在鱼刺图中,每一根大刺是对问题分解的一个方向,在大刺的基础上,又可以进一步分解为中刺去进一步发现原因,同时基于中刺,还可以去进一步拆分为小刺以及更小的刺,直到发现问题根源所在。
在营销领域中,也将营销问题按照要素进行展开,其中4P理论就是一个典型的例子。在4P理论中,将营销分为了产品、价格、渠道、促销四个要素。在对营销问题的拆解中,可以围绕这几个方面进行分拆和对比。比如对比不同产品的价格情况,不同产品的促销手段,不同产品的渠道覆盖等等。
在基于要素的分解中,对于问题的分解并不一定非要按照一定的固有套路,只要逻辑清晰都可以在不同的维度上进行分解。在进行数据分析时,数据往往以二维表的形式存在,在一张二维表中,横向是不同的记录数,而纵向是不同的变量,因此就可以围绕已有的变量去一层一层向下分解。
在下面是一个关于不同客户的收入和销量的二维表分解例子。
在例子中可以对所有客户按照收入是否大于100分成两类,不大于100的有AE两个对象,而大于100的有BCDF四个对象。进一步地,对大于100的进行拆分,拆分的维度时销量是否大于10,因此拆分过后,CF销量大于10,而BD销量未大于10。
这个例子中,把六个客户首先分成了2类,并将其中一类更进一步地又分成了2类。围绕拆分的过程,就可以生成一张决策树的图形。
在对问题的分解中,可以围绕问题本身,去梳理因子之间的关联关系,围绕种种联系,去一步一步拆解问题。
系统动力学是一个常用的工具,在系统动力学中,将问题视为系统,并且将系统拆成了一个个的因子,然后在因子之间体现出了因子之间的互相作用的机制,并且能够通过系统内部结构来找到事情发生的根源。在累积旅游收益的例子中,就拆成了年收入和年支出两个因子,并且年收入和年支出也进一步发掘到下一层的因子,所有因子在一起构成一张有向图,体现出了各个因子对累积旅游收益的影响情况。当要分析累积旅游收益时,就可以通过展开的结构,去追根溯源。
在战略领域中常常用到的平衡记分卡也是一种基于因子间关联关系对问题的分解。围绕战略目标,依次分为了财务层面,客户层面,内部运营和学习成长层面,这背后的逻辑是学习与成长会影响内部运营,内部运营影响客户和财务,客户层面影响财务层面。在每个层面中,又细分为了不同要素的,这些要素之间都会互相影响。当分析战略是否能够达成时,就可以围绕这几个层面去发掘,哪些是有利因素,哪些还是瓶颈需要进一步加强。
在商业领域常常会用到各种管理工具,这些管理工具其实也是对商业问题按照要素进行分解。
在分析宏观环境时,就会用到PEST分析,PEST将宏观环境氛围了政治、经济、社会以及技术四个大维度,在四个大维度也有再进一步分解出来的因素。通过PEST就可以将企业面对的环境,分成四个方向组成的结构,在这个结构的基础上去发现有利和不利的因素,并做相关的定量和定性分析。
在分析企业自身与环境互动的时候,会用到SWOT分析,SWOT分析将企业环境因素展分为了内因-外因,积极-消极的两个维度,并在这两个维度上,衍生优势、劣势,机会、威胁这四方面的要素。其中内因包括了积极的优势和消极的弱势,外因也包括了积极的机会和消极的威胁,围绕这四个要素可以进一步去分解出更下层级的因子,并且围绕各个要素去找到重要的因素,并且制定相应的措施。同时通过SWOT分析,也可以按照同样的维度去对比竞争对手和标杆企业。
在商业领域中,除了PEST和SWOT外,还有各种各样的工具是将商业问题分解为了要素,除了商业领域,在社会科学和自然科学领域,其实也存在将问题按照要素分解的情况。不管在任何领域,只要足够熟悉相关的理论和对问题有一定的认识,都可以按照基于要素的分解,去拆解问题,让问题体现出结构出来。
基于逻辑分解
在针对问题的拆分中,有种方式是基于逻辑进行拆分,当问题基于逻辑拆分后,分解出来的单位之间具有逻辑关联的关系,在逻辑关联中还伴随着数学运算。在逻辑联接中,计算包括了加减乘除,加权汇总甚至到微积分的关系,随着逻辑链接的丰富和深入,更多更高深的计算关系也会出现。
在加减关系中,可以将问题本身按照加减关系进行拆分,比如可以将利润根据“收入-成本”公式拆分为收入和成本两部分,将总额度按照“总额度=已用额度+未用额度”拆分为已用额度和未用额度两部分。
在乘除关系中,可以将问题本省按照乘法或者除法关系进行拆分,如通过“路程=时间×速度 ”公式就可以把路程的拆分为时间和速度两个要素,又如通过“利率=利息÷本金”公式,可以将利息拆分为利息和本金两个维度。
加权汇总其实是将加法和乘法关系互相融合,在问题背后有若干的要素,要素的占有不同的权重,在乘以权重后,就可以得到问题相应的数值。加权汇总通常用于计算KPI,同时在计算相关的指数时,也会用到微积分的关系体现出的是因子的变化引发问题本身数值的变化,这也是一种边际效应,即每一个因素变化以后,背后的结果也相应会发生变化。
在各行各业中,都会体现出对问题基于逻辑的分解,只要可以构成相关的计算逻辑,就能够基于逻辑进行分解。
杜邦分析时在财务领域中,对投资问题的按照计算逻辑分解的框架。在杜邦分析中,依次有乘法关系和除法关系。可以通过以下公式进行拆分
权益净利率=资产净利率×权益乘数
资产净利率=销售净利率×总资产周转率
销售净利率=净利润÷销售收入
总资产周转率=销售收入÷资产总额
通过公式,能够将权益净利率拆解乘一个树状结构,在树状结构中,各个指标都互相关联。
从关联关系中可以知道,提升权益净利率可以通过提升资产净利率或者提升权益乘数的方式。同时提升资产净利率,可以通过提高销售净利率和增加资产周转的方式。要提升销售净利率在于提升净利率,进一步地提高收入降低成本。要增加总资产收益率,需要增加销售收入,同时采取轻资产运作的方式的,降低资产总额。
在客户关系领域中,确定消费者的价值的问题可以通过RFM模型,将消费者分成多类,这背后的思想就是基于逻辑将消费者的整体进行拆分。RFM模型中RFM指数的计算公式是“RMF指数=R×M×F”,其中R为最近一次消费(Recency),F为消费频率(Frequency),M为消费金额(Monetary)。通过这三个指标,可以构成一个立方体,并按照指标中的高低关系,将立方体分成八块,即消费者拆分为八类,对八类消费者采用不同的管理手段。
在生产领域中,如何管理机器故障就用到了FMEA模型来衡量故障问题,起背后是基于逻辑关系将各种故障进行了细分。在FMEA模型是失效模式及后果分析的英文缩写,其中的指标计算公式为“FMEA程度=故障探测度×频率×故障严重度”,探测度表示故障难易的成都,严重度是指故障带来后果,即损失有多大。通过FMEA模型,将故常在探测度、发生频率,严重程度三个维度上,可以分成多类,从而用不同策略来应对。
结构思维总结
数据分析的目的是为解决问题,解决问题的前提就是要对问题进行剖析。剖析就是要梳理问题的结构,往最小的颗粒的方向分解,并在分解的过程,逐级地进行对比和向下拆分,直到发现问题的核心所在。
结构思维就是数据分析思维中,科学、合理,可靠地分解问题的思维。
问题的分解需要有合理的方式,当前一个公认科学和有效的方式的就是MECE,中文的意思就是完全穷尽,互相独立。即在分解的过程中,同一个层级中的因素或者对象,都是互相独立的,不存在统属关系。同时对象合并后,能够完全解释或者组成他们的上一个层级。分解的过程是以完全穷尽,互相独立为原则,层层递进,步步延伸,最后对问题形成一个树状结构。
分解可以从多个维度进行,以时空维度围绕事物结构和变化进行分解,如把一年分成12个月,以成分维度围绕单位的构成和联系进行分解,如把人分成男女老少,要素维度围绕因果关系或者组合因素进行拆分,如营销中的4P和4C,逻辑维度按照相关的数学逻辑进行分解,如经营中的利润和收入成本之间的层级关系。
原文转发,功德无量!