何谓数据分析
用适当的统计分析方法
对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
这一过程也是质量管理体系
的支持过程。
在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
数据分析步骤
1. 定义问题
问题是什么,想要得出什么结论;【 问题怎么来?(经验、数据敏感度、...)】
需要什么数据;【销售数据、用户数据、运营数据、...】
2. 获取数据
数据来源:内部数据、外部数据
获取方法:数据仓库、业务系统、相关网站、爬虫、购买、...
所需技能:Excel、Python、SQL、...
3. 处理数据
基本方法包含
数据清理
、数据集成
、数据变换
、数据归约
、数据的分组
、基本描述统计量的计算
、基本统计图形的绘制
、数据取值的转换
、数据的正态化处理
等
实际环境中的大部分数据都是不完整、不一致的
脏数据
,无法直接进行数据分析,或分析结果差强人意。把这些影响分析的数据处理好,才能获得更加精确地分析结果。比如:残缺数据,我们是直接去掉这条数据,还是用临近的值去补全,这些都是需要考虑的问题。
4. 建模分析
在这个部分需要了解基本的数据分析方法、数据挖掘算法,了解不同方法适用的场景和适合的问题。分析时应切忌滥用和误用统计分析方法。滥用和误用统计分析方法主要是由于对方法能解决哪类问题、方法适用的前提、方法对数据的要求不清等原因造成的。
另外,选择几种统计分析方法对数据进行探索性的反复分析也是极为重要的。每一种统计分析方法都有自己的特点和局限,因此,一般需要选择几种方法反复印证分析,仅依据一种分析方法的结果就断然下结论是不科学的。