时间：2021/1/11-2021/1/18 下班后时间
学习内容：第四阶段可视化 第四章节案例
心得体会：
1.学习案例不要觉得麻烦就偷懒，代码还是要自己完全手敲一遍，边梳理边总结归纳，这样才能最大程度地掌握乃至熟练
2.对于pandas基础的有一定掌握了，能够回忆起知识点，但运用时仍错误频发，比如写错字符，加不加s之类的细节问题，这块之后要结合就业班数据库的练习案例多加练习
后续目标：把后续案例做完之后对于python部分做一个知识点总结归纳，把之前有问题觉得很难理解的知识点查漏补缺巩固一下，结合其他如题目一起练习
业务：利用现有工作的可视化部分梳理业务体系，在工作中锻炼业务敏感性，后期开始把业务书籍看完
注：此文章仅为练习项目，仅为初学者用于练习pandas相关操作，流程梳理，而不作为正式报告。
一、导入数据
导入模块 import.....
读取文件，根据文件情况设置别名，分隔符等变量 pd.read_....(文件名.....）,本文将列名设置为user_id,order_dt,order_products以及order_amount，其含义分别如下所示
二、数据处理
数据预处理/数据观察
查看前几行（数据太多看不全时）
查看各列数据类型
查看各列数据的描述统计值
通过以上的预处理观察可知该数据源数据类型存在不合理的情况，如日期类型不标准，应改为标准的日期格式，同时新增一列把日期的月份单独提取出来，处理如下：
三、分析与可视化
PART 1 月消费分析
月消费分析首先要将各月的消费总金额，消费次数、消费产品件数、消费人次汇总出来（可单独也可一起汇总，为方便一般一起汇总），然后将汇总后的数据导入excel，导入powerBI进行可视化相关操作
汇总数据
数据汇总可以分别和一起汇总，分别汇总先用groupby按月汇总导入进去的表，然后将要用到的列单独汇总，如求和等
一起汇总使用agg函数+列表指定各字段汇总的统计值即可
第三种汇总方式可以使用数据透视表
加入没有包含的列
由于user_id一列存在重复现象，因此消费人数并不等于消费次数（同一人可能消费多次），需要将‘消费次数’这一列加入到该表格当中
将user_id去重后进行计数，加入到表中成为‘消费人数’字段
数据处理与导出
为方便作图，避免将month作为时间戳格式，将其转化为str列
使用to_excel函数导出到指定路径进行作图
PART 2 用户消费分析
月消费分析首先要将各月的用户消费金额/消费次数描述统计，消费次数与消费金额关系、消费金额分布图、消费次数分布图、累计消费金额占比汇总出来，然后将汇总后的数据导入excel，导入powerBI进行可视化相关操作
消费金额/消费次数描述统计
用户聚合groupby
分组后求和得到用户消费金额和用户消费次数
将分组求和后的describe得到描述性统计
消费金额与消费次数关系
将第二步中求出的结果导出到excel中，导入powerBI进行绘图，得到如下图表
消费金额/消费次数分布图
消费金额分布图就是直方图，统计各范围消费频数的分布多少，消费次数分布图同理，只是把order_amount改为order_products绘制的主要思路是:
将用户消费金额进行汇总
将每个用户的消费金额转化为范围，利用pd.cut(数据，bins=份数）
将第二步转化的范围转化为值，作为直方图的节点（利用pd.cut中加上labels）
销售累积图
该图用于表示消费金额与人群占比的关系，如二八原则，百分之二十的客户消费了百分之80左右的金额，该图的绘制步骤有以下几步：
求出用户汇总后的消费金额，按照消费金额进行排序（注意一定要排序，否则画出来的图变化不均匀）
使用cumsum（）函数进行累计求和，使用sum（）函数可进行求和，cumsum（）/sum()就是销售占比
重置索引后to_excel()导出即可
首次购买/最后一次购买
首次购买主要描述用户首次购买日期的人数，用于发现购买的趋势变化，最后一次购买同理，把min()换成max()即可主要有以下步骤：
按照用户id汇总，并求出每列最小值
找到需要的列，进行value_counts计数
重置索引、更改列名等
输出到excel进行绘图
新老客占比
新客只仅购买了一次的用户，老客只购买了多次的用户，新老客占比分析主要有以下步骤：
同时求出最早购买时间和最后一次购买时间
比较两者是否相等
把相等的数量求出来，即可得到新客老客数量占比等
每月新客占比
将用户ID和月份两列进行聚合
求首次和最后一次购买日期，比较两者是否相同，相同定义为新用户
将比较结果列进行聚合，取出新用户，进行计数得到新老用户汇总
PART 3 用户分层
用户分层是典型的数据分析方法，主要在于按照条件将用户划分为不同群体，便于针对不同用户指定相应策略，用户分层主要使用RFM模型，从最近一次消费、消费频率、消费金额三个方面来讲用户划分为不同群体，本文RFM模型构建主要有一下几点：
RFM模型
将R/F/M列的初始字段找出来
进行相应数据处理与格式转换
将列名改名为R/F/M
将每列与各自平均值相减得到大小，贴标签，大于0为1，小于0为0
将上一步贴的标签合起来RFM，再次定义为不同客户的标签
设置颜色属性，便于画图，导出
新客、老客、活跃、沉睡、回流用户分析
1用数据透视表求出每个月的购买次数
2将购买次数分为有无购买两类，分别标记为1和0
3定义函数判断不同情况用户类型
4将有无购买替换为不同的用户类型
5根据用户类型统计每类用户每个月的数量
6将数量转化为每月占比
7数据清洗后导出
PART 4 用户购买周期、用户生命周期分析
用户购买周期（按订单）
通过订单的间隔来看用户购买规律，统计各订单间隔有多少频数分布，以探索用户购买周期的规律，主要有以下几步：
1订单日期减去偏移后的订单日期，找到相邻购买时间的间隔
2将时间间隔去除单位
3将时间间隔切割为若干份，转化为范围，再将范围贴标签得到数值节点
4导出得到excel格式绘图
用户生命周期分析
用户生命周期与购买周期基本相似，只是用户生命周期是最大购买时间和最小购买时间相减
PART 5 复购率、回购率分析
复购率与回购率是用户数据常见分析指标，用来说明用户购买黏性，对其分析有助于更好提升运营效果。
复购率分析
复购率 = 一个月内重复购买的用户/购买的总用户
复购率的计算步骤如下：
按照用户id数据透视表统计出每个月的用户购买次数
定义复购：只要数据大于1 就为复购，其余有两种情况，有数据但是不大于1，用0表示，直接没有数据（没购买过）用NaN表示
利用sum和count的特性：sum不计算NaN,而count计算，得到复购率
数据转换后导出
回购率
回购率= 之前购买过一段时间再次购买（可能在两个月内）的用户/当月购买的总用户
回购率的计算上与复购率的逻辑基本上差不多，都是定义规则后，把数据转化为分类，然后用sum和count的比值求出回购占比
