数据来源于CDNow的一份用户购买CD明细，包含了用户ID、购买日期、购买数量、购买金额四个字段。

分析目的

• 按月度进行消费趋势分析
• 用户个体消费分析
• 用户消费行为分析
• 复购率和回购率分析

数据导入

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

# 正常显示中文
plt.rcParams['font.sans-serif'] = ['SimHei']
# 坐标轴显示负数
plt.rcParams['axes.unicode_minus'] = False
# 使用R语言绘图风格
plt.style.use('ggplot')

读取数据

df = pd.read_table('CDNOW_master.txt', sep='\s+')
df.head()

image.png

观察数据后发现，数据并没有字段名，需要手动进行添加。

columns = ['user_id', 'order_dt', 'order_products', 'order_amount']
df.columns = columns
df.head()

image.png

查看是否存在缺失值

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 69658 entries, 0 to 69657
Data columns (total 4 columns):
user_id           69658 non-null int64
order_dt          69658 non-null int64
order_products    69658 non-null int64
order_amount      69658 non-null float64
dtypes: float64(1), int64(3)
memory usage: 2.1 MB

通过观察发现，并没有空行存在，但是order_dt应为日期类型，此处为int类型，需要进行数据类型转换。

df['order_dt'] = pd.to_datetime(df.order_dt, format='%Y%m%d')
df['month'] = df.order_dt.values.astype('datetime64[M]')
df.head()

image.png

描述性统计

df.describe()

image.png

平均每笔订单购买2.4张cd，标准差为2.33，稍有波动，每笔订单平均消费35.89元，购买量上四分位数为3张，说明大部分用户订单购买量不大，消费金额呈现类似趋势，单笔订单最大值为99，说明有少部分狂热打榜粉丝，一般消费类的数据都是呈现长尾形态，即大部分用户都是小额消费者，小部分用户贡献了主要的消费收益，俗称二八理论。

按月度进行消费趋势分析

每月的消费总金额

grouped_month = df.groupby('month')
order_month_amount = grouped_month.order_amount.sum()
order_month_amount

month
1997-01-01    299048.40
1997-02-01    379590.03
1997-03-01    393155.27
1997-04-01    142824.49
1997-05-01    107933.30
1997-06-01    108395.87
1997-07-01    122078.88
1997-08-01     88367.69
1997-09-01     81948.80
1997-10-01     89780.77
1997-11-01    115448.64
1997-12-01     95577.35
1998-01-01     76756.78
1998-02-01     77096.96
1998-03-01    108970.15
1998-04-01     66231.52
1998-05-01     70989.66
1998-06-01     76109.30
Name: order_amount, dtype: float64

可视化

plt.figure(figsize=(10, 5))
order_month_amount.plot()
plt.title('每月消费总额趋势图')

image.png

前3个月为消费金额的高峰，随后在第4个月下跌，后趋于平稳，总体上呈现下降趋势。

每月订单数量

order_month_count = grouped_month.user_id.count()
order_month_count

month
1997-01-01     8927
1997-02-01    11272
1997-03-01    11598
1997-04-01     3781
1997-05-01     2895
1997-06-01     3054
1997-07-01     2942
1997-08-01     2320
1997-09-01     2296
1997-10-01     2562
1997-11-01     2750
1997-12-01     2504
1998-01-01     2032
1998-02-01     2026
1998-03-01     2793
1998-04-01     1878
1998-05-01     1985
1998-06-01     2043
Name: user_id, dtype: int64

可视化

plt.figure(figsize=(10, 5))
order_month_count.plot()
plt.title('每月订单数量趋势图')

image.png

前3个月为订单量的高峰，都在1万左右，第四个月急剧下跌，后趋于平稳，总体趋势和每月消费总额趋势一致。猜测前三个月应为新专辑发布或促销活动。

每月用户量

user_month_count = grouped_month.user_id.apply(lambda x:len(x.drop_duplicates()))
user_month_count

可视化

plt.figure(figsize=(10, 5))
user_month_count.plot()
plt.title('每月用户数量趋势图')

image.png

前3个月用户量大约在9000左右浮动，第4个月开始用户量急剧下跌，最终每月用户量维持在2000左右。

每月用户消费平均金额

# 每月总消费额 / 每月用户数量
mean_order_amount = order_month_amount / user_month_count
mean_order_amount

month
1997-01-01    38.119618
1997-02-01    39.405173
1997-03-01    41.280478
1997-04-01    50.611088
1997-05-01    48.750361
1997-06-01    46.342826
1997-07-01    55.999486
1997-08-01    49.868900
1997-09-01    47.124094
1997-10-01    48.820430
1997-11-01    56.927337
1997-12-01    51.275402
1998-01-01    49.939349
1998-02-01    49.707905
1998-03-01    52.898131
1998-04-01    46.090132
1998-05-01    47.708105
1998-06-01    50.537384
dtype: float64

可视化

plt.figure(figsize=(10, 5))
mean_order_amount.plot()
plt.title('每月用户平均消费金额趋势图')

image.png

前3个月用户平均消费金额在40元左右，后续有所上升，最终在46-57范围内波动。

用户平均消费次数

# 总消费次数 / 每月用户数量
mean_order_count = grouped_month.user_id.count() / user_month_count
mean_order_count

1997-01-01    1.137922
1997-02-01    1.170144
1997-03-01    1.217766
1997-04-01    1.339830
1997-05-01    1.307588
1997-06-01    1.305686
1997-07-01    1.349541
1997-08-01    1.309255
1997-09-01    1.320299
1997-10-01    1.393148
1997-11-01    1.356016
1997-12-01    1.343348
1998-01-01    1.322056
1998-02-01    1.306254
1998-03-01    1.355825
1998-04-01    1.306889
1998-05-01    1.334005
1998-06-01    1.356574

可视化

plt.figure(figsize=(10, 5))
mean_order_count.plot()
plt.title('每月用户平均消费次数趋势图')

image.png

平均消费次数总体呈上升趋势，前3个月在1.25次以下，后续几个月在1.35次附近波动。

用户个体消费分析

消费商品数与消费总金额的描述性统计

grouped_user = df.groupby('user_id')
grouped_user.sum().describe()

image.png

从用户角度看，单个用户平均购买cd数量为7个，中位数为3个，标准差为16.98；平均消费金额为106.8，中位数为43.4，标准差为240.9。明显存在极大值干扰，存在一小部分高消费人群。总体上符合二八法则。

消费金额与消费商品数的散点图

plt.figure(figsize=(10, 5))
grouped_user.sum().query('order_amount < 4000').plot.scatter(x='order_amount', y='order_products')
plt.title('消费金额与消费产品数散点图')

image.png

可以看出，消费金额与消费产品数量呈线性关系。

用户消费金额分布图

plt.figure(figsize=(10, 5))
grouped_user.sum().order_amount.plot.hist(bins=20)
plt.title('用户消费金额分布')

image.png

极大部分用户集中在2000元以下，整体消费能力不高，高消费用户数量极少，符合消费市场行业规律。
过滤掉消费数量大于100的订单，减小极大值影响。

plt.figure(figsize=(10, 5))
grouped_user.sum().query('order_products < 100').order_amount.hist(bins=20)
plt.title('用户消费金额分布(过滤后)')

image.png

可以看出，过滤掉消费数量大于100的订单后，大部分用户的消费金额都小于250，高消费用户不多，符合市场规律。

用户消费次数的分布图

plt.figure(figsize=(10, 5))
grouped_user.count().query('order_products < 100').order_dt.hist(bins=40)
plt.title('用户消费次数分布图')

image.png

从图上看大部分用户只消费1次两次，高频消费者很少这也满足cd消费市场行业规律。

累计消费金额占比

plt.figure(figsize=(10, 5))
user_cumsum = grouped_user.sum().sort_values(by='order_amount', ascending=False).apply(lambda x: x.cumsum() / x.sum())
user_cumsum.reset_index().order_amount.plot()
plt.title('消费金额累计百分比')

image.png

按照用户消费金额进行降序排序，由图可知前30-40%的用户贡献了80%的消费额。只需要重点维护这写用户，就可以把业绩kpi完成80%。

用户消费行为分析

用户首次消费

grouped_user.order_dt.min().value_counts().plot(figsize=(10, 5))
plt.title('用户首次消费')

image.png

用户首次消费集中在前3个月，2月10日至2月25日有较为强烈的波动。

用户最后一次消费

grouped_user.order_dt.max().value_counts().plot(figsize=(10, 5))
plt.title('用户最后一次消费')

用户最后一次消费比第一次消费分布广，大部分最后一次消费集中在前三个月，说明很多客户购买一次就不再进行购买。随着时间的增长，最后一次购买数也在递增，消费呈现流失上升的情况，用户忠诚度在慢慢下降。

新老客户消费比

计算只买了一次的消费群体

grouped_user.count().query('order_dt == 1').order_dt.count()

11907

总消费人数

grouped_user.count().reset_index().user_id.count()

23569

大部分人只消费一次。

grouped_month_user = df.groupby(['month', 'user_id'])
tmp = grouped_month_user.order_dt.agg(['min']).join(grouped_user.order_dt.min())
tmp['new'] = (tmp['min'] == tmp.order_dt)
tmp.reset_index().groupby('month').new.apply(lambda x: x.sum() / x.count()).plot(figsize=(10, 5))
plt.title('新用户占比')

image.png

可以看出，只有前3个月有新客户，后续都是老客户进行消费。

用户分层

使用RFM模型对用户分层。
构建rfm透视表。

rfm = df.pivot_table(index='user_id', 
                     values=['order_dt', 'order_amount', 'order_products'],
                     aggfunc={'order_dt': 'max', 'order_products': 'sum', 'order_amount': 'sum'})
rfm.head()

image.png

R：最后一次消费时间的度量，数值越小越好
F：消费的频率，数值越大越好
M：消费的总金额，数值越大越好

rfm['R'] = -(rfm.order_dt - rfm.order_dt.max()) / np.timedelta64(1, 'D')
rfm.rename(columns={'order_products': 'F', 'order_amount': 'M'}, inplace=True)
rfm.head()

image.png

用户分层

def rfm_func(x):
    level = x.apply(lambda x: '1' if x >= 0 else '0')
    label = level.R + level.F + level.M
    d = {
        '111': '重要价值客户',
        '011': '重要保持客户',
        '101': '重要发展客户', 
        '001': '重要挽留客户',
        '110': '一般价值客户',
        '010': '一般保持客户',
        '100': '一般发展客户',
        '000': '一般挽留客户'
    }
    result = d[label]
    return result

rfm['label'] = rfm[['R', 'F', 'M']].apply(lambda x: x-x.mean()).apply(rfm_func, axis=1)
rfm.head()

image.png

计算每层客户的R、F、M的和

rfm.groupby('label').sum()

image.png

绝大部分消费是由重要保持客户产生的，维持好这部分客户，完成kpi有极大的帮助。

rfm.groupby('label').count()

image.png

一般发展客户基数较大，可对这部分客户进行挽留以保持高额增长。

rfm.loc[rfm.label == '重要保持客户', 'color'] = 'r'
rfm.loc[~(rfm.label == '重要保持客户'), 'color'] = 'g'
rfm.plot.scatter('F', 'R', c=rfm.color, figsize=(10, 5))
plt.title('F-R')

image.png

从RFM分层可知，大部分用户为重要保持客户，但是这是由于极值的影响，所以RFM的划分标准应该以业务为准。尽量用小部分的用户覆盖大部分的份额，不要为了数据好看划分等级。

用户生命周期

pivoted_counts = df.pivot_table(index='user_id',
                               columns='month', 
                               values='order_dt',
                               aggfunc='count').fillna(0)
pivoted_counts.head()

image.png

用户每个月的消费次数，对于生命周期的划分只需要知道用户本月是否消费，消费次数在这里并不重要，需要将模型进行简化。使用数据透视表，需要明确获得什么结果。有些用户在某月没有进行过消费，会用NaA表示，这里用fillna填充。

df_purchase = pivoted_counts.applymap(lambda x: 1 if x > 0 else 0)
df_purchase.tail()

image.png

于尾部数据，从实际的业务场景上说，他们一月和二月都没有注册三月份才是他们第一次消费。透视会把他们一月和二月的数据补上为0，这里面需要进行判断将第一次消费作为生命周期的起始，不能从一月份开始就粗略的计算。

columns_month = df.groupby('month').sum().reset_index().month
def active_status(data):
    status = []
    for i in range(18):
        if data[i] == 0:
            if len(status) > 0:
                if status[i-1] = 'unreg':
                    status.append('unreg')
                else:
                    status.append('unactive')
            else:
                status.append('unreg')
        else:
            if len(status) == 0:
                status.append('new')
            else:
                if status[i-1] == 'unactive':
                    status.append('return')
                elif status[i-1] == 'unreg':
                    status.append('new')
                else:
                    status.append('new')
    return pd.Series(status, index=columns_month)
pivoted_status = df_purchase.apply(active_status, axis=1)
pivoted_status.head()

image.png

每月不同活跃用户计数

purchase_status_ct = pivoted_status.replace('unreg', np.NaN).apply(lambda x: pd.value_counts(x))
purchase_status_ct

image.png

plt.figure(figsize=(10, 5))
purchase_status_ct.fillna(0).T.plot.area()
plt.title('各类用户面积分布图')

image.png

用户购买周期

order_diff = grouped_user.apply(lambda x: x.order_dt - x.order_dt.shift()).reset_index()
order_diff

user_id   
2        0        NaT
         1     0 days
3        2        NaT
         3    87 days
         4     3 days
         5   227 days
         6    10 days
         7   184 days
4        8        NaT
         9    17 days
Name: order_dt, dtype: timedelta64[ns]

plt.figure(figsize=(10, 5))
(order_diff / np.timedelta64(1, 'D')).hist(bins=20)
plt.title('用户消费周期分布')

image.png

order_diff.describe()

count                      46089
mean     68 days 23:22:13.567662
std      91 days 00:47:33.924168
min              0 days 00:00:00
25%             10 days 00:00:00
50%             31 days 00:00:00
75%             89 days 00:00:00
max            533 days 00:00:00
Name: order_dt, dtype: object

平均消费周期为68天，绝大部分用户购买周期在100天以内。

用户生命周期

user_life = grouped_user.order_dt.agg(['min', 'max'])
user_life.head()

image.png

plt.figure(figsize=(10, 5))
((user_life['max'] - user_life['min']) / np.timedelta64(1, 'D')).hist(bins=40)
plt.title('用户生命周期分布')

image.png

用户生命周期受只购买一次的客户影响较大，此处应该排除掉。

plt.figure(figsize=(10, 5))
u_1 = (user_life['max'] - user_life['min']) / np.timedelta64(1, 'D')
u_1[u_1 > 0].hist(bins=40)
plt.title('用户生命周期分布(删除之后买一次用户后)')

image.png

这是双峰趋势图。部分质量差的用户，虽然消费了两次，但是仍旧无法持续，在用户首次消费30天内应该尽量引导。少部分用户集中在50天～300天，属于普通型的生命周期，高质量用户的生命周期，集中在400天以后，这已经属于忠诚用户了。

复购率和回购率分析

复购率

所谓复购率就是在一个自然月内，购买多次的用户占比。

purchase_r = pivoted_counts.applymap(lambda x: 1 if x>1 else np.NaN if x == 0 else 0)
purchase_r.head()

image.png

(purchase_r.sum() / purchase_r.count()).plot(figsize=(10, 5))
plt.title('复购率')

image.png

回购率

def purchase_back(data):
    status = []
    for i in range(17):
        if data[i] == 1:
            if data[i+1] == 1:
                status.append(1)
            if data[i+1] == 0:
                status.append(0)
        else:
            status.append(np.NaN)
    status.append(np.NaN)
    return pd.Series(status, index=columns_month)
purchase_b = df_purchase.apply(purchase_back, axis=1)
purchase_b.head()

image.png

(purchase_b.sum() / purchase_b.count()).plot(figsize=(10, 5))
plt.title('回购率')

image.png

回购率在30%左右，新客的整体质量低于老客，老客的忠诚度（回购率）表现较好。