- 数据的分组和聚合
- pandas groupby 方法
- pandas agg 方法
- pandas apply 方法
我们往往需要在将数据拆分，在每一个特定的组里进行运算。这就需要分组。
pandas中的groupby提供了一个高效的数据的分组运算。
我们通过一个或多个分类变量将数据拆分，然后分别在拆分以后的数据上进行需要的计算。
- 执行单个操作可以直接使用内置函数 如max求没组最大值 size查看每组大小
- 执行多个操作聚合运算 可以使用agg方法，返回的标量结果
- 更广泛的分组运算 使用apply更一般化
我们可以把上述过程理解为三个步骤:
- 拆分数据 split
- 应用某个函数 apply
- 汇总结算结果 appregate
- 主要思想是分拆-应用-汇总。
- 对于一些简单的计算，比如最大值最小值的计算，我们可以直接使用groupby之后采用相应的内置方法。
- 对于一些更为复杂的计算，我们需要自己定义函数然后应用到拆分后的子数据上。根据具体要求来决定使用agg方法还是apply方法。
groupby常用方法
df.groupby(['','']).size() #内置函数 统计分组大小
df.groupby(['','']).agg(['max','自定义函数']) # agg聚合运算 使用的函数返回标量
df.groupby(['','']).apply(['自定义函数']) #apply聚合运算 使用的函数返回 和调用者一个数据结构
其他操作
df新增一列时 不要使用点语法，而要使用括号表示法
比如：
df['pct'] = df.frequency / df.frequency.sum() * 100
se.sum()对series中的数据求和
se.size()计算有多少行数据
se.count()也是计数，用在df中会对每个属性进行计数
使用rank方法 参数ascending表示升序还是降序 其结果是从1开始递增的数据
baby_names['ranked'] = baby_names.groupby(['year','gender']).frequency.rank(ascending=False)
series转DataFrame
使用 to_frame函数 转为 DataFrame 但是会保持原来的索引
重置索引 需要使用 DataFrame的reset_index方法
name_count = baby_names.groupby(['year','gender']).size()
# 将year gender 作为属性而非索引
# 将series转为DataFrame并重置索引
name_count = name_count.to_frame(name='name_count').reset_index()
使用matplotlib画图
- 导入包 import matplotlib.pyplot as plt
- 简要配置
- 设置行内显示 %matplotlib inline
- 设置清晰度 %config InlineBackend.figure_format='retina'
使用plt的plot()函数绘图
绘制的折线图 参数分别是 横坐标数据 纵坐标数据 颜色 ...
plt.plot(rank1m.year,rank1m.pct,color='blue')
使用 plt.fill_between()填充区域
plt.fill_between(rank1m.year,rank1m.pct,color='blue',alpha=0.1)
使用plt.xlim() 和 plt.ylim()设置 横纵坐标的范围
使用plt.title()设置标题
使用plt.xlabel() plt.ylabel()设置横纵坐标的标题
参数中 size 用来设置文字大小 alpha设置透明度 color 设置颜色 linewidth设置线宽
# 导入 pandas 包
import pandas as pd
# 导入鸢尾花数据
iris = pd.read_csv('iris.txt')
# 统计每个品种的数据量
iris.species.value_counts()
# 按品种划分，每个品种的花萼，花瓣的长度和宽度的最大值分别是多少？
# 使用上述groupby的思想，我们可以将数据划分为3个小块，每个小块包含50个观测数据。然后使用max函数得到各个测量值的最大值，然后进行汇总。
# 通过species分组，对每组分别求最大值
iris.groupby('species').max()
# 通过size方法查看每个分组的大小
iris.groupby('species').size()
使用自定义函数进行聚合运算 -- agg 方法
- 当计算变得复杂时，内置函数可能无法处理
- 我们需要自定义一个函数来进行计算, 传入一个数组做参数，返回一个标量的结果。
- groupby对象的agg/aggregate方法可以实现上述功能。
- 如果需要聚合多个函数，需要给agg传入一个list 内置函数需要用引号引起来
- 如果需要针对不同的列应用不同的函数，需要传入字典
# 计算每个品种所有属性（花瓣、花萼的长度和宽度）数值的跨度范围，即最大值减去最小值
def range_iris(arr):
return arr.max() - arr.min()
# 可以使用agg或者aggregate（两者等价）
iris.groupby('species').agg(range_iris)
# 我们还可以同时应用多个函数，将函数名字放入一个列表即可，内置函数名需要用引号
iris.groupby('species').agg(['mean','max',range_iris])
iris.groupby('species').agg({
'petal_width':['min'],
'petal_length':[range_iris]
})
更广泛的分组运算 -- apply方法
- agg 方法将一个函数使用在一个数列上，然后返回一个标量的值。
- apply 是一个更一般化的方法：将一个数据分拆-应用-汇总
# 提取每个品种前n个观测值作为一个样本
def first_n(df,n=3):
return df[0:n]
# 如果提取的样本数n>1, 则不能使用agg方法，因为agg方法必须生成一个标量数值，所以这里会出错
iris.groupby("species").agg(first_n)
# 所以必须考虑更一般化的apply方法
# 注意：n是参数，我们可以直接在函数名称后加上需要的参数
iris.groupby('species').apply(first_n,n=5)
读取 包括1880至2016所有年份出生的婴儿名数据
- 使用循环构造函数名
- 创建列表用来存储每一年的数据
- 使用concat方法将列表中的DataFrame整合在一起
years = range(1880,2017)
pieces = []
columns = ['name','gender','frequency']
for year in years:
path = 'names/yob%d.txt' % year
frame = pd.read_csv(path,names = columns)
# 增加一个year列
frame['year'] = year
pieces.append(frame)
# 使用concat整合所有的frame到一个DataFrame 忽略原有的索引 生成新的索引
baby_names = pd.concat(pieces,ignore_index=True)
# 根据多个属性来分组计算数据大小
baby_names.groupby(['year','gender']).size()
# 在不同的年份不同性别中，计算每个名字所占的百分比
# 每一个名字的频次除以总的频次乘以100
# 使用向量化计算
def add_pct(group):
group['pct'] = group.frequency / group.frequency.sum() * 100
return group
baby_names = baby_names.groupby(['year','gender']).apply(add_pct)
# 我们可以自己增加一个变量rank，这个是根据年份性别依据名字出现频率所产生的次序 排序 从高到低
baby_names['ranked'] = baby_names.groupby(['year','gender']).frequency.rank(ascending=False)
绘图
# 每年最流行的男孩女孩名字所占的百分比变化趋势如何
import matplotlib.pyplot as plt
%matplotlib inline
%config InlineBackend.figure_format='retina'
# 获取男孩女孩
dfm = baby_names[baby_names.gender == 'M']
dff = baby_names[baby_names.gender == 'F']
# 获取每年最流行的男孩名
rank1m = dfm[dfm.ranked == 1]
rank1m.head()
plt.plot(rank1m.year,rank1m.pct,color='blue')
# 填充区域
plt.fill_between(rank1m.year,rank1m.pct,color='blue',alpha=0.1)
# 设置坐标范围
plt.xlim(1880,2020)
plt.ylim(0,9)
# 添加标题
plt.title("Popularity of #1 boys' name by year",size=18,color='blue')
plt.xlabel('Year',size=15)
plt.ylabel('% of male births',size=15)
为什么历史上最流行的男孩女孩名字所占的比重逐年降低?
# 查看每年可选的名字，按性别分类
# size方法返回一个series
name_count = baby_names.groupby(['year', 'gender']).size()
# 使用to_frame 将series转换为DataFrame
# reset_index将year和gender作为两个变量而非索引
name_count = name_count.to_frame(name="name_count").reset_index()
# 和上面最流行名字比重类似，我们来画出每年可选名字个数的图
# 获取男孩的数据
name_count_m = name_count[name_count.gender == "M"]
# 绘制折线图
plt.plot(name_count_m.year, name_count_m.name_count, color="blue", linewidth = 2)
# 填充颜色
plt.fill_between(name_count_m.year, name_count_m.name_count, color="blue", alpha = 0.1)
# 设置左边区间范围
plt.xlim(1880,2016)
plt.ylim(0,21000)
# 添加标题，字体大小由size调整，颜色由color调整
plt.title("Number of boy's names by year", size=18, color="blue")
plt.xlabel('Year', size=15)
plt.ylabel('Number of names', size=15)
