Python数据聚集:groupby, pivot_table

一、 groupby 

1. 关键词形式

用来聚集的关键词有多种形式,而且关键词可以不用是同一种结构。

a. list或array,长度需与将被聚集的轴向长度一样

b. DataFrame中的列名

c. Dict或Series,其值与将被聚集的轴向值一一对应

d. 函数

2. 聚集实例

首先创建一个DataFrame以供演示,

对data1按key1进行聚集,聚集后得到的结果需要以数学计算类方式显示,有点类似于SQL,没有被函数计算的列均需在group by 中。

对于groupby后关键词,key1为列名,并且仅对data1进行了聚集,如果是data1和data2同时按key1进行聚集,则直接对df进行groupby,数值类的列会默认被聚集,而其他类型的不会。

注:df.groupby('key1')['data1']和df['data1'].groupby(df['key1'])相比,结果一致,但前者在语法上更为优,特别是对于大的数据集来说。

如果key1,key2同时出现即groupby([df['key1'], df['key2']]),所聚集的结果将是多索引DataFrame,grouped.unstack()会将key2转成列名,如果不希望聚集的关键词作为索引,可在groupby的参数中添加 as_index=False

聚集的关键词可以是长度一致的外部Series,如下:

3. 聚集结果的叠代与应用

a. 叠代打印出数据块

b. 转换成其他数据结构   

c. 聚集方向

默认情况下聚集是在axis=0,但可以任意选择其他轴向,如下例选择以数据类型在列的方向进行聚集,

4. 其他关键词类型的聚集

(Dicts, Series, Functions, Index Levels)

创建数据集,并替换些空值。

a. Dicts

创建字典,其中多添加了一列原DataFrame不存在的f用作参考,匹配的是列值,可直接将字典传入关键词,设置参数axis=1,

b. Series

接着上面的例子,将字典转换成Series,并以同样的方式进行groupby,

c. Functions

被传入作关键词的函数,会针对每一个索引都被执行一次,我们以len为例说明,第二个例子也展示了函数与list混合作为关键词。

d. Index Levels

对于多层级的DataFrame,可以按索引级别进行groupby,


5. 聚集后的数据处理

a. 数据函数:

count, sum, mean, median, std, var, min, max, prod, first, last.

quantile(), Series计算方式,例 df.groupby('key1')['data1'].quantile(0.9)


b. 可设计函数再调用,如下,其中df.agg()中agg是aggregate的缩写

c. 调用的函数可以是多个函数的list

grouped_pct.agg(['mean', 'std', peak_to_peak])


也可以指定不同列按照不同的函数进行处理

grouped_pct.agg([('foo', 'mean'), ('bar', np.std)]),

对列foo计算mean, 对列bar计算std。


同时,也可以对返回的计算列进行命名,

ftuples = [('Durchschnitt', 'mean'), ('Abweichung', np.var)]

grouped['tip_pct', 'total_bill'].agg(ftuples)

对列'tip_pct'和 'total_bill'进行mean和var的计算,但计算列名分别显示为'Durchschnitt'和'Abweichung',


对于聚集处理后的数据,要想保持DataFrame的特性,需要用reset_index()转换一下,即

df = grouped.reset_index()


二、pivot_table

同样具有聚集作用,但返回的结果默认是mean, 另外不同于groupby的是,pivot_table可以通过参数margins添加求和行和列。

tips.pivot_table(['tip_pct', 'size'], index=['time', 'day'], columns='smoker')

选择列'tip_pct', 'size',行索引'time', 'day',按是否为'smoker'对列进行区分展示平均值。

tips.pivot_table(['tip_pct', 'size'], index=['time', 'day'], columns='smoker',  margins=True)

通过参数margins=True来选择对两列的每行进行平均值的计算,且在最后一行为每单列的平均值。

tips.pivot_table('tip_pct', index=['time', 'smoker'], columns='day', aggfunc=len, margins=True)

参数aggfunc可设置聚集计算的方式,譬如count或len会返回该部分数据块的数量。

参数fill_value可用来设置针对空值来填空的默认值,如fill_value=0, 同理,dropna用来选择是否去除全部为空值的列,默认为True。


该文章内容主要来自于《Python for Data Analysis》第10章,原本是边读边练习过,可是一到应用时还是有点分不清,通过这样整理希望能够加深印象,使得应用起来更加熟练。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容