我们在处理后台数据时最经常用到的结构就是二维表格的形式,而DataFrame工具可以帮助我们快速处理表格数据,可以以行为单位处理整行数据,也可以以列为单位处理一列的数据,是一个比较灵活处理数据的工具,在数据处理上有很大的实用性。
1.生成数据
1.1 设置DataFrame的index,columns以及values
例如:
data = DataFrame(np.arange(15).reshape(3,5),index=['one','two','three'],columns=['a','b','c','d','e'])
就可以生成类似下面的矩阵:
1.2 返回的数据为二维列表格式的:
例如:
获取数据查询后的列表数据后再转换:
employee_data = [x.to_dict() for x in data.items]
df = pd.DataFrame(employee_data)
可以对每一列重新命名:df.rename(columns=col_name, inplace=True)
对缺省值的填充:df.fillna('', inplace=True)
2.查询数据
2.1 获取特定列和行的数据
a['x'] 那么将会返回columns为x的列
a[0:3] 则会返回前三行的数据
2.2 通过标签来选择数据
a.loc['one']则会默认表示选取行为'one'的行;
a.loc[:,['a','b']] 表示选取所有的行以及columns为a,b的列
a.loc[['one','two'],['a','b']] 表示选取'one'和'two'这两行以及columns为 a,b的列
2.3 直接通过位置来过滤数据
a.iloc[1:2,1:2] 则会获取第一行第一列的数据
2.4 通过条件来过滤数据
a[a['one'].isin(['2','3'])] 表显示满足条件:列one中的值包含'2','3'的所有行(isin()选出特定列中包含特定值的行)
3.数据转换
pandas 中的to_dict 可以对DataFrame类型的数据进行转换
可以选择六种的转换类型,分别对应于参数 ‘dict’, ‘list’, ‘series’, ‘split’, ‘records’, ‘index’
3.1 转dict:默认的参数,形成 {column : {index : value}}这样的结构的字典,可以看成是一种双重字典结构, 查询方式为 :data_dict[key1][key2]
3.2 转list: 结构为{column : [values]} ,访问方式:data_list[keys][index]
3.3 转series:结构为{column : Series(values)}
3.4 转split:结构:{index : [index], columns : [columns], data : [values]}
3.5 转records:最经常用[{column : value}, … , {column : value}],内层是将 原始数据的每行提取出来形成字典
3.6 转index:结构{index : {column : value}}
4.处理数据
4.1 对指定轴上的索引进行改变/增加/删除操作,返回原始数据的一个拷贝
reindex()方法
用法:a.reindex(index=['one','five'],columns=list(a.columns)+['d'])
4.2 合并操作
1. 可以对列表数据进行横竖合并:contact
用法:contact(a1,axis=0/1,keys=['xx','xx','xx',...])
参数解释:
a1表示要进行进行连接的列表数据,
axis=1时表横着对数据进行连接。axis=0或不指定时,表将数据竖着进行连接。
a1中要连接的数据有几个则对应几个keys
2. 将一行或多行数据连接到列表上
用法:append(a1[2:],ignore_index=True)
参数解释:
表示将a中的第三行以后的数据全部添加到原列表中
若不指定ignore_index参数,则会把添加的数据的index保留下来
若ignore_index=Ture则会对所有的行重新自动建立索引。
3. 当两个列表有相同的键值时,就可以类似SQL那样连接:
(1)内连接,pd.merge(a1, a2, on='key')
(2)左连接,pd.merge(a1, a2, on='key', how='left')
(3)右连接,pd.merge(a1, a2, on='key', how='right')
(4)外连接, pd.merge(a1, a2, on='key', how='outer')
5.统计数据
分组统计groupby
例如生成如下数据:
data={
'date':pd.date_range('20000101',periods=10),
'gender':np.random.randint(0,2,size=10),
'height':np.random.randint(40,50,size=10),
'weight':np.random.randint(150,180,size=10)
}
a=DataFrame(data)
我们对gender列进行分组统计height和weight:
用法:a.groupby('gender').sum()
得到如下结果:
还有其他的统计用法:
1.a.mean() 默认对每一列的数据求平均值;若加上参数a.mean(1)则对每一行求平均值;
2.统计某一列x中各个值出现的次数:a['x'].value_counts();
3.对数据应用函数
a.apply(lambda x:x.max()-x.min())
表示返回所有列中最大值-最小值的差。