整章知识架构
一、索引器
索引器
- 通过表索引对表进行列索引
df['column_name']
df.column_name
df[['c1', 'c2']]
- 对于序列的行索引有字符串索引和整数索引两种方式
s['a'] # s是以字符串为索引的Series
s[1] # s是以整型为索引的Series
- 对DaFrame的行索引具有
loc和iloc两种方式，分别是元素索引和位置索引。这两种方式也可以对Series使用
df.loc['index']
df.loc[['ind1', 'ind2']]
df.iloc[1]
df.iloc[1:2]
【练一练】
select_dtypes是一个实用函数，它能够从表中选出相应类型的列，若要选出所有数值型的列，只需使用.select_dtypes('number')，请利用布尔列表选择的方法结合DataFrame的dtypes属性在learn_pandas数据集上实现这个功能。
# 使用.loc结合布尔条件索引的方法
def select_dtypes(df,_type):
if _type in ['number']:
is_int = df.dtypes == int
is_float = df.dtypes == float
is_number = is_int | is_float
ret = df.loc[:, is_number]
elif _type in ['int']:
is_int = df.dtypes == int
ret = df.loc[:, is_int]
elif _type in ['float']:
is_float = df.dtypes == float
ret = df.loc[:, is_float]
return ret if ret.shape[1] > 0 else None
print(select_dtypes(df, 'number').columns)
print(select_dtypes(df, 'float').columns)
print(select_dtypes(df, 'int'))
- 通过 query方法使用查询表达式来进行数据查询
df.query('((School == "Fudan University")&'
' (Grade == "Senior")&'
' (Weight > 70))|'
'((School == "Peking University")&'
' (Grade != "Senior")&'
' (Weight > 80))')
- 通过sample函数可以对表进行随机抽样
df_sample.sample(3, replace = True, weights = df_sample.value)
二、多级索引
多级索引
# from_tuples
my_tuple = [('a','cat'),('a','dog'),('b','cat'),('b','dog')]
pd.MultiIndex.from_tuples(my_tuple, names=['First','Second'])
# from_arrays
my_array = [list('aabb'), ['cat', 'dog']*2]
pd.MultiIndex.from_arrays(my_array, names=['First','Second'])
# from_product
my_list1 = ['a','b']
my_list2 = ['cat','dog']
pd.MultiIndex.from_product([my_list1, my_list2], names=['First','Second'])
三、索引的常用方法
索引的常用方法
【练一练】
尝试在rename_axis中使用函数完成与例子中一样的功能。
df_ex.rename_axis(index=lambda x: str.upper(x)).head()
四、索引运算
索引运算
五、练习
Ex1：公司员工数据集
现有一份公司员工数据集：
dataset
- 分别只使用
query和loc选出年龄不超过四十岁且工作部门为Dairy或Bakery的男性。 - 选出员工
ID号 为奇数所在行的第1、第3和倒数第2列。 - 按照以下步骤进行索引操作：
- 把后三列设为索引后交换内外两层
- 恢复中间一层
- 修改外层索引名为
Gender - 用下划线合并两层行索引
- 把行索引拆分为原状态
- 修改索引名为原表名称
- 恢复默认索引并将列保持为原表的相对位置
# 问题1
dpt = ['Dairy', 'Bakery']
df.loc[(df.age<=40)&df.department.isin(dpt)&(df.gender=='M')].head(3)
# 问题2
df.iloc[(df.EmployeeID%2==1).values,[0,2,-2]].head()
# 问题三
# 把后三列设为索引
df_ = df.set_index(['department', 'job_title', 'gender'])
# 交换内外两层
df_ = df_.swaplevel(0,2, axis=0)
# 恢复中间一层
df_ = df_.reset_index(level=1, drop=False)
# 把外层索引名改为Gender
df_.rename_axis(index={'gender':'Gender'})
# 用下划线合并两层索引
df_.index = df_.index.map(lambda x:'_'.join(x))
# 拆分为原状态
df_.index = df_.index.map(lambda x:tuple(x.split('_')))
# 修改索引名为原表名称
df_ = df_.rename_axis(index=['gender','department'])
# 恢复默认
df_ = df_.reset_index().reindex(df.columns, axis=1)
Ex2：巧克力数据集
现有一份关于巧克力评价的数据集：
- 把列索引名中的
\n替换为空格。 - 巧克力
Rating评分为1至5，每0.25分一档，请选出2.75分及以下且可可含量Cocoa Percent高于中位数的样本。 - 将
Review Date和Company Location设为索引后，选出Review Date在2012年之后且Company Location不属于France, Canada, Amsterdam, Belgium的样本。
# 将\n替换为空格
df.columns = [' '.join(i.split('\n')) for i in df.columns]
# 挑选
df['Cocoa Percent'] = df['Cocoa Percent'].apply(lambda x:float(x[:-1])/100)
df.query('(Rating<3)&(`Cocoa Percent`>`Cocoa Percent`.median())').head(3)
idx = pd.IndexSlice
exclude = ['France', 'Canada', 'Amsterdam', 'Belgium']
# 将Review Date和Company Location设置为索引
res = df.set_index(['Review Date', 'Company Location']).sort_index(level=0)
res.loc[idx[2012:,~res.index.get_level_values(1).isin(exclude)],:].head(3)
