整理的这些东动为的是让自己加深印象，就像一本字典一样可以随时查阅吧。没别的意思
df.isnull() 输出的是布尔值
df.isnull().sum() 每一列的空值的数量加总 相当于 df.count()
df.isnull().sum().sum() 全部的数据的空值数量
df.notnull() 输出的也是布尔值，，和最上面的那个相反
dropping missing 丢掉缺失值
df.c4[df.c4.notnull()] 选择c4列的非空值 df.c4.dropna() 效果一样 但原数组不改变，只复制一份值
df.dropna(how = 'all') df.dropna(how='all', axis=1) 默认是对行进行操作
df2.dropna(how='any', axis=1)
df.dropna(thresh=5, axis=1) 设定删除的阈值 Na Ns don't count as an item in calculating
Filling in missing data 填充缺失值 空值不再计算内容的范围里面
filled = df.fillna(0) 用0填充所有缺失值
df.fillna(0, limit=2) 填充前面2个
df.c4.fillna(method="ffill") 向前填充， 最后一个为空值
pd.ffill() and pd.bfill() 和前面等价
fill_values = pd.Series([100, 101, 102], index=['a', 'e', 'g'])
df.c4.fillna(fill_values) 用标签填充
df.fillna(df.mean()) 均值填充
s = pd.Series([1, np.nan, np.nan, np.nan, 2])
s.interpolate() 线性插入支 如(2.0 – 1.0)/(5-1) = 0.25
ts.interpolate(method="time") s.interpolate(method="values") 也一样
Handling duplicate data 处理重复的数据
data.duplicated() 返回的是布尔值。是否是重复数据
data.drop_duplicates() 留的是每行的第一个重复值
data.drop_duplicates(take_last=True) 留的是最后一个
data.drop_duplicates(['a', 'b']) 对特定的列筛选
Transforming Data 数据转换
x.map(y) 映射
s.replace(2, 5) 在Series中表示标签为2的值 替换 为5
s.replace({0: 10, 1: 100}) 用字典替换
df.replace({'a': 1, 'b': 8}, 100) 在DataFrame中，表示a中的1，b列中的8 替换为100
s = pd.Series(np.arange(0, 5)) s.apply(lambda v: v * 2)
df.apply(lambda col: col.sum()) 计算每列的和
df.apply(lambda row: row.sum(), axis=1) 同理 行
df['interim'] = df.apply(lambda r: r.a * r.b, axis=1) 新列 并创建值
df['result'] = df.apply(lambda r: r.interim + r.c, axis=1)
df.a = df.a + df.b + df.c 不创建新列，在原列的基础上增加数学操作运算
df.dropna().apply(lambda x: x.sum(), axis=1) 除空值外的行的和
use applymap to format all items of the Data Frame
df.applymap(lambda x: '%.2f' % x) 整个数据都转化为保留2位小数的浮点数 对整体操作
Combining and Reshaping 合并与重组
pd.concat(objs, axis=0,join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False) 所有参数
pd.concat([df1, df2]) 注意索引是源数列的 没有合并
c = pd.concat([df1, df2], keys=['df1', 'df2']) 指定属于哪张表
pd.concat([df1, df2], axis=1) 纵向合并 axis指定轴向
pd.concat([df1, df3], axis=1)
pd.concat([df1, df3], axis=1, join='inner')
Pivoting 视图
加上join参数的属性，如果为’inner’得到的是两表的交集，如果是outer，得到的是两表的并集。In[28]: pieces = {'x': df1,'y': df2,'z': df3}
In[29]: result = pd.concat(pieces) 传入字典增加分组建
df1.append(df2, ignore_index=True)
sensor_readings[sensor_readings['axis'] == 'X'] 只选择一列的某值显示
和透视的功能差不多，不过只是透视的一部分，stack表示把列变为索引，另外一个相反
df = pd.Data Frame({'a': [1, 2]}, index={'one', 'two'})
stacked1 = df.stack()
Grouping and Aggregating Data 这个知道有用，但还没用过过
The split, apply, and combine (SAC) pattern 分，聚 和
grouped = sensors.groupby('sensor') 返回一个DataFrame 不返回值
grouped.size() grouped.count() grouped.get_group('accel')
mcg = sensors.groupby(['sensor', 'axis']) 两列同时操作
print_groups(mcg) mcg.describe() 不同类别的描述
mig_l12.agg(np.mean) 求均值，分组后的
sensors.groupby(['sensor', 'axis'],as_index=False).agg(np.mean)
grouped.transform(lambda x: x + 10)
filled_Na Ns = grouped.transform(lambda x: x.fillna(x.mean()))
f = lambda x: x.Values.count() > 1
df.groupby('Label').filter(f) 必须指定列
f = lambda x: x.Values.isnull().sum() == 0
df.groupby('Label').filter(f) 意思都懂的 就是字面意思
f = lambda x: x.Values.count() > 1
df.groupby('Label').filter(f, dropna=False)
bins = pd.cut(dist, 5) 切分数据
pd.cut(dist, 5, right=False).categories
ranges = [6, 12, 18, 35, 50]
agebins = pd.cut(ages, ranges)
agebins.describe()
qbin = pd.qcut(dist, 5)
