数据分析项目练习笔记（2）—— 数据清洗及特征值处理
使用工具：Jupyter
使用库：Pandas，NumPy
参考资料：
https://pandas.pydata.org/docs/user_guide/10min.html
https://www.osgeo.cn/numpy/user/absolute_beginners.html
1、观察缺失值分布
df.info()
df.isnull().sum()
df[["Age","Cabin","Embarked"]].head()
注意点：
- np.nan()可以产生空值，但np.nan是一个float类型，因此不能用于检查原始数据是否为空，但若生成空值，必须用两边比较判断是否为nan
- np.isnan()和pd.isnull()使用场景类似，但前者多用于检验值，后者用于检验整体
2、缺失值处理
主要思路：
- 删除
- 常量填充：0、均值、众数、中位数等
- 插值填充：前后值均值、前值 or 后值
- knn/随机森林(这两项都是采用预测分类的思路，因此算为一类)
- 针对连续数的缺失值，可以根据高斯分布或范围推定预测数值（数据课补充内容）
缺失值处理具体方式（填0为例）：
- df_fillna1 = df.fillna({"Age": 0})
- df.loc[df["Age"].isnull(), ["Age"]] = 0.0
df_fillna2 = df- df_fillna3 = df.fillna(0.0)
- dfc = df.dropna(axis=1,how='any', thresh=400,subset=None,inplace=False)
DataFrame.fillna(value=常量数值, method=填充方式, axis=遵循维度, inplace=False, limit=可接受的最多连续空值数, downcast=修正数值类型)
DataFrame.dropna(axis=象限, how='any-存在空值就删除，all-全是空值才删除', thresh=至少多少非空数值, subset=关联删除, inplace=False)
3、重复值处理
查看重复值
df[df.duplicated()]
删除重复值
df = df.drop_duplicates()
4、特征处理——连续值处理
分箱
df["Age_box"] = pd.cut(df["Age"], 5, labels = list("12345"))
from matplotlib import pyplot as plt
plt.hist(df["Age"])
df["Age_box"] = pd.cut(df["Age"], [0, 5, 15, 30, 50, 80], right = False)
df["Age_box"] = pd.qcut(df["Age"], [0, 0.1, 0.3, 0.5, 0.7, 0.9], duplicates = "drop")
5、非数值型转换为数值型（便于分析）
查看数值
df['Sex'].value_counts()
df['Sex'].unique()
替换数值
- df["Sex"].replace(['male', 'female'], [1,2], inplace = True)
- df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
- from sklearn.preprocessing import LabelEncoder
df["Cabin"] = LabelEncoder().fit_transform(df["Cabin"])- for column in ['Sex','Cabin','Embarked']:
x = pd.get_dummies(df[column], prefix = column)
df = pd.concat([df, x], axis = 1)
df.head()
6、文本拆分
拆分出头衔部分
df["Title"] = df.Name.str.extract('([A-Za-z]+).')
