import numpy as np
import pandas as pd
titanic_survival = pd.read_csv("train.csv")
print(titanic_survival.head())
print("********************************")
age = titanic_survival["Age"]
print(age.loc[0:10]) # 显示age数据的0——10行
print("********************************")
#用.isnull()对缺失值进行处理。若当前的值为一个缺失值，则返回true，否则返回false
ageIsNull = pd.isnull(age)
print(ageIsNull)
print("********************************")
#将ageIsNull的值为true的留下来，把ageIsNull值为false的过滤掉
ageTrue = age[ageIsNull]
print(ageTrue) #打印所有的缺失值
print("********************************")
ageCount = len(ageTrue) # 打印缺失值的个数
print("age属性缺失值的个数： ", ageCount)
print("********************************")
# 处理缺失值可以直接过滤缺失值
good_ages = titanic_survival["Age"][ageIsNull == False]
# print(good_ages)
correct_mean_age = sum(good_ages) / len(good_ages)
print("平均年龄 = ",correct_mean_age)
print("********************************")
# 直接用pandas中提供的mean()方法来处理
correct_mean_age = titanic_survival["Age"].mean()
print("用mean()得到的平均年龄 = ",correct_mean_age)
print("********************************")
# 用pandas自带的函数.pivot_table()来统计船舱等级与平均票价的关系
# .pivot_table()相当于一个数据透视表，也相当于一个量与其他量之间关系的一个函数
passenger_classes = titanic_survival.pivot_table(index="Pclass", values = "Fare", aggfunc = np.mean)
print(passenger_classes)
print("********************************")
# 用.pivot_table()求每类船舱对应的平均存活率
passenger_survical = titanic_survival.pivot_table(index = "Pclass",values = "Survived",aggfunc = np.mean)
print(passenger_survical)
print("********************************")
# 用.pivot_table()看不同的登船地点(C,Q,S)的总的票价和总的获救人数
port_stats = titanic_survival.pivot_table(index = "Embarked",values = ["Fare","Survived"],aggfunc = np.sum)
print(port_stats)
print("********************************")
#用.dropna扔掉具有缺失值的行
titanic_survival.head(7)
new_titanic_survival = titanic_survival.dropna(axis = 0,subset = ["Age","Sex"])
#看Age和Sex这两列有没有缺失值的，如果有，就把具有缺失值的这行数据扔掉。
titanic_survival.head(7)
print("********************************")
# 如何取确定位置上的一个数据 行号+列名
row_index_83_age = titanic_survival.loc[83,"Age"]
row_index_766_pclass = titanic_survival.loc[766,"Pclass"]
print("第83行的age = ",row_index_83_age)
print("第766行的pclass = ",row_index_766_pclass)
print("********************************")
# 用.sort_values()进行数据的重新排序，并用.reset_index()重置排序后的index值（即行号）
new_titanic_survival = titanic_survival.sort_values("Age",ascending = False) #根据“Age”的大小逆序排列。
print(new_titanic_survival[0:10]) #打印未进行.reset_index时的数据前10行
titanic_reindexed = new_titanic_survival.reset_index(drop = True)
print(titanic_reindexed.loc[0:10])
new_titanic_survival[0:10]
print("********************************")
# apply(自定义函数名) 的功能
#定义一个新的函数hundredth_row，用来返回第100行数据
def hundredth_row(column):
hundredth_item = column.loc[99]
return hundredth_item
hundredth_row = titanic_survival.apply(hundredth_row) #将新定义好的函数apply一下
print(hundredth_row)
print("********************************")
#返回所有属性缺失值的个数
def isnull_count(column):
column_null = pd.isnull(column) #返回值是true或flase
null = column[column_null] #缺失值列表
return len(null)
column_null_count = titanic_survival.apply(isnull_count)
print(column_null_count)
print("********************************")
# 将年龄离散化，在本实例数据集上的“Age”是一个连续的值，这里以18为界限，将其离散化。
def generate_age_label(row):
age = row["Age"]
if pd.isnull(age):
return "Unknow"
elif age < 18:
return "minor"
else:
return "adult"
age_labels = titanic_survival.apply(generate_age_label, axis = 1)
print(age_labels)
print("********************************")
# 利用上边的自定义函数，使用.pivot_table()函数得到年龄阶段与获救率之间的关系。
titanic_survival["age_labels"] = age_labels #将上一个里边返回的关于age_labels的数据组合成数据的一列
#得到年龄阶段与存活率之间的关系
age_group_survival = titanic_survival.pivot_table(index = "age_labels",values = "Survived")
print(age_group_survival)
