一、数据加载
1.载入数据
导入numpy和pandas
import numpyas np
import pandasas pd
载入数据—使用相对路径载入数据
df= pd.read_csv('train.csv')
print(df.head(3))
载入数据—使用绝对路径载入数据
df= pd.read_csv('D:/pycharm/DA/1/train.csv')
print(df.head(3))
相对路径载入报错时，可以使用os.getcwd()查看当前工作目录。
pd.read_csv()和pd.read_table()的区别
设置参数sep，可以使pd.read_csv()和pd.read_table()效果相同。
'.tsv'和'.csv'的不同
TSV是用制表符（Tab,'\t'）作为字段值的分隔符。
CSV是用半角逗号（','）作为字段值的分隔符。
'.tsv'和'.csv'的读取
可以使用pd.read_csv()读取'.csv'文件。
可以使用pd.read_table()读取'.tsv'文件。
每1000行为一个数据模块，逐块读取
chunker= pd.read_csv('train.csv',chunksize=1000)
查看chunker的类型，使用for循环打印chunker
将表头改成中文
df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
print(df.head)
可以在加载完数据之后，修改列名。
df = pd.read_csv("train.csv")
df.columns=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口']
print(df.head)
2.初步观察
查看数据的基本信息
df= pd.read_csv('train.csv')
print(df.info())
观察表格前10行的数据和后15行的数据
print(df.head(10))
print(df.tail(15))
判断数据是否为空
print(df.isnull().head())
观察数据的其他信息
#返回所有列的求和值
df.sum()
#返回所有列的均值
df.mean()
#返回列与列之间的相关系数
df.corr()
3.保存数据
保存做出改变的数据
df.to_csv('train_chinese.csv')
二、pandas基础
1.了解数据类型
查看数据类型Series和DateFrame
sdata= {'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000}
example_1 = pd.Series(sdata)
print(example_1)
data= {'state': ['Ohio','Ohio','Ohio','Nevada','Nevada','Nevada'],
'year': [2000,2001,2002,2001,2002,2003],'pop': [1.5,1.7,3.6,2.4,2.9,3.2]}
example_2 = pd.DataFrame(data)
print(example_2)
加载'train.csv'文件
df= pd.read_csv('train.csv')
print(df.head(3))
查看DataFrame数据的每列的名称
print(df.columns)
查看"Cabin"这列的所有值
print(df['Cabin'].head(3))
print(df.Cabin.head(3))
加载文件"test_1.csv"，然后对比"train.csv"
test_1= pd.read_csv('test_1.csv')
print(test_1.head(3))
删除多余的列
del test_1['a']
print(test_1.head(3))
将['PassengerId','Name','Age','Ticket']这几个列元素隐藏
print(df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3))
2.了解筛选的逻辑
筛选是指选出需要的信息，丢弃无用的信息。
以"Age"为筛选条件，显示年龄在10岁以下的乘客信息
print(df[df["Age"]<10].head(3))
以"Age"为条件，显示年龄在10岁以上和50岁以下的乘客信息，命名为midage
midage= df[(df["Age"]>10)& (df["Age"]<50)]
print(midage.head(3))
将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来
midage = midage.reset_index(drop=True)
print(midage.head(3))
midage中存放的是经过筛选的数据。reset_index的作用是重置索引。
print(midage.loc[[100],['Pclass','Sex']])
使用loc方法将midage中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来
print(midage.loc[[100,105,108],['Pclass','Name','Sex']] )
使用iloc方法将midage中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来
print(midage.iloc[[100,105,108],[2,3,4]])
对比iloc和loc的异同
loc通过行标签索引行数据 ，iloc通过行号索引行数据。
三、探索性数据分析
1.导入numpy、pandas和数据
import numpy as np
import pandas as pd
text = pd.read_csv('train_chinese.csv')
print(text.head())
2.了解数据
利用Pandas对示例数据进行排序，要求升序
构建一个都为数字的DataFrame数据
frame= pd.DataFrame(np.arange(8).reshape((2,4)),
index=['2','1'],
columns=['d','a','b','c'])
print(frame)
根据“c”列升序排序
print(frame.sort_values(by='c',ascending=True))
sort_values函数中，by参数指向要排列的列，ascending参数指向排序的方式。
各种排序方式
行索引升序排序
print(frame.sort_index())
列索引升序排序
print(frame.sort_index(axis=1))
列索引降序排序
print(frame.sort_index(axis=1,ascending=False))
任选两列数据同时降序排序
print(frame.sort_values(by=['a','c'],ascending=False))
对数据（trian.csv）按票价和年龄两列进行降序排列
print(text.sort_values(by=['票价','年龄'],ascending=False).head(3))
计算两个DataFrame数据相加结果
frame1_a= pd.DataFrame(np.arange(9.).reshape(3,3),
columns=['a','b','c'],
index=['one','two','three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4,3),
columns=['a','e','c'],
index=['first','one','two','second'])
print(frame1_a)
print(frame1_b)
print(frame1_a+ frame1_b)
两个DataFrame相加，对应的行和列的值相加，没有对应的会变成空值NaN。
计算出在船上最大的家族的人数
家族人数等于兄弟姐妹的个数加上父母子女的个数。
print(max(text['兄弟姐妹个数'] + text['父母子女个数']))
使用Pandas describe()函数查看数据基本统计信息
frame2= pd.DataFrame([[1.4, np.nan],
[7.1, -4.5],
[np.nan, np.nan],
[0.75, -1.3]
],index=['a','b','c','d'],columns=['one','two'])
print(frame2)
print(frame2.describe())
查看泰坦尼克号数据集中票价、父母子女的基本统计数据
print(text['票价'].describe())
共有891个数据，平均值约为：32.20， 标准差约为49.69，说明票价波动特别大。
25%的人的票价是低于7.91的，50%的人的票价低于14.45，75%的人的票价低于31.00。
最大值约为512.33，最小值为0。
print(text['父母子女个数'].describe())
共有891个数据，平均值约为：0.38， 标准差约为0.8。
最大值为6，最小值为0。
DataWhale开源学习资料：
