简单来说，Numpy就是用来进行矩阵计算的，而Pandas则基于Numpy，丰富并简化了Numpy的操作
Numpy
基础操作
import numpy as np
array = np.array([[1, 2, 3],
[2, 3, 4]], dtype=np.int) #dtype即元素数据类型
a = np.zeros((3, 4)) # 3行4列的零矩阵
vec = np.arange(10, 20) # 从10到20的向量
mat_range = np.arange(12).reshape((3, 4)) # 从10到20的3行4列的矩阵
vec_line = np.linspace(1, 10, 3) # 从1到10分为3个元素的向量，使得相邻元素差值一致
print(array.ndim) # 维度
print(array.shape) # (2, 3)
print(array.size) # 元素个数
print(array.dtype)
b = a.copy() # 深拷贝
基础运算
a = np.array([10, 20, 30, 40]).reshape((2, 2))
b = np.arange(4).reshape((2, 2))
print(a.T) # 矩阵转置
c = 10 * np.sin(a) # 对a每个元素求sin再乘10
print(b < 3) # 所有元素比较 [ True True True False]
c = a*b # 对应元素相乘
c = np.dot(a, b) # 矩阵乘法
rand = np.random.random((2, 4)) # 随机矩阵
print(np.sum(a, axis=0)) # 行相加，axis理解为shape的索引
np.min(rand)
np.max(rand)
基础运算（二）
a = np.arange(2, 14).reshape((3, 4))
b = np.random.random((3, 4))
print(a)
print(np.argmax(a)) # 返回最大值索引
print(np.argmin(a))
print(np.average(a)) # 平均值
print(np.cumsum(a)) # 前缀和
print(np.diff(a)) # 一阶差分
print(np.nonzero(a))
print(np.clip(a, 5, 9)) # 将元素限制在[5,9]
索引和迭代
a = np.arange(3, 15).reshape((3, 4))
print(a[2, 1]) # 第二行第一列元素
print(a[:, 1]) # 第一列元素
for row in a:
print(row)
for col in a.T:
print(col)
for item in a.flat: # 遍历每个元素
print(item)
合并和分割
a = np.array([1, 1, 1])
b = np.array([2, 2, 2])
print(a[:, np.newaxis]) # 把1维的行向量变成2维列向量
print(np.vstack((a, b))) # 上下合并
print(np.hstack((a, b))) # 左右合并
a = np.arange(12).reshape((3, 4))
print(np.split(a, 2, axis=1)) # 纵向等分为2部分
print(np.array_split(a, 3, axis=1)) # 纵向不等分为3部分
Pandas
如果说numpy相当于一个list，那么Pandas就相当于一个dict
简单来说，当数据的维度比较大的时候，单纯地通过numpy中的数字索引来访问元素显得有些意义不明，我们希望给某一行，某一列甚至某个单元的元素一个名称，简化操作的同时丰富每一行的代码的语义和可读性，这就是Pandas
基本操作
在学习基本操作之前，我们必须明确的一点是：
一般来说，使用矩阵组织数据的是以行为单元的，什么意思呢？就是多组结构一致的数据往往表现在矩阵里是多行。因此从列的角度看每一列是多组数据的同一类型数据。这也是为什么在Pandas里行方向的labels称作index，因为它跟一般意义的索引没有本质区别，都是表示数据的序号
Pandas中最常用的两种数据类型是：Series和DataFrame
import pandas as pd
import numpy as np
s = pd.Series([1, 3, 6, 7, 44, np.nan, 3.4], index=[7]*7) # 相当于一维的ndarray加上标签
data = pd.DataFrame(np.arange(12).reshape(
(3, 4)), index=np.arange(3), columns=['a', 'b', 'c', 'd'])
# 相当于矩阵加上行标签和列标签,index表示行标签，columns表示列标签
print(data.index) # 行labels
print(data.columns) # 列labels
print(data.values)
print(data.describe()) # 按列输出统计数据
data = data.sort_index(axis=0, ascending=False) # 对行labels排序，从大到小
data = data.sort_values(by='a', axis=0) # 指定列labels按行排序
数据选择及更改
dates = pd.date_range('20190329', periods=6)
df = pd.DataFrame(np.arange(24).reshape((6, 4)),
index=dates, columns=['a', 'b', 'c', 'd'])
print(df['a'], df.a, sep='\n') # 输出标签为'a‘的列
print(df[0:3], df['20190329':'20190331'], sep='\n') # 输出前三行数据
print(df.loc['20190329'])
print(df.loc[:, ['a', 'b']]) # loc基于标签名
print(df.iloc[3:5, 1:3]) # iloc基于行列的绝对数字(index)
print(df[df.a > 8]) # 筛选出a大于8的行
# 更改数据
df.iloc[2, 2] = 111
df.loc['20190329', 'b'] = 333
df.a[df.a > 4] = 0 # 把大于4的a列赋值为0
df['f'] = np.nan # 动态添加新列
处理丢失数据
dates = pd.date_range('20190329', periods=6)
df = pd.DataFrame(np.arange(24).reshape((6, 4)),
index=dates, columns=['a', 'b', 'c', 'd'])
df.iloc[0, 1] = np.nan
df.iloc[1, 2] = np.nan
print(df.fillna(value=0)) # 填充nan为0
print(df.dropna(axis=0, how='any')) # 丢失存在nan的行
print(df.isnull()) # nan的位置为True，其余为False
print(np.any(df.isnull()) == True) # 判断整个矩阵是否存在nan
简单IO
data = pd.read_csv('data.csv', sep=',')
pd.to_pickle(data, 'data.pickle')
data = pd.read_pickle('data.pickle')
合并
import pandas as pd
import numpy as np
# concat
df1 = pd.DataFrame(np.ones((3, 4))*0, columns=['a', 'b', 'c', 'd'])
df2 = pd.DataFrame(np.ones((3, 4))*1, columns=['a', 'b', 'c', 'd'])
df3 = pd.DataFrame(np.ones((3, 4))*2, columns=['a', 'b', 'c', 'd'])
print(df1, df2, df3, sep='\n\n')
res = pd.concat([df1, df2, df3], axis=0,
ignore_index=True, join='inner') # 按行合并（即纵向），index重新计算
# inner模式删去非公共的列标签对应的列，outer则会保留，同时用nan填充
res = res.append(pd.Series([0, 1, 2, 3], index=[
'a', 'b', 'c', 'd']), ignore_index=True) # 添加一个Series
# 基于key的合并请参考merge函数，和sql中的内外连接非常相似，此处不赘述各参数的用法，需要时查询文档即可
pd.merge()
