数据分析库之numpy

Numpy是python科学计算库。其整合了C/C++.fortran的代码,性能良好,更是Scipy、Pandas等的基础。

掌握此类库不需要记忆,只需要知道大概有哪些方法,能干什么,,需要的时候,快速翻阅即可。

numpy基础

np.ndim :维度 

np.shape :各维度的尺度 (2,5) 

np.size :元素的个数 10 

np.dtype :元素的类型 dtype(‘int32’) 

np.itemsize :每个元素的大小,以字节为单位 ,每个元素占4个字节 

ndarray数组的创建 

np.array([2,3,4,5], dtype=np.float64)  一维
np.array([2,3,4,5],[2,3,4,5])  二维
np.arange(n) ; 元素从0到n-1的ndarray类型 

shape 表示形状的元组
np.ones(shape): 生成全1 

np.zeros((shape), ddtype = np.int32) : 生成int32型的全0 

np.full(shape, val): 生成全为val 

np.eye(n) : 生成单位矩阵

np.ones_like(a) : 按数组a的形状生成全1的数组 

np.zeros_like(a): 同理 

np.full_like (a, val) : 同理

np.linspace(1,10,4): 根据起止数据等间距地生成数组 

np.linspace(1,10,4, endpoint = False):endpoint 表示10是否作为生成的元素 

np.concatenate():

np.empty(shape) 创建没有任何具体值得数组

数组的维度变换

np.reshape(shape) : 不改变当前数组,依shape生成 

np.resize(shape) : 改变当前数组,依shape生成 

np.swapaxes(ax1, ax2) : 将两个维度调换 

np.flatten() : 对数组进行降维,返回折叠后的一位数组

np.transpose() 转置
np.T 特殊转置
np.dot(arr.,arr) 求点积

数组的类型变换

数据类型的转换 :a.astype(new_type) : eg, a.astype (np.float) 

数组向列表的转换: a.tolist() 

数组的索引和切片

一维数组切片

a = np.array ([9, 8, 7, 6, 5, ]) 
 a[1] = 23  赋值
 a[2:4] = 8  赋值
a[1:4:2] –> array([8, 6]) : a[起始编号:终止编号(不含): 步长]

多维数组索引

a = np.arange(24).reshape((2, 3, 4)) 

a[1, 2, 3] 表示 3个维度上的编号, 各个维度的编号用逗号分隔

布尔型索引
names = np.array([1,2,3,3,4,5,3])
data = np.randn(7,4)
data[names==3] 布尔型的长度必须跟索被索引的轴长度一致
data[names != 3] = 7

data 所有负值设置为0
data[data<0] = 0

多维数组切片

a [:,:,::2 ] 缺省时,表示从第0个元素开始,到最后一个元素 

数组的运算

arr = np.array([[1,2,3],[1,3,4]])
arr * arr
arr - arr
arr ** 0.5  广播运算

np.abs(a) np.fabs(a) : 取各元素的绝对值 

np.sqrt(a) : 计算各元素的平方根 

np.square(a): 计算各元素的平方 

np.log(a) np.log10(a) np.log2(a) : 计算各元素的自然对数、10、2为底的对数 

np.ceil(a) np.floor(a) : 计算各元素的ceiling 值, floor值(ceiling向上取整,floor向下取整) 

np.rint(a) : 各元素 四舍五入 

np.modf(a) : 将数组各元素的小数和整数部分以两个独立数组形式返回 

np.exp(a) : 计算各元素的指数值 

np.sign(a) : 计算各元素的符号值 1(+),0,-1(-) 

np.isnan() 返回是 nan 的布尔型数组

np.maximum(a, b) np.fmax() : 比较(或者计算)元素级的最大值 

np.minimum(a, b) np.fmin() : 取最小值 

np.mod(a, b) : 元素级的模运算 

np.copysign(a, b) : 将b中各元素的符号赋值给数组a的对应元素
 cos/cosh/sin/sinh/tan/tanh 普通型函数和双曲线三角函数

数据的CSV文件存取

CSV (Comma-Separated Value,逗号分隔值) 只能存储一维和二维数组

存入文件

np.savetxt(frame, array, fmt=’% .18e’, delimiter = None):

 frame是文件、字符串等,可以是.gz .bz2的压缩文件; 

array 表示存入的数组;

 fmt 表示元素的格式 eg: %d % .2f % .18e ; 

delimiter: 分割字符串,默认是空格 

eg: np.savetxt(‘a.csv’, a, fmt=%d, delimiter = ‘,’ )

读取文件

np.loadtxt(frame, dtype=np.float, delimiter = None, unpack = False) :

 frame是文件、字符串等,可以是.gz .bz2的压缩文件;

 dtype:数据类型,读取的数据以此类型存储; 

delimiter: 分割字符串,默认是空格; unpack: 如果为True, 读入属性将分别写入不同变量。 

多维数据的存取 

a.tofile(frame, sep=’’, format=’%s’ ) :

 frame: 文件、字符串; 

sep: 数据分割字符串,如果是空串,写入文件为二进制 ;

 format:: 写入数据的格式 

eg: a = np.arange(100).reshape(5, 10, 2) 

a.tofile(“b.dat”, sep=”,”, format=’%d’)

np.fromfile(frame, dtype = float, count=-1, sep=’’): 

frame: 文件、字符串 ; 

dtype: 读取的数据以此类型存储; 

count:读入元素个数, -1表示读入整个文件; 

sep: 数据分割字符串,如果是空串,写入文件为二进制

PS: a.tofile() 和np.fromfile()要配合使用,要知道数据的类型和维度。

np.save(frame, array) : 

frame: 文件名,以.npy为扩展名,压缩扩展名为.npz ; 

array为数组变量 

PS:np.load(fname) : frame: 文件名,以.npy为扩展名,压缩扩展名为

np.save() 和np.load() 使用时,不用自己考虑数据类型和维度。

numpy随机数函数

numpy 的random子库

rand(d0, d1, …,dn) : 各元素是[0, 1)的浮点数,服从均匀分布 

randn(d0, d1, …,dn):标准正态分布 

randint(low, high,( shape)): 依shape创建随机整数或整数数组,范围是[ low, high) 

seed(s) : 随机数种子

shuffle(a) : 根据数组a的第一轴进行随机排列,改变数组a 

permutation(a) : 根据数组a的第一轴进行随机排列, 但是不改变原数组,将生成新数组 

choice(a[, size, replace, p]) : 从一维数组a中以概率p抽取元素, 形成size形状新数组,replace表示是否可以重用元素,默认为False。 
replace = False时,选取过的元素将不会再选取

uniform(low, high, size) : 产生均匀分布的数组,起始值为low,high为结束值,size为形状 

normal(loc, scale, size) : 产生正态分布的数组, loc为均值,scale为标准差,size为形状 

poisson(lam, size) : 产生泊松分布的数组, lam随机事件发生概率,size为形状 

eg: a = np.random.uniform(0, 10, (3, 4)) a = np.random.normal(10, 5, (3, 4))

eg:
img

numpy的统计函数

sum(a, axis = None) : 依给定轴axis计算数组a相关元素之和,axis为整数或者元组 

mean(a, axis = None) : 同理,计算平均值,axis表示轴向

average(a, axis =None, weights=None) : 依给定轴axis计算数组a相关元素的加权平均值 

std(a, axis = None) :同理,计算标准差 

var(a, axis = None): 计算方差 

eg: np.mean(a, axis =1) : 对数组a的第二维度的数据进行求平均 

a = np.arange(15).reshape(3, 5) 

np.average(a, axis =0, weights =[10, 5, 1]) : 对a第一各维度加权求平均,weights中为权重,注意要和a的第一维匹配

min(a) max(a) : 计算数组a的最小值和最大值 

argmin(a) argmax(a) : 计算数组a的最小、最大值的下标(注:是一维的下标) 

unravel_index(index, shape) : 根据shape将一维下标index转成多维下标 

ptp(a) : 计算数组a最大值和最小值的差 

median(a) : 计算数组a中元素的中位数(中值) 

eg:a = [[15, 14, 13], 

[12, 11, 10] ] 

np.argmax(a) –> 0 

np.unravel_index( np.argmax(a), a.shape) –> (0,0)

arr = np.array([[0,1,2],[3,4,5],[6,7,8]])
arr.cumsum(0) 纵向上累加
arr.cumprod(1) 横向上累积
 np.cumsum(a,axis=0) 纵向上累加

numpy的梯度函数

np.gradient(a) : 计算数组a中元素的梯度,f为多维时,返回每个维度的梯度 

离散梯度: xy坐标轴连续三个x轴坐标对应的y轴值:a, b, c 其中b的梯度是(c-a)/2 

而c的梯度是: (c-b)/1

当为二维数组时,np.gradient(a) 得出两个数组,第一个数组对应最外层维度的梯度,第二个数组对应第二层维度的梯度。

img

图像的表示和变换

PIL, python image library 库 

from PIL import Image 

Image是PIL库中代表一个图像的类(对象)

im = np.array(Image.open(“.jpg”))

im = Image.fromarray(b.astype(‘uint8’)) # 生成 

im.save(“路径.jpg”) # 保存

im = np.array(Image.open(“.jpg”).convert(‘L’)) # convert(‘L’)表示转为灰度图

数组间运算

np1, np2
np.add(np1,np2) 对应元素相加
np.subtract(np1,np2)  从第一个数组中减去第二个数组中元素
np.multiply(np1,np2) 数组元素相乘
np.divide(np1,np2) 除法
np.floor_divide(np1,np2) 向下圆整除发=法(丢弃余数)
np.power(np1,np2) 计算对应元素指数
maximum/fmax 元素最大值计算 fmax 忽略 nan
minimum/fmin 最小值计算
mod 求模计算 除法余数
copysign 第二个数组符号复制给第一个数组值
greater/greater_equal/less/less_equal/equal/not_equal 相当于 >,>=,<,<=,==,!=
logical_and,logical_or,logical_xor 相当于 &,|,^

条件逻辑表述为数组运算

np.where 函数 表达为 x if condition else y 
x = np.array([1,2,3,4,5])
x = np.array([6,7,8,9,10])
cond = np.array([True,false,True,True,false])
result = np.where(cond,x,y) True则 x 对应元素, false 则 y 对应元素

result = array([1,7,3,4,10])

arr = randn(4,4)
np.where(arr > 0,2,-2) 大于0的替换为2,小于0的替换成-2
np.where(arr > 0,2,arr) 只将正值设置为2,负值仍为 arr 元素

布尔型数组
arr = randn(100)
(arr>0).sum() 统计正值的数量

bools = np.array([false,false,True,false])
bools.any() 检测是否存在一个或多个 True
bools.all() 检测是否全为 True

排序

arr = randn(8)
arr.sort()

多维数组可以在任何一个轴上进行排序
arr.sort(1) 横向排序

集合逻辑运算

names = np.array([1,2,3,4,5,2,3,4])
np.unique(names)
>> array(1,2,3,4,5) 各元素唯一值值并排序

 np.in1d(arr,[list]) arr 在 list 的成员资格,返回布尔型数组
 >> array([True,False])

 np.intersect1d(x,y) 计算公共值,并返回有序集合
 np.union1d(x,y)计算并集,返回有序结果
 setdiff1d(x,y) 集合差, x 不在 y 中
 setxor1d(x,y) 集合对称差

线性代数

dot() 矩阵乘法
det 计算矩阵行列式
inv()计算方阵的逆
lstsq 计算 Ax = b 最小二乘解
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,636评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,890评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,680评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,766评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,665评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,045评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,515评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,182评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,334评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,274评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,319评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,002评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,599评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,675评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,917评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,309评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,885评论 2 341

推荐阅读更多精彩内容