python数据处理

一、Numpy库入门

  • ndarray对象的属性

    • .ndim 秩,即轴的数量或维度的数量
    • .shape ndarray对象的尺度,对于矩阵,n行m列
    • .size ndarray对象元素的个数,相当于.shape中n*m的值
    • .dtype ndarray对象的元素类型
    • .itemsize ndarray对象中每个元素的大小,以字节为单位
  • ndarray数组的创建方法

    • 从Python中的列表、元组等类型创建ndarray数组
      x= np.array(list/tuple)
      x= np.array(list/tuple, dtype=np.float32)
      当np.array()不指定dtype时,NumPy将根据数据情况关联一个dtype类型
    • 使用NumPy中函数创建ndarray数组,如:arange, ones, zeros等
      np.arange(n) 类似range()函数,返回ndarray类型,元素从0到n‐1
      np.ones(shape) 根据shape生成一个全1数组,shape是元组类型
      np.zeros(shape) 根据shape生成一个全0数组,shape是元组类型
      np.full(shape,val) 根据shape生成一个数组,每个元素值都是val
      np.eye(n) 创建一个正方的n*n单位矩阵,对角线为1,其余为0
      np.ones_like(a) 根据数组a的形状生成一个全1数组
      np.zeros_like(a) 根据数组a的形状生成一个全0数组
      np.full_like(a,val) 根据数组a的形状生成一个数组,每个元素值都是val
  • 使用NumPy中其他函数创建ndarray数组
    np.linspace() 根据起止数据等间距地填充数据,形成数组
    np.concatenate() 将两个或多个数组合并成一个新的数组

  • ndarray数组的变换

  • ndarray数组的维度变换
    .reshape(shape) 不改变数组元素,返回一个shape形状的数组,原数组不变
    .resize(shape)与.reshape()功能一致,但修改原数组
    .swapaxes(ax1,ax2) 将数组n个维度中两个维度进行调换
    .flatten() 对数组进行降维,返回折叠后的一维数组,原数组不变

  • ndarray数组的类型变换
    new_a = a.astype(new_type)

  • ndarray数组向列表的转换
    ls = a.tolist()

  • ndarray数组的操作

 索引:获取数组中特定位置元素的过程
 切片:获取数组元素子集的过程
  • 一维数组的索引和切片:与Python的列表类似
a[2]
a[1:  4:  2]
起始编号: 终止编号(不含): 步长,3元素冒号分割
编号0开始从左递增,或‐1开始从右递减
  • 多维数组的索引:
    每个维度一个索引值,逗号分割
  • 多维数组的切片:
选取一个维度用:
a[: , 1 , -3]
每个维度切片方法与一维数组相同
a[: , 1 : 3 , :]
每个维度可以使用步长跳跃切片
a[: , : , : : 2]
  • ndarray数组的运算
    • NumPy一元函数
      np.abs(x) np.fabs(x) 计算数组各元素的绝对值
      np.sqrt(x) 计算数组各元素的平方根
      np.square(x) 计算数组各元素的平方
      np.log(x) np.log10(x)np.log2(x) 计算数组各元素的自然对数、10底对数和2底对数
      np.ceil(x) np.floor(x) 计算数组各元素的ceiling值 或 floor值
      np.rint(x) 计算数组各元素的四舍五入值
      np.modf(x) 将数组各元素的小数和整数部分以两个独立数组形式返回
      np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x)计算数组各元素的普通型和双曲型三角函数
      np.exp(x) 计算数组各元素的指数值
      np.sign(x) 计算数组各元素的符号值,1(+), 0, ‐1(‐)
  • NumPy二元函数
    + ‐ * / **两个数组各元素进行对应运算
    np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin()元素级的最大/小值计算
    np.mod(x,y) 元素级的模运算
    np.copysign(x,y) 将数组y中各元素值的符号赋值给数组x对应元素
    > < >= <= == !=算术比较,产生布尔型数组

二、Numpy数据文件与存储

  • 一维、二维数据
    CSV (Comma‐Separated Value, 逗号分隔值),是一种常见的文件格式,用来存储批量数据
    • 从数组写入数据
      np.savetxt(frame, array, fmt='%.18e', delimiter=None)
      frame 文件、字符串或产生器,可以是.gz或.bz2的压缩文件
      array 存入文件的数组
      fmt 写入文件的格式,例如:%d %.2f %.18e
      delimiter 分割字符串,默认是任何空格,csv文件是逗号分隔
      np.savetxt('a.txt', a, fmt='%d', delimiter=',')
  • 读入文件到数组
    np.loadtxt(frame, dtype=np.float, delimiter=None, unpack=False)
    frame 文件、字符串或产生器,可以是.gz或.bz2的压缩文件
    dtype 数据类型,可选 (CSV中存储的是字符串类型)
    delimiter 分割字符串,默认是任何空格
    unpack 如果True,读入属性将分别写入不同变量
  • CSV的局限性
    CSV只能有效存储一维和二维数组,np.savetxt() np.loadtxt()只能有效存取一维和二维数组
  • 任意维度数据
  • a.tofile(frame, sep='', format='%s')
    frame 文件、字符串
    sep 数据分割字符串,如果是空串,写入文件为二进制
    format 写入数据的格式
    a.tofile('b.dat', sep=',' , formt='%s')
  • np.fromfile(frame, dtype=float, count=‐1, sep='')
    frame 文件、字符串
    dtype 读取的数据类型
    count 读入元素个数,‐1表示读入整个文件
    sep 数据分割字符串,如果是空串,写入文件为二进制
    np.fromfile(frame, dtype=float, count=‐1, sep='')

该方法需要读取时知道存入文件时数组的维度和元素类型,a.tofile()np.fromfile()需要配合使用,可以通过元数据文件来存储额外信息

  • Numpy的便捷文件存取

  • np.save(fname, array)np.savez(fname, array)
    fname 文件名,以.npy为扩展名,压缩扩展名为.npz
    array 数组变量

  • np.load(fname)
    fname 文件名,以.npy为扩展名,压缩扩展名为.npz

  • Numpy的随机数函数子库
    rand(shape) 根据d0‐dn创建随机数数组,浮点数,[0,1),均匀分布
    randn(shape) 根据d0‐dn创建随机数数组,标准正态分布
    randint(low,high,shape]) 根据shape创建随机整数或整数数组
    seed(s) 随机数种子,s是给定的种子值
    shuffle(a) 根据数组a的第1轴进行随排列,改变数组x
    permutation(a) 根据数组a的第1轴产生一个新的乱序数组,不改变数组x
    choice(a[,size,replace,p]) 从一维数组a中以概率p抽取元素,形成size形状新数组, replace表示是否可以重用元素,默认为False
    uniform(low,high,size) 产生具有均匀分布的数组,low起始值,high结束值
    normal(loc,scale,size) 产生具有正态分布的数组,loc均值,scale标准差
    poisson(lam,size) 产生具有泊松分布的数组,lam随机事件发生率

  • Numpy的统计函数
    sum(a, axis=None) 根据给定轴axis计算数组a相关元素之和,axis整数或元组
    mean(a, axis=None) 根据给定轴axis计算数组a相关元素的期望,axis整数或元组
    average(a,axis=None,weights=None) 根据给定轴axis计算数组a相关元素的加权平均值
    std(a, axis=None) 根据给定轴axis计算数组a相关元素的标准差
    var(a, axis=None) 根据给定轴axis计算数组a相关元素的方差
    min(a) max(a) 计算数组a中元素的最小值、最大值
    argmin(a) argmax(a) 计算数组a中元素最小值、最大值的降一维后下标
    unravel_index(index, shape) 根据shape将一维下标index转换成多维下标
    ptp(a) 计算数组a中元素最大值与最小值的差
    median(a) 计算数组a中元素的中位数(中值)

  • Numpy的梯度函数
    np.gradient(f) 计算数组f中元素的梯度,当f为多维时,返回每个维度梯度

梯度:连续值之间的变化率,即斜率
XY坐标轴连续三个X坐标对应的Y轴值:a, b, c,其中,b的梯度是: (c‐a)/2
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容