python3.6 数据分析,numpy的关键功能是什么?

0. 小结

  1. 重点功能是什么?

  2. 多维数组的基础处理
    2.1 创建与查询信息
    2.2 数组与标量的运算
    2.3. 基本的索引与切片
    2.3.1 另起array名称进行索引,不是复制
    2.3.2 花式索引

3.数学和统计方法
3.1. 基本数学方法
3.1.1. 累加cumsum()
3.1.2. 累乘 cumprod()
3.2. 排序
3.3. 唯一化

1. 重点功能是什么?

(摘自用python进行数据分析)对大部分数据分析而言,我最关注的功能主要集中在:

  1. 用于数据整理和清洗,子集构造和过滤,转换等快速的矢量化数组运算。
  2. 常用的数组算算法,如排序、唯一化、集合运算等
  3. 高效的描述统计和数据聚合,摘要运算
  4. 用于异构数据集的合并,连接运算的数据对齐和关系型数据运算
  5. 将条件逻辑表述为数组表达式,而不是带有if-else-elif分支的循环
  6. 数组的分组运算,聚合、转换,函数应用等

2. 多维数组的基础处理

2.1 创建与查询信息

  1. 一维数组
# Uses Python 3.6  IN
import numpy as np
data1 = [6,7.5,8,0,1]
arr1 = np.array(data1)
arr1

#OUT 
array([ 6. ,  7.5,  8. ,  0. ,  1. ])
  1. 二维/多维数组创建和查询

ndim 是维度,例如直角坐标是二维,空间坐标是三维
shape是形状,每一个维度的元素数量,例如二维是(行,列),三维是(x,y,z)轴长度/元素个数。
dtype 元素的数据类型

# Uses Ipython 
In [1]: data2= [ [1,2,3,4] , [5,6,7,8] ]

In [2]: import numpy as np

In [3]: arr2 = np.array(data2)

In [4]: arr2
Out[4]:
array([[1, 2, 3, 4],
       [5, 6, 7, 8]])

In [5]: arr2.ndim
Out[5]: 2

In [6]: arr2.shape
Out[6]: (2, 4)

In [7]: arr2.dtype
Out[7]: dtype('int32')
  1. 初始化数组,全0或全1,empty在不同版本定义不同(caution)
# Uses Ipython 

In [13]: a = np.zeros((2,3))

In [14]: a
Out[14]:
array([[ 0.,  0.,  0.],
       [ 0.,  0.,  0.]])

In [15]: b = np.ones((2,3))

In [16]: b
Out[16]:
array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.]])

In [18]: c = np.empty((2,3))

In [19]: c
Out[19]:
array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.]])

In [20]: c.dtype
Out[20]: dtype('float64')

In [21]: c[0,0]
Out[21]: 1.0

2.2. 数组与标量的运算

类似MATLAB的点乘,针对数组中每一个元素进行运算。加减乘除符号一样,次方是**

2.3. 基本的索引与切片

2.3.1 另起array名称进行索引,不是复制

  1. 索引: 注意numpy的索引不同于python的复制,numpy的索引约等于-->抽出那一块进行处理,处理结果嵌回原来的数组。 为什么要这样做呢?因为numpy主要用于处理大数据,复制会降低性能并占用大量内存。
index-1.png
  1. 单个元素索引,二维就是数组行列式索引(类似直角坐标)。多维类推。
坐标视图.png
In [61]: a2 = np.arange(9).reshape(3,3)

In [62]: a2
Out[62]:
array([[0, 1, 2],
       [3, 4, 5],
       [6, 7, 8]])

In [63]: a2[0][2]   #this is index
Out[63]: 2        #this is value (with that index)

In [64]: a2[0,2]
Out[64]: 2
  1. 三维的视图类似魔方,可以在空间坐标画一个长方体,想象一下切蛋糕吧。下面用二维的显示模式切一下。
切x轴.png
切x和y轴.png
切y轴.png

点的索引旧类似于空间坐标了,跟二维的写法一样。

  1. 切片与索引混合,可以参考我写的文章

画图,取交集。

延伸抽象出numpy的写法,每个括号里类似一维操作。例如三维数组,多维类似。
[(针对x轴的一维操作),(针对y轴的一维操作),(针对z轴的一维操作)]

python3.6 numpy多维数组索引和切片

注意对抽出来的切片赋值具有广播作用,就是那个切片改变数值后,会嵌回原数组 (index-1.png)

2.3.2 花式索引

花式索引和切片不一样,花式索引是将数据复制到新数组中。

3.数学和统计方法

3.1 基本数学方法

方法 描述
sum 对数组的所有或一个轴向上的元素求和。零长度的数组的和为灵。
mean 算术平均值。灵长度的数组的均值为NaN。
std, var 标准差和方差,有可选的调整自由度(默认值为n)。
min, max 最大值和最小值
argmin, argmax 索引最小和最大元素。
cumsum 从0元素开始的累计和。
cumprod 从1元素开始的累计乘。

基本都是会看会写,比较难理解的是cumsum 和 cumprod

怎么用:
cumsum 累加是通过流量得到存量,比如每天销售量的多少,得到今年的销售量总量
cumprod 累乘是通过变化率来得到存量,比如有每天的数据变动趋势,通过累乘来得到当前的数据

3.1.1. 累加cumsum()

cumsum : 累加,假设a是一个array, a.cumsum[n] = sum( a[0],a[1],a[2]...a[n])
在cumsum()函数中:生成的每一项矩阵元素均是从原矩阵首项累加到对应项的元素之和。

In [18]: a = np.ones(9).reshape(3,3)
In [19]: a
Out[19]:
array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.],
       [ 1.,  1.,  1.]])

In [20]: a.cumsum()
Out[20]: array([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9.])

In [21]: b = np.arange(1,10).reshape(3,3)

In [22]: b
Out[22]:
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

In [23]: b.cumsum()
Out[23]: array([ 1,  3,  6, 10, 15, 21, 28, 36, 45], dtype=int32)

3.1.2. 累乘 cumprod()

cumprod: 累加,假设a是一个array, a.cumprod[n] = a[0] * a[1] * a[2] *... * a[n-1] * a[n]

In [36]: b
Out[36]:
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

In [37]: b.cumprod()
Out[37]:
array([     1,      2,      6,     24,    120,    720,   5040,  40320,
       362880], dtype=int32)

3.2 排序

  1. 一维排序方式和list一样。
In [38]: a = np.random.randn(8)

In [39]: a.sort()

In [40]: a
Out[40]:
array([-1.53513278, -1.32864751, -0.7085467 , -0.68014693, -0.2705321 ,
       -0.19462841,  0.35890593,  1.35403955])
  1. 多维数组排序,需要限定某一行或列
In [44]: b
Out[44]:
array([[ 0.90767092,  0.2203271 , -0.43002859],
       [ 1.53227183, -0.43238119,  0.97467112],
       [-1.50116191, -0.25223084,  1.81764651]])

In [45]: b.sort(1)

In [46]: b
Out[46]:
array([[-0.43002859,  0.2203271 ,  0.90767092],
       [-0.43238119,  0.97467112,  1.53227183],
       [-1.50116191, -0.25223084,  1.81764651]])

3.3. 唯一化

In [49]: A = [1, 2, 2, 5,3, 4, 3]
In [50]: np.unique(A)
Out[50]: array([1, 2, 3, 4, 5])

参考 :

  1. 《利用python进行数据分析》
  2. numpy 数学和统计方法
  3. Numpy 基础运算2

Ipython是真的好用,我为我开始时不懂作者用心(觉得排版很难看)道歉...

2018.6.2.

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容