Python 数据分析与展示

学习内容

Numpy数据表示、Matplotlib绘图、Pandas数据分析这三个库

Anaconda IDE的使用

conda、Spyder、IPython的使用

实例：图像的手绘风格、引力波的绘制、房价趋势分析、股市数据的分析

Anaconda IDE的使用

使用anaconda navigator 启动

anaconda来源于conda（用于管理python的第三方包与python环境）其包含了conda、Python与一批第三方的库

编程工具 Spyder 包含了IPython（交互式命令行）
IPython中的？可以得到变量信息与函数信息、%run命令可以运行python程序，在运行时会使用空的命令空间、%magic可以显示所有的魔术命令

image ![Uploading polar_331910.png . . .]

数据的表示Numpy

数据的维度：一组数据的组织形式

Numpy 一个开源的科学计算库，提供了一个强大的N维数组对象：ndarray，具有数学计算的功能

ndarray由实际的数据与描述数据的元数据两部分组成，一般要求数据的类型相同。

生成ndarray：

• np.array([[],[]]，dtype=np.float32)，也可以使用元组进行创建
• np.arrange(n) 类似range()函数
• np.ones(shape)、np.zeros(shape)、np.full(shape,val)根据元组shape生成一个全1、全0、全val的ndarray数组
• np.eye(n) 创建一个n维单位阵（以上均可以由dtype指定数据类型）
• np.ones_like(a)、np.zeros_like(a)、np.full_like(a,val) 由a给定形状
• np.linspace() 由起止数等间距地填充数据，形成数组，类似于range，但是给定的参数为start、end、number
• np.concatenate() 将两个或多个数组合并成同一个数组

ndarray对象的属性：

ndarray维度变换

• .reshape(shape)不改变数组的元素，返回一个shape形状的新的数组
• resize(shape) 修改原数组
• swapaxes(ax1,ax2) 将数组的n个维度中的两个维度进行调换
• flatten() 降维 不改变原数组

ndarray数组类型变换

new_a = a.astype(new_type)

ndarray转为列表

list = a.tolist()

ndarray数组操作(索引与切片)

一维数组的索引与python类似，切片a[1:4:2] 起始编号、终止编号(不含)、步长

多维数组的索引：a[1,2,3]从最外层到最内层
多维数组的切片：a[：，1:3，：]，a[:,:,::2]

ndarray数组的运算

标量运算等价于对每一个元素进行运算

Numpy中的一元函数

• np.abs(x)、np.fabs(x)、np.sqrt(x)、np.square(x)
• np.log(x)、np.log10(x)
• np.ceil(x)、np.floor(x)计算ceiling(不超过其的最大整数值)与floor(超过其最小整数值)
• np.rint(x) 四舍五入值
• np.modf(x) 以整数和小数两个数组返回
• np.cosh(x) ···
• np.exp(x)、np.sign(x)
• ···

Numpy中的二元函数

• +-* / **
• np.maximum(x,y)、np.minimum(x,y) 元素的最大、小值，生成新的数组
• =、！=、>、<、<=、>= 比较大小返回布尔型数组

CSV文件(Comma-Separated Value,逗号分隔值)

文件单行以逗号进行分隔,常见数据库均可以读入或到处CSV文件

np.savetxt(fname,array,fmt='%.18e',delimiter=None)

• fname 文件名称
• array 要存入的数组
• fmt 写入文件的格式，如%d %0.2
• delimiter 分隔字符串，默认为空格

np.loadtxt(fname,dtype=np.float,delimiter=None,unpack=False)

• fname 文件名称
• dtype 数组元素格式
• delimiter 分隔字符串，默认为空格
• unpack 默认为False，读入数据存入一个变量

多维数组的存取

a.tofile(fid, sep="", format="%s")

• fid : 文件名或者是打开的文件对象
• sep : 数据分割字符串，空串则输出二进制文件
• format : 输出格式

np.fromfile(file, dtype=float, count=-1, sep='')

• count : int
  Number of items to read. -1 means all items

np.save(file, array)/np.savez(file, array)
np.load(fname)

• 存为.npy或者.npz文件

Numpy随机函数子库np.random库

• rand(d0,d1,...,dn)根据d0-dn创建随机数组，浮点数，[0,1)，均匀分布
• randn(d0,d1,...,dn) 正态分布
• randint(low[,high,shape]) 随机整数
• seed(s) 随机数种子
• shuffle(a) 将第一轴进行重排列，改变数组
• permutation(a) 由第一轴产生一个新的乱序数组，不改变数组
• choice(a[,size,replace,pl]) 从一位数组a中以概率p抽取元素，形成size形状新数组，replace表示是否可以重用，默认True
• uniform()、normal、poisson

Numpy的统计函数

• .sum(a,axis = None) 给定轴的求和或所有求和
• .mean(a,axis = None) 算数平均数
• .average(a,axis = None,weights = None) 加权平均数
• .std(a,axis = None) 标准差
• .var(a,axis = None) 方差
• .min(a) max(a)
• argmin(a) argmax(a) 一维后的最小、大值的下标
• unravel_index(index,shape) 根据shape将一维下标index转为多维下标
• ptp(a) 极差
• median(a) 中位数
• gradient(a) 计算数组的梯度 连续值之间的变化率

实例：图像的手绘表示

图像一般采用RGB表示，三个通道取值都在0-255

Python中的PIL库（Python Image Library）

安装 pip install pillow
使用 from PIL import Image

图像在计算机中的表示为一个二元矩阵，每个矩阵元素为RGB值：(R,G,B) 每个通道为一个字节，那么一个矩阵元素的大小就是3个字节(24二进制位)

# 打开图像
im_array = np.array(Image.open('D:/test.jpg'))

# 保存到文件
im = Image.fromarray(im_array)
im.save(filename)

# 灰度变换
a = np.array(Image.open('D:/test.jpg').convert('L'))

手绘图片：黑白灰色，边界线条较重，相同或者相近的颜色趋向于白色，略有光源效果

# -*- coding: utf-8 -*-
"""
图像手绘风格实例代码
"""


from PIL import Image
import numpy as np

a = np.array(Image.open('D:/leiding.jpg').convert('L')).astype('float')


depth = 10.
grad = np.gradient(a)
grad_x, grad_y = grad

grad_x = grad_x *depth/100.
grad_y = grad_y *depth/100.

A = np.sqrt(grad_x**2+grad_y**2+1.)

uni_x = grad_x/A
uni_y = grad_y/A

uni_z = 1./A

vec_e1 = np.pi/2.2
vec_az = np.pi/4

dx = np.cos(vec_e1)*np.cos(vec_az)
dy = np.cos(vec_e1)*np.sin(vec_az)
dz = np.sin(vec_e1)

b = 255*(dx*uni_x+dy*uni_y+dz*uni_z)
b = b.clip(0,255)

im = Image.fromarray(b.astype('uint8'))

im.save('D:/handpaint.jpg')

 

Matplotlib库

使用方法：

import matplotlib.pyplot as plt
plt.plot([3,1,4,5,2])
plt.ylabel('grade')
plt.show()

# 存为文件

plt.savefig('test',dpi = 600) #默认输出为PNG 文件

plt运行结果.png

同样也可以这样绘制：

plt.plot([0,2,4,6,8],[3,1,4,5,2])


# 给出横纵坐标的范围 横-1到10，纵0到6
plt.axis([-1,10,0,6])

# 绘图区域分割
plt.subPlot(nrows,ncols,plot_number) # 与matlab一样，标号从左到右，从上到下

# 也可以将逗号去掉，比如plt.subplot(324)

plt.plot(x,y,format_string,**kwargs)

• x: X轴数据，列表或者数组，可选，可组合使用
• y: Y轴数据，列表或者数组
• format_stirng: 控制输出字符串，可选
• • 'b'/'g'/'#008000'/'0.8' 颜色控制字符
  • '-' 实线 '--' 破折线 '-.' 点划线 ':' 虚线 '''' 无线条 曲线风格字符
  • '.' 点标记 ',' 像素标记 'o' 实心圈标记 'v' 倒三角标记 '^' 上三角标记 ...... 标记字符
• **kwargs: 第二组或者更多组的(x,y,format_string)

plt中的文本显示函数

• plt.xlabel()、plt.ylabel() 对轴加上标签
• plt.title() 增加文件头
• plt.text() 任意位置增加文本
  • plt.text(2,1,'str') 前两个参数表示text出现范围
• plt.annotate() 增加带箭头的注释文本
• plt.grid() 显示网格线

plt.subplot2grid(GridSpec,CurSpec,colspan=1,rowspan=1)

设定网格，选中网格，设计成不同大小的绘图子区域

• GridSpec 元组，表示将区域分成什么样子的子区域
• CurSpec 元组，表示子区域的起始格子坐标
• colspan、rowspan 表示子区域占用列、行数
  同样，此函数可以使用如下库实现：

import matplotlib.gridspec as grs

gs  = grs.GridSpec(3,3)
ax1 = plt.subplot(gs[0:])
ax2 = plt.subplot(gs[1,:-1])

pyplot基础图标函数

plot()函数、箱形图函数boxplot()、条形图函数bar()、横向条形图函数barh()、极坐标图函数polar()、饼图pie()
功率谱密度图函数psd()、谱图specgram()、X-Y相关性图cohere()、散点图scatter()、直方图hist()、步阶图step()、等值图contour()、垂直图vlines()、柴火图stem()、数据日期plot_date()

下面以代码说明：

# -*- coding: utf-8 -*-
"""
Created on Tue Aug  1 14:07:25 2017

@author: Administrator
"""

import matplotlib.pyplot as plt


# 饼图的标签
labels = 'Frogs','Hogs','Dogs','Logs'

# 饼图对应的尺寸，即所占比例
sizes = [15,30,45,10]

# 突出与突出的量
explode = (0,0.1,0,0)

# autopct显示百分数的方式、shadow阴影效果、startangele起始角度

plt.pie(sizes,explode=explode,labels=labels,autopct = '%1.1f%%',shadow = False,startangle = 90)


# 使得轴的度量成为一样
plt.axis('equal')
plt.show()

pie.png

# -*- coding: utf-8 -*-
"""
Created on Tue Aug  1 15:39:08 2017

@author: Administrator
"""
# 绘制直方图

import matplotlib.pyplot as plt
import numpy as np

np.random.seed(0)
mu,sigma = 100,20 #均值与标准差

a = np.random.normal(mu,sigma,size=100) # 正态分布


# a 给定数组 bin 表示直方的个数，就是取值区间的划分，纵轴表示为频次/区间长度
# normed = 0 显示频次，normed=1 显示频次/区间长度
# histtype 绘制类型 facecolor 绘制颜色

plt.hist(a,20,normed = 1,histtype = 'stepfilled',facecolor = 'b',alpha = 0.75)

plt.title('Histgram')

plt.savefig('D:/Histgram',dpi = 150)

plt.show()

Histgram.png

# -*- coding: utf-8 -*-
"""
Created on Tue Aug  1 15:48:07 2017

@author: Administrator
"""

# 极坐标图的绘制
import matplotlib.pyplot as plt
import numpy as np

# 极坐标图中的数据个数
N = 20

# 等分出20个不同的角度 0-360度
theta = np.linspace(0.0,2*np.pi,N,endpoint = False)

# 生成每个角度对应的值
radii = 10*np.random.rand(N)

# 生成宽度值
width = np.pi/4*np.random.rand(N)


# 获得绘制极坐标图的子区域
ax = plt.subplot(111,projection = 'polar')

# 前三个参数对应 theta 从何地开始绘制 radii 从中心点绘制出来的长度，width 指绘图区域的面积
bars = ax.bar(theta,radii,width=width,bottom=0.0)

for r,bar in zip(radii,bars):
    bar.set_facecolor(plt.cm.viridis(r/10.))
    bar.set_alpha(0.5)


plt.savefig('D:/polar',dpi = 150)

plt.show()

polar.png

# -*- coding: utf-8 -*-
"""
Created on Tue Aug  1 16:02:32 2017

@author: Administrator
"""

import numpy as np 
import matplotlib.pyplot as plt

fig,ax = plt.subplots()

ax.plot(10*np.random.randn(100),10*np.random.randn(100),'o')
ax.set_title('Simple Scatter')

plt.savefig('D:/Scatter',dpi = 150)

plt.show()

Scatter.png