3.1餐饮销售额数据异常值检测

#3.1
import pandas as pd
cateringa_sale = 'D:\\chapter3\\demo\\data\catering_sale.xls'
data = pd.read_excel(cateringa_sale,index_col=u'日期')    #读取数据，指定日期列为索引列；

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['Simhei']    #用来显示中文字体
plt.rcParams['axes.unicode_minus'] = False      #用来显示正常负号

plt.figure()

# p = data.boxplot()
p = data.boxplot(return_type='dict') #画箱线图，直接使用DataFrame的方法

x = p['fliers'][0].get_xdata()
y = p['fliers'][0].get_ydata()
y.sort()

#用annotate添加注释
for i in range(len(x)):
    if i > 0:
        plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
    else:
        plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.08,y[i]))

plt.show()

3_1.png

2数据特征分析

分布分析：分布分析能揭示数据的分布特征和分布类型；
定量数据的分布分析；

3Python主要数据探索函数：

python中用于数据探索的库主要是Pandas（数据分析）和Matplotlib（数据可视化）,其中，pandas提供了大量的与数据探索相关的函数，这些数据探索函数可大致分为统计特征函数和统计作图函数，而作图依赖于matplotlib，所以往往又会跟matplotlib结合在一起使用；

Pandas主要统计特征函数：

• 拓展统计特征函数：除了上述的基本统计特征外，pandas还提供了一些非常方便实用的计算统计特征函数。主要有积累计算(cum)和滚动计算(pd.rolling_)

#销售相关性分析

from __future__ import print_function
import pandas as pd

catering_sale = 'D:\\chapter3\\demo\\data\\catering_sale_all.xls'


data = pd.read_excel(catering_sale,index_col=r'日期')     #读取数据

print(data.corr()) #相关系数举证、及给出了任何两款菜市之间的相关系数
print(data.corr()[u'百合酱蒸凤爪'])  #只显示“百合酱蒸凤爪”与其他菜式的相关系数
print(data[u'百合酱蒸凤爪'].corr(data[u'翡翠蒸香茜饺']))    #计算“百合酱蒸凤爪”和“翡翠蒸香茜饺”的相关系数

• Pandas累计统计特征函数

4.统计作图函数

统计作图函数绘制的图标可以只管地反映出数据及统计量的性质及其内在的规律
python的主要作图库是Matplotlib；

Python主要统计作图函数：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#正弦曲线图
x = np.linspace(0,2*np.pi,50)
y = np.sin(x)
plt.plot(x,y,'bp--')
plt.show()

plot.png

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#饼图
labels = 'Frogs','Hogs','Dogs','logs'   #定义标签
sizes = [15,30,45,10]   #每一块的比例
colors = ['yellow','gold','lightskyblue','lightcoral']  #每一块的颜色
explore = (0,0.1,0,0)   #突出显示，这里仅仅突出显示第二块；
plt.pie(sizes,explode=explore,labels=labels,colors=colors,autopct='%1.1f%%',shadow=True,startangle=90)
plt.axis('equal')   #显示为圆
plt.show()

pie.png

#二维直方图
import matplotlib.pyplot as plt
import numpy as np
x = np.random.randn(1000)   #产生1000个服从正态分布的随机数
plt.hist(x,10)  #分成10组进行绘制直方图

plt.show()

hist.png

#箱型图
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
x = np.random.randn(1000)    #产生1000个服从正态分布的随机数
D = pd.DataFrame([x,x+1]).T     #构造两类的DataFrame
D.plot(kind='box')              #调用series内置的作图方法画图，用kind参数指定箱型图为box
plt.show()

box.png

#plot(logx=True)/plot(logy=True)
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']    #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      #用来正常显示负号
import numpy as np
import pandas as pd

x = pd.Series(np.exp(np.arange(100)))
x.plot(label=u'原始数据',legend=True)
plt.show()

x.plot(logy=True,label=u'对数数据图',legend=True)
plt.show()

logx.png

logy.png

#误差条形图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']    #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      #用来正常显示负号
import numpy as np
import pandas as pd

error = np.random.randn(10) #定义误差列
y = pd.Series(np.sin(np.arange(10)))  #均值数据列
y.plot(yerr = error)
plt.show()

error.png