1. 说明
在数据统计和预测的过程中，工程师基本都使用现成的算法，工程师的主要工作是根据具体业务逻辑预处理数据和选择算法。
首先要对数据预处理（数据清洗），包括数据的归一化，去除重复数据，修改错误数据，填充无效数据，抽象数据表示，筛选特征值，分配权重等等，以得到更准确的数据和更有效的结果。
继续上次关于股票直方图的话题，来看看简单的股票数据预处理。左图是昨天股票涨跌的直方图，从中看出，涨跌幅分布在-10到50的区间内。
涨幅超过10%是因为计入了新股的首日涨幅，跌涨超过-10%，可能由于分红配送等原因引起。下面程序中将对此区域进行特殊处理。
对于当日停牌的数据，它的开盘价收盘价最高价最低价都是同一个值，如果加入统计，会在0附近形成一个无意义的峰值，在预处理中也把它去掉。
如果用左图结果做一个从(-10,10)共计20个区间的分类器，那么结果多半会落入(-1,1)的区间内，这并不是我们想要的。我们更希望看到的是将3000多支股票平均分布在这20个区域，每个区域股票数量相同，但是各区域大小不同。根据区域得到更合理的分类结果。（假设我们之后将要通过现有股票的各个特征，预测涨跌最有可能分布在哪个区域，这是一个对结果的分类问题，暂不考虑回归）
2. 程序
1) 代码
# -*- coding:utf-8 -*-
import tushare as ts
import numpy as np
import matplotlib.pyplot as plt
e = ts.get_today_all()
size = 20 #把区间分成20份
array = []
ll = e[u'high'] # 最高价
hh = e[u'low'] # 最低价
cc = e[u'changepercent']# 涨跌幅
for i in range(0, len(e)):
ifll[i] != hh[i]: # 最高价与最低价相同说明停牌
ifcc[i] > 10: # 涨幅大于10%的股票归为10%
array.append(10)
elifcc[i] < -10: # 跌幅大于-10%的股票归为-10%
array.append(-10)
else:
array.append(cc[i])
print "Total:",len(array)
array=np.sort(array) # 排序
bin_arr = []
bin_arr.append(-10) # 加入区间的左侧值
count = 0 #区域计数
for i in range(0, len(array)):
count+=1
ifcount > len(array) / size:
printarray[i]
count= 0
bin_arr.append(array[i])
bin_arr.append(10) # 加入区间右侧值
hist, bins = np.histogram(array,bins=bin_arr) # 按bin_arr给定的区域计算直方图
width = np.diff(bins)
center = (bins[:-1] + bins[1:]) / 2
plt.bar(center, hist, align='center',width=width)
plt.show()
2) 运行结果
Total: 3010
-1.271 -0.667 -0.289 -0.098 0.061 0.219 0.348 0.482 0.599 0.719 0.873 1.021 1.16 1.312 1.505 1.786 2.133 2.713 3.74
3) 分析
从结果可以看出，总共筛选出了3010支股票，将其分成20个区间，其中每个区间的股票数基本相等（最后一个不足1/20），此处只使用了一天的数据，当天微涨；实际处理时，需要使用更多数据来划分区域，20个区域可能也有点多。此处只是抛砖引玉，程序写得并不严谨，大家领会精神即可。以上计算用到了直方图均衡化的原理，在频域上划分，替代按值域划分，让我们聚焦于数据更集中的区域。
3. 参考
1) 直方图均衡化的数学原理
http://blog.csdn.net/superjunenaruto/article/details/52431941
