数据挖掘可以大概分为：分类与回归，聚类分析，关联规则，时序模式，异常检测等模型。
分类主要是预测分类标号，即离散属性，而预测主要是建立连续值函数模型，预测给定自变量对应的因变量的值
1. 逻辑回归
逻辑回归模型的建模步骤如下图：
其中模型检验的指标有很多，比如准确率，混淆矩阵，ROC曲线，KS值等
在建模时，经常要用到特征筛选，方法有很多，主要是sklearn的feature_selection库中，比较简单的有F检验（f_regression）来给出各个特征的F值和p值，我们可以筛选F值大的或p值小的特征。其次有递归特征消除法（RFE）和稳定性选择等比较新的方法。
下面是使用稳定性选择方法来筛选特征，然后利用筛选后的特征建立逻辑回归模型，输出平均准确率。
### 用随机逻辑回归来筛选特征
from sklearn.linear_model import RandomizedLogisticRegression as RLR
rlr = RLR() #建立随机逻辑回归模型，筛选变量
rlr.fit(x, y) #训练模型
print(rlr.get_support()) #获取特征筛选结果，也可以通过.scores_方法获取各个特征的分数
print('通过随机逻辑回归模型筛选特征结束。')
print(data.iloc[:,:-1].columns[rlr.get_support()])
print('有效特征为：%s' % ','.join(data.iloc[:,:-1].columns[rlr.get_support()]))
x = data[data.iloc[:,:-1].columns[rlr.get_support()]] #筛选好特征
Index(['工龄', '地址', '负债率', '信用卡负债'], dtype='object')
有效特征为：工龄,地址,负债率,信用卡负债
使用筛选的特征数据来建模，得到的准确率为：
from sklearn.linear_model import LogisticRegression as LR
lr = LR() #建立逻辑货柜模型
lr.fit(x, y) #用筛选后的特征数据来训练模型
print('逻辑回归模型训练结束。')
print('模型的平均正确率为：%s' % lr.score(x, y)) #给出模型的平均正确率，本例为81.4%
模型的平均正确率为：0.8142857142857143
如果不使用筛选的特征，而使用全部的特征来建模，得到的准确率为：
from sklearn.linear_model import LogisticRegression as LR
lr = LR() #建立逻辑货柜模型
lr.fit(data.iloc[:,:-1].values, y) #用筛选后的特征数据来训练模型
print('逻辑回归模型训练结束。')
print('模型的平均正确率为：%s' % lr.score(data.iloc[:,:-1].values, y))
模型的平均正确率为：0.8057142857142857
看来通过筛选主要的特征，准确率反而会提高一些。
逻辑回归本质上还是一种线性模型，因此这里的模型有效性检样本质上还是在做线性相关检验，因此筛选出来的特征，说明与结果具有比较强的线性相关性，而被筛掉的变量并不一定就跟结果没有关系，他们之间有可能是非线性关系。
2. 决策树
ID3算法基于信息熵来选择最佳测试属性，它选择当前样本集中具有最大信息增益值的属性作为测试属性。
用决策树的代码为：
data=pd.read_excel("E:\PyProjects\DataSet\PyMining\Data\chapter5\demo\data\sales_data.xls",index_col='序号')
data.info()
#数据是类别标签，要将它转换为数据
#用1来表示“好”、“是”、“高”这三个属性，用-1来表示“坏”、“否”、“低”
data[data == '好'] = 1
data[data == '是'] = 1
data[data == '高'] = 1
data[data != 1] = -1
x=data.iloc[:,:-1].values
y=data.iloc[:,-1].values
from sklearn.tree import DecisionTreeClassifier as DTC
dtc = DTC(criterion='entropy') #建立决策树模型，基于信息熵
dtc.fit(x, y) #训练模型
至此，决策树模型已经被训练，下面想看看得到的决策数模型结构图，所以用到了：
#导入相关函数，可视化决策树。
#导出的结果是一个dot文件，需要安装Graphviz才能将它转换为pdf或png等格式。、
from sklearn.tree import export_graphviz
with open(r"E:\PyProjects\DataSet\PyMining\Data\chapter5\demo\data/tree.dot", 'w',encoding='utf-8') as f:
f = export_graphviz(dtc, feature_names = data.iloc[:,:-1].columns, out_file = f)
生成tree.dot后，需要在这个dot文件中添加：
在cmd中通过命令： dot -Tpdf tree.dot -o tree2.pdf 将tree.dot转变为tree2.pdf文件，打开这个pdf文件就可以看到生成的结构树。如下：
3. 人工神经网络
from keras.models import Sequential
from keras.layers.core import Dense, Activation
model = Sequential() #建立模型
model.add(Dense(input_dim = 3, output_dim = 10)) # x的shape是N,3,有3个特征
model.add(Activation('relu')) #用relu函数作为激活函数，能够大幅提供准确度
model.add(Dense(input_dim = 10, output_dim = 1))
model.add(Activation('sigmoid')) #由于是0-1输出，用sigmoid函数作为激活函数
model.compile(loss = 'binary_crossentropy', optimizer = 'adam')
#编译模型。由于我们做的是二元分类，所以我们指定损失函数为binary_crossentropy
#另外常见的损失函数还有mean_squared_error、categorical_crossentropy等，请阅读帮助文件。
#求解方法我们指定用adam，还有sgd、rmsprop等可选
model.fit(x, y, nb_epoch = 1000, batch_size = 10) #训练模型，学习一千次
yp = model.predict_classes(x).reshape(len(y)) #分类预测
# 使用混淆矩阵判断ANN的准确率
from sklearn.metrics import confusion_matrix #导入混淆矩阵函数
confusion_matrix(y, model.predict_classes(x)) #混淆矩阵
array([[ 0, 15, 1],
[ 0, 0, 0],
[ 0, 8, 10]], dtype=int64)
4. 分类与预测算法的评价
需要用测试集来判断模型的好坏，对于回归模型，通常用相对/绝对误差，平均绝对误差MAE，MSE，RMSE等指标来衡量，对于分类模型，可以使用识别准确率acc, 召回率，F1值，ROC曲线，混淆矩阵等来判断。
5. 分类预测模型的特点
参考资料：
《Python数据分析和挖掘实战》张良均等
