一 机器学习01

机器学习：数据、模型和预测

图片.png

图片.png

机器学习从数据中自动分析获得模型，利用模型对未知数据进行预测

机器学习开发流程

图片.png

图片.png

机器学习分类

图片.png

图片.png

目标值为类别则为分类算法，目标值为连续型数据为回归算法
#监督学习(预测)
定义：输入数据是由输入特征值和目标值所组成，函数的输出可以是一个连续的值（称为回归），输出是有限个离散值（分类）
分类：k-近邻算法、贝叶斯分类、决策树、随机森林、逻辑回归
回归：线性回归、岭回归
#无监督学习
定义：输入数据是由输入特征值所组成
聚类 k-means
#机器学习的库
scikit lean 传统机器学习算法的学习一般用这个

框架 pytorch/tensenflow

特征工程

图片.png

可用数据集：
scikit-learn特点：数据量小，方便学习   http://scikit-learn.org/stable/datasets/index.html#datasets
kaggle特点：大数据竞赛平台、80万科学家、真实数据、数据量巨大  https://www.kaggle.com/datasets
UCI特点：收录了360个数据集、覆盖科学、生活、经济等领域；数据量几十万 http://archive.ics.uci.edu/ml/

 sklearn数据集
sklearn.datasets
load_*  获取小规模数据集
fetch_* 获取大规模数据集
sklearn小数据集
sklearn.datasets.load_iris()
sklearn大数据集
sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
数据集的返回值
 datasets.base.Bunch（继承自字典）
 dict["key"] = values
 bunch.key = values
思考：拿到的数据是否全部都用来训练一个模型？
数据集的划分
训练数据：用于训练，构建模型
测试数据：在模型检验时使用，用于评估模型是否有效
测试集 20%~30%
 sklearn.model_selection.train_test_split(arrays, *options)
 训练集特征值，测试集特征值，训练集目标值，测试集目标值
 x_train, x_test, y_train, y_test

from sklearn.datasets import load_iris
# 获取数据集
iris = load_iris()
print("鸢尾花数据集的返回值：\n", iris)
# 返回值是一个继承自字典的Bench
print("鸢尾花的特征值：\n", iris["data"])
print("查看数据集描述：\n", iris["DESCR"])
print("查看特征值的名字：\n", iris.feature_names)
print("查看特征值：\n", iris.data, iris.data.shape)
#数据集划分
x_train,x_test,y_train,y_test=train_test_split(iris.data, iris.target, test_size=0.2, random_state=22)
print("训练集的特征值：\n", x_train, x_train.shape)

#特征提取
将任意数据（文本或图像）转换为可用于机器学习的数字特征
#特征提取API
sklearn.feature_extraction
#对字典数据进行特征值化
sklearn.feature_extraction.dictvectorizer(sparse=true)
#应用场景
1 当数据集中类别特征比较多的情况  则首先将数据集特征转换成字典类型然后字典特征抽取dictvectorizer转换
2 本身拿到得数据就是字典类型
#文本特征提取
把单词作为特征     或者 句子、短语、单词、字母
sklearn.feature_extraction.text.countVectorizer(stop_words=[])
#流程分析
1 实例化转化器类 countvectorizer
2 调用fit_transform 方法

流程分析代码过程如下：

图片.png

机器学习02

图片.png

机器学习03

图片.png

决策树

核心：如何找到高效的决策顺序

原理：信息熵，信息增益，，就是根据信息增益来自动判断哪个特征的优先顺序，以达到可以快速做出决策的特征顺序

信息熵定义：

图片.png

决策树的划分依据之一--信息增益：即不确定性减少程度最多的就是优先考虑的特征，g(D,A)最大的准则

定义和公式：

定义：特征A 对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D 的信息条件熵H(D/A)之差

图片.png

就是结果熵和条件熵之差

图片.png

决策树API

class sklearn.tree.decisiontreeclassifier(criterion='gini',max_depth=none,random_state=none)
#决策树分类器
#criterion:默认是‘gini'系数，也可以选择信息增益的熵’entropy'
#max_depth:树的深度大小  ....... 可以调节拟合程度
#random_state:随机树种子

例子：用鸢尾花数据集查看决策树算法对分类的准确率

#导入包
from sklearn.tree import decisiontreeclassifier,export graphviz
from sklearn.tree import decisiontreeclassifier
#定义
def decision_iris():
"""用决策树对鸢尾花分类
：return:
"""
# 1)获取数据集
iris=load_iris()
# 2)划分数据集
x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=22)
# 3)决策树预估器
estimator=decisiontreeclassifier(criterion="entropy") #系数设置为信息增益
estimator.fit(x_train,y_train)   #放入数据    运行完毕出模型
# 4)模型评估
#方法1：直接比对真实值和预测值
y_predict=estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值：\n",y_test==y_predict)
#方法2：计算准确率
score=estimator.score(x_test,y_test)
print("准确率为：\n",score)
#可视化决策树
export_graphviz(estimator,out_file="iris_tree.dot",feature_names=iris.feature_names)  #传入特征名字会使得树更容易懂

return None
# 调用运行函数
if __name__="__main__":
    decision_iris()

决策树可视化

过程：1、保存树的结构到dot文件中，形成文本文件，2、网站显示结构 http://webgraphviz.com/

打开网站，将文本文件复制进去，点击生成图片即可形成树图

第一步的操作代码如下

sklearn.tree.export_graphviz() 该函数能够导出dot 格式
tree.export_graphviz(estimator,out_file='tree.dot',feature_names=[","])

决策树总结：

优点：简单的理解和解释，树木可视化，更直观易懂，可解释能力强

缺点：决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合 容易过拟合

改进：1、减枝Cart算法 2、随机森林

企业重要决策，由于决策树很好地分析能力，在决策过程中应用较多，可以选择特征

• 信息熵、信息增益的计算
• decisiontreeclassifier 进行决策树的划分
• export_graphviz 导出到dot文件

例子：泰坦尼克号乘客生存预测

流程分析：

特征值、目标值

1）获取数据

2）数据处理 ：缺失值处理、特征值-》字典类型

3）准备好特征值 目标值

4）划分数据集

5）特征工程：字典特征抽取

6）决策树预估器流程

7）模型评估

import pandas as pd
#获取数据
Path="wangzhi"
titanic=pd.read_csv(path)
#数据处理 
#1、筛选特征值和目标值
x=titanic[["pclass",'age','sex']]   #特征值
y=titanic["survived"]               #目标值
#2、缺失值处理
x["age"].fillna(x['age'].mean(),inplace=True)  #用平均值填充缺失值
#3、转化成字典
x.to_dict(orient="records")
#划分数据集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=22)
#字典特征抽取
from sklearn.feature_extraction import dictvectorizer
from sklearn.tree import decisiontreeclassifier,expoort_graphviz
transfer=dictvectorizer()
x_train=transfer.fit_transform(x)
x_test=transfer.transform(x_test)
# 决策树预估器
estimator=decisiontreeclassfier(criterion="entropy")
estimator.fit(x_train,y_train)

#模型评估

# 方法一：直接对比真实值和预测值
y_predict=estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值：\n",y_test==y_predict)

#方法二：计算准确率
score=estimator.score(x_test,y_test)
print("准确率为：\n",score)
#可视化决策树

export_graphviz(estimator,out_file='titanic_tree',feature_names=transfer.get_feature_names())

随机森林

了解：随机森林是集成学习方法的一种，集成学习是建立几个模型组合来解决单一预测的问题。随机

原理：随机森林包含多个决策树的分类器，生成多个分类器/模型，各自独立的学习和作出预测，最后结合形成组合预测，少数服从多数，预测结果的众数即为结果

原理过程：随机体现在特征随机和训练集随机两方面

N代表训练样本的个数，M代表特征数目

一次随机取出一个样本，重复N次

随机选出m个特征值，m<<M(降维）建立决策树

抽样方法：采用bootstrap抽样，抽完放回，保证原始样本一致

随机森林API:

图片.png

总结：

1、在当前机器学习传统算法中，随机森林相对来说准确率高

2、适合运用在大数据集上，处理具有高维特征的输入样本，且不需要降维

3、能够评估各个特征在分类问题上的重要性

线性模型

线性回归：利用回归方程（函数）对一个或多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式

特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

分为线性关系和非线性关系

回归问题：目标值--连续型的数据

线性关系通用公式

图片.png

分为：自变量一次和参数一次

图片.png

线性回归的损失和优化原理

目标：求模型参数---使得预测准确

损失函数

图片.png

yi 是真实值与hw(xi)是预测

值之间的距离平方之和

为了让损失函数尽可能的减小，要进行优化，优化的方法一般有：正规方程法和梯度下降方法

优化方法

1、正规方程（天才）---直接求解w

图片.png

理解：x为特征值矩阵，y为目标值矩阵。直接求到最好的结果

缺点：当特征过多过复杂时，求解速度太慢并且得不到结果

2、梯度下降（勤奋努力的普通人）---试错改进，不断迭代，最终找到合适的权重系数

沿着切线向下的方向，，根据上一步的结果不断改进

3、正规方程与梯度下降的对比

梯度下降：需要选择学习率、需要迭代求解、特征数量较大可以使用 （适用于数据量大的>100k）

正规方程：不需要选择学习率、一次运算得出、需要计算方程，时间复杂度搞

线性回归API

图片.png

欠拟合和过拟合

训练集上表现很好，但在测试集上出现问题

过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合，但在测试数据集上却不能很好地拟合数据，这就是过拟合现象（简单点：模型太复杂了）

原因：原始特征过多。存在一些嘈杂特征，模型过于复杂时因为模型尝试去兼顾各个测试数据点

解决办法：正则化 ---就是想办法让第三个图中的高次项减小

L1正则化：删除特征的影响

L2正则化：

图片.png

欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，这就是欠拟合现象（模型太简单啦）

原因：学习到数据的特征过少

解决办法：增加数据的特征量

线性回归的改进--岭回归

岭回归，其实也是一种线性回归，只不过在算法建立回归方程的时候，加上正则化的限制，从而达到解决过拟合的效果

Kmeans算法

无监督学习算法包括 聚类：K-means(K均值聚类) 降维：PCA

B1、随机设置K个特征空间内的点作为初始的聚类中心 2、对于其他每个点计算到K个中心的距离，未知的点选择最近的额一个聚类中心点作为标记类别

3、接着对着标记的聚类中心后，重新计算出每个聚类的信的中心点

4、如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行第二步过程

API:

图片.png

1、轮廓系数

图片.png

高内聚，低耦合：内部距离最小化，外部距离最大化

图片.png

图片.png

迭代式算法，直观易懂并且非常实用

缺点：容易收敛到局部最优解（多次聚类法来解决）

应用场景：没有目标值 先聚类 之后根据具体场景从聚类中再进行分类

KNN算法--K近邻算法

核心：根据邻居来推断出你的类型（物以类聚）

经典且易于理解的算法

原理：距离你近的是什么你大概率就是什么 （物以类聚，孟母三迁）

如果k值取得过小，容易收到异常点的影响，k值如果取的过大，容易收到样本不均衡的影响（K指的是样本数量）

所以无量纲化处理数据也很重要。

距离公式：欧式距离

图片.png

ab样本分别有三个特征

k-近邻算法API

图片.png

总结：优点 简单易于理解，易于实现，无需训练 缺点：懒惰算法，对测试样本分类时的计算量大，内存开销大 ，必须制定K值，K值选择不当则分类精度不能保证（模型选择和调优可以解决这个问题）

使用场景：小数据场景，几千~几万样本，具体场景具体业务去测试

模型选择和调优

交叉验证：目的为了让被评估的模型更加准确可信

网格搜索：目的为了选择或者调优参数

k就是超参数，每组超参数都采用交叉验证来进行评估，最后选出最优参数组合建立模型

API:

图片.png

朴素贝叶斯算法

联合概率：包含多个条件，且所有条件同时成立的概率

条件概率：事件A在另外一个事件B 已经发生条件下的发生概率

相互独立：如果P(A,B)=P(A)P(B),则称事件A与事件B相互独立

**贝叶斯公式

图片.png

朴素：假设特征与特征之间是相互独立的

朴素贝叶斯：朴素+贝叶斯

应用场景：文本分类，单词作为特征

     为防止计算出的分类概率为0，引入拉普拉斯平滑系数

图片.png

API:

图片.png

逻辑回归

定义：机器学习的一种分类模型，是一种分类算法

场景：广告点击率、是否为垃圾邮件、是否患病、金融诈骗、虚假账号，两类别二分类问题的解决

原理：线性回归的输出就是逻辑回归的输入

1、输入

图片.png

sigmoid函数

图片.png

回归的结果输入到sigmoid函数当中，输出结果[0,1]区间中的一个概率值，默认为0.5为阀值

API：

sklearn.linear_model.logisticregression(solver='liblinear', penalty='l2',C=1.0)

• solver:优化求解方式（默认开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数）
• sag:根据数据集自动选择，随机平均梯度下降
• penalty：正则化的种类
• C:正则化力度
• 默认将类别数量少的当做正例
• logisticregression方法相当于SGDClassifier(loss="log",penalty=""),SGDClassifier实现了一个普通的随机梯度下降学习，也支持平均随机梯度下降法（ASGD）,可以通过设置average=True.而使用LogisticRegression(实现了SAG)

分类评估方法：

1、精确率和召回率

2、ROC曲线和AUC指标
模型的保存和加载：

from sklearn.externals import joblib

保存：joblib.dump(rf,'test.pkl')

加载：estimator=joblib.load('test.pkl')