这是阿拉灯神丁Vicky的第011篇文章

     本文主要是为理清机器学习相关算法并其浅析基本原理及应用场景，未深究。

机器学习相关算法分类

根据学习方式分类

1、监督学习

机器通过对人为标注的训练样本进行学习，抽象样本与标注类别的关系，训练并调优出一个分类器。

所有的回归算法和分类算法都属于监督学习，回归(Regression)和分类(Classification)的算法区别在于输出变量的类型，定量输出为回归(连续变量)；定性输出为分类(离散变量)。

（1）、KNN(K-Nearest Neighbors)K邻近算法

属于监督学习分类算法；如果样本在特征空间K个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选的邻居都是已经正确分类的对象，该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。

KNN算法模型示意图

 KNN的缺点是计算的时间和空间复杂度都太高，内存中需要存储所有的样本数据，且需要对每一个样本进行分类，并且需要计算该样本到所有训练样本点的欧式距离。

 算法步骤：

 （1）、计算测试数据与各训练数据之间的距离。

 （2）、按照距离的递增关系进行排序。

 （3）、选取距离最小的K个点。

 （4）、确定K个点所在类别的出现频率。

 （5）、返回K个点中出现频率最高的类别测试数据的预测分类。

  适用于对类域交叉重叠较多的待分类样本。

（2）、决策树（Decision Tree）

监督学习分类算法；决策树为树结构，可以是二叉树也可以是非二叉树，每个非叶节点表示一个特征属性上的测试，每个分支代表特征属性在某个值域上的输出，每个叶节点存放一个类别。决策树是从根节点开始进行决策，测试待分类项目中相应的特征属性，并按照其值选择输出分支，直到叶子节点，并将叶子节点的存放类别作为决策结果。

决策树算法模型示意图

决策树的构造不依赖于领域知识，使用属性选择度量来将元组最好的划分成不同的类属性，决策树的构造就是进行属性选择度量确定各个特征属性之间的拓扑结构。

决策树算法采用<熵>来计算特征的区分度，熵是对数据集混乱程度的度量方式，熵越大数据集混乱程度越大，熵越小数据集混乱程度越小，划分数据集的最大原则就是让数据变得更加有序。

适用于金融信用的评估、比赛结果预测。

（3）、朴素贝叶斯算法(Naive Bayesian)

朴素贝叶斯是贝叶斯分类算法中应用最广泛的算法之一。基于给定目标值时属性之间相互独立，对于给定的待分类项，求在此项出现的条件下各个类别出现的概率，哪个概率最大就将此项划分为哪个类别。

朴素贝叶斯算法分解图

分类器训练流程解析

应用场景：垃圾邮件过滤、判断文章分类、分析文字内容含义、人脸识别、情感分析、消费者分类。

（4）、逻辑回归(Logistic Regression)

线性回归就是已知数据集求线性函数，尽可能拟合数据，让损失函数最小，常用的线性回归最优法有最小二乘法和梯度下降法。逻辑回归是非线性回归模型，相比线性回归，多了一个Sigmoid函数。逻辑回归是一个分类算法，主要用于二分类问题，其算法的训练目的，就是让这个目标函数的取值最优化。

逻辑回归算法模型示意图

常用于数据挖掘、疾病诊断、经济预测等方向

（5）、支持向量机（SVM）Support Vector Machine

用于构建 N-1 维的分隔超平面来对 N 维样本数据的划分，分隔超平面两侧的样本点分别属于两个不同的类别。

SVM算法模型示意图

适用于广告投放、人类基因剪接位点识别、基于图片的性别检视、大规模图片分类、适用于新闻分类、手写识别等应用。

（6）、随机森林（Random Forest RF）

主要用于处理回归、分类、聚类以及生存分析等，当用于分类或回归问题时，它的主要思想是通过自助采样，生成很多个树回归器或分类器，随机森林是包含多个决策树的分类器，输出的类别是由个别树输出的类别众数而定。

随机森林算法模型示意图

常用于市场营销模拟、客户来源统计，保存和流失、预测疾病的风险和病患者的易感性。

2、无监督学习

对未知样本类别进行分类，通过机器计算样本属性相似度对数据进行分类建模。

无监督学习主要解决聚类和降维问题，聚类是把对象分组，使具有相似特点的对象聚集在一起。降维是将数据从高维降低到低维层次，并最大程度保留数据信息。

聚类算法：

（1）、K-means

初始随机给定的K个簇中心，按照最邻近原则把待分类的样本点分到各个簇，然后按照平均法重新计算各个簇的中心，从而确定簇的簇心，直到簇心的距离移动距离小于给定的值。

K-means聚类算法模型示意图

（2）、EM算法（Expectation Maximisation 期望最大化）

在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。

EM聚类算法模型示意图

3、强化学习

机器通过正反馈不断的进行自我迭代、自我优化，对模型进行调优。

正、负反馈机制

（1）、Q-learning

算法根据系统在当前状态下所做的每个动作，对机器在系统层面实施奖励或惩罚信息，以此对模型调优。类似于控制系统中的正馈系统。

4、迁移学习

把源领域的知识迁移到目标领域，使目标领域只需要少量的标签样本，就能取得很好的学习效果。

迁移学习流程

迁移方式

1、样本迁移：在源领域中找到与目标领域相似的样本，增加该样本的权重，使其在预测目标中比重加大。

2、特征迁移：源领域与目标领域包含共同的交叉特征，通过特征变换将源领域和目标领域的特征变换到相同的空间，使他们具有相同的分布。

3、模型迁移：源领域与目标领域共享模型参数，将源领域已训练好的网络模型应用到目标领域的新问题上。

4、关系迁移：源领域与目标领域的逻辑关系应用到目标领域中。

寻AI-PM 坑位，欢迎推荐。