SVM
1995 年, 基于统计学习的理论基础发展出了一种新的通用的学习方法——支持向量机 (SVM). 可以说 SVM 是统计学习理论在算法领域应用的集中体现. SVM 的提出, 一举解决了第二代神经网络的结构选择和局部最小值 (过拟合与欠拟合) 等问题, 使第二代神经网络的发展进入了又一个低潮期. 以统计学习方法为基础的 SVM 被应用于机器学习的各个领域, 成为最通用的万能分类器.
线性支持向量机
有 ,
, 数据空间
. 以下
, 分离超平面为
SVM 的目的是最大化间隔 (margin), 对于线性可分的数据集, 模型假设为
考虑到存在线性不可分的数据集, 引入了变量 , 且
表示点
到离它最近的边界的距离, 模型便改写为
在学术上预测损失 , 被称为 hinge loss,
被称为线性整流函数 (ReLU).
因而, 此时的 SVM 可以看作为正则项为 范数, 激活函数为 ReLU 的单层神经网络模型(与其他模型不同的是 SVM 的正则项是不能省略的). 此时的 SVM 被称为线性 SVM.
更多内容见 SVM
