感知机
标签： 统计学习
目录
[TOC]
模型
二分类的线性模型，属于判别模型
旨在求出将输入空间进行线性划分的分离超平面。
损失函数基于误分类，利用梯度下降法求解目标，从而获得感知机模型，分为原始形式与对偶形式，是神经网络与支持向量机的基础
定义
w为权值（weight），b为偏置（bias），sign为符号函数
模型解释：线性方程
策略
选择损失函数，一个自然选择是误分类点总数，但非参数w,b的连续可导函数，不易优化。另一个选择是误分类点到超平米的总距离不考虑系数，得到损失函数（该函数同时也是感知机的经验风险函数）
感知机的策略就是，选取使损失函数最小的模型参数w,b
学习算法
采用随机梯度下降法（stochastic gradient descent）
选取一个误分类点，对w,b进行更新
该算法有一个直观解释：当一个样本点被误分类，则调整w,b的值，使分离超平面向该误分类点的一侧移动，以减少该点与超平面的距离
解不唯一，即依赖于初值，也依赖于迭代过程的点选择顺序
