3.1 基本形式
一般形式：
向量形式：
目的：求解确定模型
注意点：
- nonlinear model 可通过 linear model 引入层次结构 和 高维映射
- 具有很高的可解释性（comprehensibility）
3.2 线性回归(linear regression)
注意点：
有序属性可转化为连续值
无序属性可转化为k维向量
！！无序属性转为连续值会导致错误
均方误差（square loss）:
优点：非常好的几何意义，Euclidean distance =》 least square method
注意点：和
是解
多元线性回归(multivariate linear regression):
对求导若
为满秩矩阵（full-rank matrix）或正定矩阵（positive definite matrix）
则
实际情况中满秩矩阵意味着样例数大于变量数
若实际情况中样例数小于变量数，则需要引入正则化项
线性回归的变化：对数线性回归
对于单调可微函数
广义线性模型generalized linear model 其中联系函数（link function）
3.3 对数几率回归(logistic regression)
二分类任务 单位阶跃函数（unit-step function) Heaviside函数
问题：不连续 =》替代函数 surrogate function =》 对数几率函数 logistic function
==>
merit：无需先假设数据分布，近似概率预测，任意阶可导凸函数
3.4 线性判别分析（Linear discriminant analysis) Fisher判别分析
投影法：相似点协方差尽可能小，类中心距离大
令为均值向量和协方差矩阵，两类数据的中心投影在直线上的取值为
，如果将所有点都投影到直线上，则两类数据的协方差分别为
和
，由于直线是一维空间，所以以上都为实数
同类相近，则最小
异类远离，则最大
则最大化目标：最大
类内散度矩阵（within-class scatter matrix)
类间散度矩阵（between-class scatter matrix)
则
即 广义瑞利商（generalized Rayleigh quotient)
当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类
LDA可适用于多分类问题，LDA是经典的监督降维技术
3.5 多分类学习
notes： 在少数情况中，一些二分类学习方法可以直接推到到多分类学习方法中，比如LDA，在大多数情况中，我们只能基于一些基本策略使用二分类学习器来解决多分类问题。
基本思路：拆解法
- 一对一策略（One vs. One, OvO）需要
个分类器
- 一对多策略 （One vs. Rest，OvR or OvA） 需要N个分类器，单个分类器为正，如果多个分类器为正，需要考虑预测置信度，选最大的类别标记
OvO的储存开销和测试时间开销比OvR更大，训练时间更少
- 多对多策略（Many vs. Many，MvM）若干个正类，若干个负类，通常使用纠错输出码（Error Correcting Output Codes, ECOC）==> 二元码，三元码
3.6 类别不平衡问题
通常需要在两个类别数据数量相近的情况中进行训练 ==> class-inbalance
方法：再缩放 rescaling or rebalance
- 欠采样 undersampling 去除数量多的至平衡 EasyEnsemble 集成学习
- 过采样 oversampling 增加数量少的至平衡 SMOTE 算法 ->插值
- 阈值移动 threshold-moving
==》 代价敏感学习（cost-sensitive learning）
