监督学习:
- 简单定义: 根据例题来做新的习题,根据有结果的数据, 来训练没有结果的数据, 有预期的
- 模型的生命周期是有限的
- 流程: 输入数据->特征工程->模型训练->模型部署->模型应用
输入空间和输出空间
- 输入空间(Input Space): 将输入的所有可能取值的集合称作输入空间
- 输出空间(Output Space): 将输出的所有可能取值的集合称作输出空间
- 输入空间和输出空间可以是有限元素的集合, 也可以是整个欧式空间
- 输入空间和输出空间可以是连续值集合, 也可以是离散值集合
- 输入空间和输出空间可以是同一个空间, 也可以是不同的空间
- 通常输出空间会比输入空间小
特征空间
- 特征(Feature): 即属性, 每个输入实例的各个组成部分(属性)称作原始特征, 基于原始特征还可以扩展出更多的衍生特征.
- 特征向量(Feature Vector): 由多个特征组成的集合, 称作特征向量
- 特征空间(Feature Space): 将特征向量存在的空间成为特征空间
1.特征空间中每一个维都对应了一个特征(属性)
2.特征空间可以和输入空间相同, 也可以不同
3.需将将实例从输入空间映射到特征空间
4.模型实际上是定义于特征空间之上的
假设空间
- 假设空间(Hypothesis Space): 由输入空间到输出空间的映射的集合, 称作假设空间
用两位大神的话来解释的话:
监督学习的目的在于学习一个由输入到输出的映射, 这一映射由模型来表示, 换句话说, 学习的目的在于找到最好的这样的模型. 模型属于由输入空间到输出空间的映射集合, 这个集合就是假设空间. 假设空间的确定意味着学习范围的确定. ---------------------<统计学习方法> 李航
假设空间指的是问题所有假设组成的空间, 我们可以把学习过程看作是在假设空间中搜索的过程, 搜索目标是寻找和训练集"匹配"的假设
----------周志华<机器学习>
假设个数的计算
机器学习方法的三要素
机器学习方法通常都是由模型, 策略和算法三个部分构成:方法=模型+策略+算法
-
模型: 输入空间到输出空间的映射关系, 学习过程即为从假设空间中搜索合适当前数据的假设
模型 -
策略: 从假设空间众多的假设中选择到最优的模型的学习标准或规则
- 要从假设空间中选择一个最合适的模型出来, 需要解决以下问题:
- 评估某个模型对单个训练样本的效果
- 评估某个模型对训练集的整体效果
- 评估某个模型对包括训练集, 预测集在内的所有数据的整体效果
- 定义几个指标用来衡量上述问题
- 损失函数: 0-1损失函数, 平方损失函数, 绝对损失函数, 对损失函数等
- 风险函数: 经验风险, 期望风险, 结构风险
- 基本策略
- 经验风险最小(EMR: Empirical Risk Minimization)
- 结构风险最小(SRM: Structural Risk Minimization)
- 要从假设空间中选择一个最合适的模型出来, 需要解决以下问题:
-
算法: 学习模型的具体的计算方法, 通常是求解最优化问题
三要素
