1有监督学习：
定义：训练数据的样本包含输⼊向量以及对应的⽬标向量的应⽤叫做有监督学习（supervised learning）问题。
举例：数字识别就是这个问题的⼀个例⼦，它的⽬标是给每个输⼊向量分配到有限数量离散标签中的⼀个，被称为分类（classification）问题。如果要求的输出由⼀个或者多个连续变量组成，那么这个任务被称为回归（regression）。
2在其他的模式识别问题中，训练数据由⼀组输⼊向量x组成，没有任何对应的⽬标值。在这样的⽆监督学习（unsupervised learning）问题中，⽬标可能是发现数据中相似样本的分组，这被称为聚类（clustering），或者决定输⼊空间中数据的分布，这被称为密度估计（density estimation）.
3前提知识：
概率论、决策论、信息论
4线性模型
5.对已⼀个给定的模型复杂度，当数据集的规模增加时，过拟合问题变得不那么严重。另⼀种表述⽅式是，数据集规模越⼤，我们能够⽤来拟合数据的模型就越复杂（即越灵活）.
6.不得不根据可得到的训练集的规模限制参数的数量，根据待解决的问题的复杂性来选择模型的复杂性。寻找模型参数
的最⼩平⽅⽅法代表了最⼤似然（maximum likelihood）（将在1.2.5节讨论）的⼀种特殊情形，并且过拟合问题可以被理解为最⼤似然的⼀个通⽤属性。实际上，⼀个贝叶斯模型中，参数的有效（effective）数量会⾃动根据数据集的规模调节。
7.公式（1.4）中的误差函数也可以⽤解析的形式求出最⼩值。像这样的技术在统计学的⽂献中被叫做收缩（shrinkage）⽅法，因为这种⽅法减⼩了系数的值。⼆次正则项的⼀个特殊情况被称为⼭脊回归（ridge regression）（Hoerl and Kennard, 1970）。在
神经⽹络的情形中，这种⽅法被叫做权值衰减（weight decay）。
