数据集data set：一系列记录的集合
示例instance、样本sample：每条记录是关于一个事件或对象的描述
属性attribute、特征feature：反应事件或对象在某方面的表现或性质的事项
属性值attribute value：属性上的取值
属性空间attribute space、样本空间sample space、输入空间：各个属性不同值组成的空间
特征向量feature vector：一个示例在每个属性上的取值可以考虑为一个向量
机器学习算法machine learning algorithm：由输入数据集到输入标记的一个函数映射y=f(x)
分类classification：预测目标(y)为离散值
回归regression：预测目标(y)为连续值
聚类clustering：事先不知道类别标签，按照一定原则将输入数据分为若干组，物以类聚人以群分
有监督学习supervised learning：训练数据拥有标记信息
无监督学习unsupervised learning：训练数据无标记信息
半监督学习Semi-supervised learning：少量数据有标记，大量数据未标记
强化学习reinforcement learning：输入状态、动作、奖励输出方案
泛化能力generalization：机器学习的目标是使学得的模型能很好的适用于新样本（未知类别标记的样本），而不仅仅是在训练样本上工作做得很好，学得模型适用于新样本的能力称为泛化能力
归纳induction：由特殊到一般的泛化generalization过程
演绎deduction：由一般到特殊的特化specialization过程
训练集train set、训练标签train label：已有y(train label)的x(train set)用于训练我们的f
测试集test set、测试标签test label：用于检测模型的泛化能力
验证集：没有标记的样本集合，用于实际使用模型
训练模型fit：我们把算法学习过程看作一个在所有假设hypothesis组成的空间进行搜索的过程，搜索目标是找到与训练集匹配的假设
归纳偏好inductive bias：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上等效的假设所迷惑，而无法产生确定的学习结果
奥卡姆剃刀原则Occam`s razor：若有多个假设（模型）与观测（训练集的分布）一致，则选择最简单的那个
没有免费的午餐定理no free lunch theorem：任何算法在样本空间全集上的期望性能完全相同
