ERM
真实损失
定义
为总体分布，
为真实标签函数，
为标签函数，也叫模型或分类器。
)
为在总体分布和真实标签函数分别为D和f时h所对应的误差，也叫做真实损失。其公式为
![\begin{align} L_{D,f}(h) &= P_{x \sim D}[f(h(x) \neq f(x)] \\ &= D(\{x \in D:h(x) \neq f(x)\}) \\ \end{align}](https://math.jianshu.com/math?formula=%5Cbegin%7Balign%7D%20L_%7BD%2Cf%7D(h)%20%26%3D%20P_%7Bx%20%5Csim%20D%7D%5Bf(h(x)%20%5Cneq%20f(x)%5D%20%5C%5C%20%26%3D%20D(%5C%7Bx%20%5Cin%20D%3Ah(x)%20%5Cneq%20f(x)%5C%7D)%20%5C%5C%20%5Cend%7Balign%7D)
经验损失
抽取
个独立同分布样本，组成一个m-tuples的样本组
，将的集合定义为样本集
。
以[m]表示数据集{1,2,...,m}，
表示形式上的经验损失函数。
则有如下经验损失的定义公式
![L_S(h)=\frac{\|\{i \in [m]: h(x_i)\neq y_i \} \|}{m}](https://math.jianshu.com/math?formula=L_S(h)%3D%5Cfrac%7B%5C%7C%5C%7Bi%20%5Cin%20%5Bm%5D%3A%20h(x_i)%5Cneq%20y_i%20%5C%7D%20%5C%7C%7D%7Bm%7D)
当
时，可训练得到模型
。
过拟合
定义
为误差精度，过拟合是指经验损失可训练而真实损失超过了误差精度，表达式为
%3E%5Cepsilon)
为消除过拟合，我们主要手段是限制合理模型范围。
经验风险最小化(ERM)
定义模型的有限假设类
，则令
)
置信度
误导集
定义模型的有限假设类，则无效的模型集合为
%3E%5Cepsilon%20%5C%7D)
定义表示样本集中的一个样本组，则样本组的误导集可表示为
%20%5Cto%200%20%5C%7D)
置信度
定义
为抽取到无效样本组的概率，
为置信度。其定义式为
%3E%5Cepsilon%20%5C%7D))
如下推导
%20%5C%5C%20%26%20%5Cle%20%5Csum_%7Bh%20%5Cin%20%5Cmathscr%7BH%7D_B%7DD%5Em(%5C%7BS_x%20%5Cin%20S%3A%20L_S(h)%20%5Cto%200%20%5C%7D)%20%5C%5C%20%26%20%3D%20%5Csum_%7Bh%20%5Cin%20%5Cmathscr%7BH%7D_B%7D%5Cprod_%7Bi%3D1%7D%5E%7Bm%7DD(%5C%7B%20x_i%3Ah(x_i)%3Dy_i%3Df(x_i)%20%5C%7D)%20%5C%5C%20%26%20%5Cle%20%5Csum_%7Bh%20%5Cin%20%5Cmathscr%7BH%7D_B%7D%5Cprod_%7Bi%3D1%7D%5E%7Bm%7D(1-%5Cepsilon)%20%5C%5C%20%26%20%3D%20%5C%7C%20%5Cmathscr%7BH%7D_B%20%5C%7C%20(1-%5Cepsilon)%5Em%20%5C%5C%20%26%20%5Cle%20%5C%7C%20%5Cmathscr%7BH%7D%20%5C%7C%20e%5E%7B-%5Cepsilon%20m%7D%20%5Cend%7Balign%7D)
得到
样本量
%7D%7B%5Cepsilon%7D)
举例：性别估计是个二分类，假设使用1000个0-1特征，则
，根据经验
，希望的精度
，则样本量)
设模型参数数量为N，参数取值范围为R，则
%7D%7B%5Cepsilon%7D%20%5C%5C%20%26%20%3D%20%5Cfrac%7BN%5Cln(R)-%20%5Cln(%5Cdelta)%7D%7B%5Cepsilon%7D%20%5Cend%7Balign%7D)
可见样本数量应与参数数量N成正比例关系。
