Gurantee of PLA
这一小节,老师解决了我上一节中遗留的问题。
首先,只有当数据集data是线性可分的时候,才存在 f 超平面,将空间没有错误地划分成两块。所以,PLA才能输出一个可行解 g 。
其次,证明PLA可以在有限步输出 g 分为三部分:
-
证明w_f · w_{t+1} > w_f · w_{t} (其中w_f是最优解 f 对应的权向量):
这一证明意味着,经过不断的修正,w_t 会变得越来越接近理想的 w_f。
-
证明 w_{t+1}^2 <= w_t^2 + max{x_n^2}:
第二步证明表示,每一次的修正,w_t 长度的增长量都有限。
-
我们应用1,2中的结论,进行如下证明:
这一步说明,w_f和w_t的夹角的余弦值会随着时间 t 越来越大。又由于余弦值小于等于1,所以,w_t 必定会收敛。且收敛步数至多是:
至此,我们证明了当数据集是线性可分的时候,PLA可以在一定时间内返回一个完美的划分函数 g 。