Softmax vs. SVM
softmax vs. svm
- 10是正确的分类所得分数
- 问题：假设我选择一个数据点，并稍微抖动了一下(稍微改变了它的分数)。在这两种情况下，损失发生了什么？
- 答案：svm几乎不受影响，而softmax会有影响。比如-100，微小的改变后，依然是0，而softmax的概率则也会随之微小的改变。
- 区别：SVM对接近分类边缘的数据较为敏感，而对于离边界远的样例点不敏感；softmax是基于所有样例数据的函数，对每个样例点都有所考量。
- 有很多函数可以作为损失函数，这里介绍了常用的两个。
- 我们可以根据分数的不同，悬着不同的损失函数。
- 一个demo，动态展示分类过程
http://vision.stanford.edu/teaching/cs231n/linear-classify-demo/
优化（权重）
回顾loss计算
recap
优化方法
1. 随机搜索：准确率15.5%
随机搜索
2. 沿着斜率走
- 斜率计算公式
斜率
- 计算斜率
计算斜率
- 数学的计算方法的缺点：求解的损失值是近似的；计算缓慢
这种方法很傻
- 解析梯度-微积分
公式计算法
- 总结：一般适用解析梯度，数值梯度用来检验解析梯度是否正确。
总结
Mini-batch 梯度下降
- 只用一部分数据来计算梯度
- 会有噪音
- 可以提高效率
Mini-batch
learning rate
权重更新方法
different update form formulas
视觉特征
特征1
特征2
example
