1.二分类问题
- Logistic Regression就是一个二分类问题;
- 二分类问题的目标就是输入一个数据集,通过学习得到一个分类器,预测得出数据是0或是1,也就是视频中所说,输入64643的像素矩阵,输出图片得到是猫(y=1)或非猫(y=0)。
Notation符号说明
- 样本:,训练样本包含m个;
- 输入数据:;
- 输出:,目标值属于0,1分类;
2. Logistic Regresion
逻辑回归中,预测值用概率形式表示:表示输出值为1的概率;
然而一般情况下,预测值常用线性函数表示:,此时,远大于1,故引入sigmoid函数,此时,预测值:
由图看出,
注意:
- 梯度消失问题?(梯度下降公式不断更新,sigmoid函数导数越来越小,每次迭代步伐越来越小,最终趋近于0)
3. 代价函数与损失函数(Cost function&Loss function)
Loss function:
一般的损失函数用平方错误来表示:然而这是一个非凸函数(non convex),只能找到局部最优解,不能使用梯度下降法,无法找到全局最优解。因此,对于logistic regression来说,要选用凸函数。
loss function of logistic regression:
- (预测效果越好),(预测效果越好)
- 这是针对单个样本点的损失函数,我们的目标是最小化单个样本点的损失函数。
Cost function:
全部训练数据集的Loss function总和的平均值即为训练集的代价函数(Cost function):
- 迭代计算w和b的值,minimize
4. Logistic Regression的梯度下降法Gradient Descent
- 目标:找全局最小值;
- 算法:,:learning rate. b同理