1.二分类问题
- Logistic Regression就是一个二分类问题；
- 二分类问题的目标就是输入一个数据集，通过学习得到一个分类器，预测得出数据是0或是1，也就是视频中所说，输入64
64
Notation符号说明
- 样本：
，训练样本包含m个；
- 输入数据：
；
- 输出：
，目标值属于0，1分类；
2. Logistic Regresion
逻辑回归中，预测值用概率形式表示：表示输出值为1的概率；
然而一般情况下，预测值常用线性函数表示：，此时，
远大于1，故引入sigmoid函数，此时，预测值：
由图看出，
注意：
- 梯度消失问题？（梯度下降公式不断更新，sigmoid函数导数越来越小，每次迭代步伐越来越小，最终趋近于0）
3. 代价函数与损失函数（Cost function&Loss function)
Loss function:
一般的损失函数用平方错误来表示：然而这是一个非凸函数（non convex），只能找到局部最优解，不能使用梯度下降法，无法找到全局最优解。因此，对于logistic regression来说，要选用凸函数。
loss function of logistic regression:
-
(预测效果越好)，
（预测效果越好)
- 这是针对单个样本点的损失函数，我们的目标是最小化单个样本点的损失函数。
Cost function:
全部训练数据集的Loss function总和的平均值即为训练集的代价函数（Cost function）：
- 迭代计算w和b的值，minimize
4. Logistic Regression的梯度下降法Gradient Descent
- 目标：找全局最小值；
- 算法：
，
:learning rate. b同理
5. m个训练样本的梯度下降
