这里的y预测的取值范围是正无穷到负无穷,将一元线性回归的模型带入到sigmoid函数中就是逻辑回归的求解概率模型,通过sigmoid函数可以将正无穷到负无穷的数映射到0到1之间,图二中上面的式子是逻辑回归的求解概率模型
现在的问题是我们如何求出上面的 theat值,也就是在逻辑回归问题中,损失函数如何定义。因为逻辑回归只能解决二分类问题,所以当概率估计值大于等于0.5时,我们记y预测为1,当概率估计值小于等于0.5时,记y预测为0,如图二中下面的式子所示。需要注意的是这里的y预测不是多元线性回归里面的y预测
根据上面的式子,我们将损失函数也分为两种情况看待,如下图所示:cost代表损失函数,可以理解为cost越大,损失越大,cost越小,损失越小,在真实的分类为1的情况下,如果概率越小,那么说明损失越大,因为概率越小,分类应该越趋向0。在真实的分类为0的情况下,如果概率越大,那么也说明损失越大,因为概率越大,分类应该越趋向1。
说完了逻辑回归的损失函数的语言描述接下来利用数学公式(函数)来表达出逻辑回归的损失函数,从图四、图五看以看出这两条曲线能够清晰地解释我们之前定义的,如此一来,当y=0时,损失函数为y=-log(1-P,当y=1时,损失函数为y=-log(P
最终将上面两个融合到一起的式子如下图所示:
上面的式子只是针对一个样本数据的,如果是多个样本,最终的损失函数如下: