一、原理简述
1.1 LR定义
逻辑回归（Logistic Regression），简称LR，是目前较流行使用广泛的一种学习算法，用于解决预测的变量y是离散值的二分类问题。例如：判断一封电子邮件是否是垃圾（ 0 or 1）。Y=0表示为非垃圾邮件，Y=1为是垃圾邮件，这里的响应变量是一个两点（0-1）分布变量，但不能用h函数连续的值来预测因变量Y，只能取0或1解决二分类问题。
逻辑回归的模型本质上是一个线性回归模型，假设因变量 𝑦 服从伯努利分布，通过Sigmoid函数引入了非线性因素处理0/1分类问题。
1.2 Sigmoid函数
逻辑回归模型的假设是: h𝜃(𝑥) = 𝑔(𝜃𝑇𝑋) 其中: 𝑋 代表特征向量 𝑔 代表逻辑函数(logistic function)是一个常用的逻辑函数为 S 形函数(Sigmoid function) ，该模型的输出变量范围始终在 0 和 1 之间 。公式为：
该函数的图像为：
逻辑回归模型的假设：
h𝜃 (𝑥) = 𝑃 (𝑦 = 1|𝑥; 𝜃)
h𝜃(𝑥)的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1 的可能性，例如，假设给定的𝑥，通过已经确定的参数计算得出h𝜃 (𝑥) = 0.7，则表示有 70%的几率𝑦为正向类，相应地𝑦为负向类的几率为 1-0.7=0.3 。
1.3 决策边界
决策边界(decision boundary) 可以理解为将样本划分为不同类别的一条边界。
在逻辑回归中，我们预测:
当h𝜃(𝑥) >= 0.5时，预测 𝑦 = 1。
当h𝜃(𝑥) < 0.5时，预测 𝑦 = 0。
根据上面绘制出的 S 形函数图像，我们知道当
𝑧=0 时 𝑔(𝑧)=0.5
𝑧>0 时 𝑔(𝑧)>0.5
𝑧<0 时 𝑔(𝑧)<0.5
又 𝑧 = 𝜃𝑇𝑥 ，即:
𝜃𝑇𝑥 >= 0 时，预测 𝑦 = 1
𝜃𝑇𝑥 < 0 时，预测 𝑦 = 0
sigmoid函数将回归函数得到的值求得一个介于0和1之间的概率，当h𝜃(𝑥)>0.5时，预测值为1，ph𝜃(𝑥)<0.5时，预测值为0。那么h𝜃(𝑥)=0.5就是一个临界值，此时e的系数就是0，决策边界的公式为：
这里引用Andrew Ng 课程上的两张图来解释这个问题：
1.3.1 线性决策边界
参数𝜃 是向量[-3 1 1]。 则当−3 + 𝑥1 + 𝑥2 ≥ 0，即𝑥1 + 𝑥2 ≥ 3时，模型将预测 𝑦 = 1。 我们可以绘制直线𝑥1 + 𝑥2 = 3，这条线便是我们模型的分界线，将预测为 1 的区域和预 测为 0 的区域分隔开。
1.3.1 非线性决策边界
因为需要用曲线才能分隔 𝑦 = 0 的区域和 𝑦 = 1 的区域，我们需要二次方特征: h (𝑥)=𝑔(𝜃 +𝜃 𝑥 +𝜃 𝑥 +𝜃 𝑥2 +𝜃 𝑥2)是[-1 0 0 1 1]，则我们得到的判定边界恰好是圆点在原点且半径为 1 的圆形。
1.4 代价函数
对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。 公式为：
但对于逻辑回归来说，逻辑回归是一个非凸函数（non-convexfunction），意味着会出现很多局部最小值，这也将会影响梯度下降算法寻找全局最优解。
逻辑回归的代价函数为：
!
h𝜃(𝑥)与 𝐶𝑜𝑠𝑡(h𝜃(𝑥),𝑦)之间的关系如下图所示:
当实际的 𝑦 = 1 且h𝜃(𝑥)也为 1 时误差为 0， 当 𝑦 = 1 但h𝜃(𝑥)不为 1 时误差随着h𝜃(𝑥)变小而变大;当实际的 𝑦 = 0 且h𝜃(𝑥)也为 0 时 代价为 0，当𝑦 = 0 但h𝜃(𝑥)不为 0 时误差随着 h𝜃(𝑥)的变大而变大。
1.5 梯度下降法
最小化代价函数的方法，是使用梯度下降法(gradient descent)。 梯度下降中的梯度指的是代价函数对各个参数的偏导数，偏导数的方向决定了在学习过程中参数下降的方向，学习率（通常用α表示）决定了每步变化的步长，有了导数和学习率就可以使用梯度下降算更新参数, 即 :
1.6 多类别分类:一对多
逻辑回归本身只能解决二分类问题，但可以通过一些方法使得二分类转换成多分类问题。常见的方式有OvR和OvO两种。
举个例子，如果一个病人因为鼻塞来去医院看病，他可能并没有生病，用 𝑦 = 1 这个类别来代表；或者患了感冒，用 𝑦 = 2 来代表；或者得了流感用𝑦 = 3来代表。例子为一个多分类问题。前面我们已经知道使用逻辑回归进行二元分类，对于直线或许你也知道，可以将数据集一分为二为正类和负类。用一对多的分类思想，我们可以将其用在多类分类问题上，这种方法为"一对余"方法 ，也称OvR(One vs Rest)。
上图为多分类转换成二分类过程，图中原有红、蓝、紫、绿四个类别。以左下角为例，假设红色类标记为正向类(𝑦 = 1)，而灰色类（除红色外的其他类标记为负向类(𝑦 = 0)。接着，类似地选择另一个类标记为正向类(𝑦 = 2)，再将其它类都标记为负向类，最后我们得到一系列的模型简记为: h𝜃 (𝑖)(𝑥) = 𝑝(𝑦 = 𝑖|𝑥; 𝜃)其中:𝑖 = (1,2,3. . . . 𝑘) 。
简单来说，OvR的思路是将所有类别分为两个类，当前类别是一类，其他类别合并视为一个类。有K个类别的数据样本就会被分为K个由两个类组成的新样本集合，这样就将多分类问题转化为二分类问题，然后对每个数据样本进行模型训练，得到模型使用样本进行验证，选择分类得分最高的作为最终的样本类别。
二、代码实现
2.1 手写批量梯度下降
import numpy as np
from sklearn.metrics import mean_squared_error
import sklearn.datasets as dataset
from sklearn.model_selection import train_test_split
class Logistic_Regression:
def __init__(self):
'''
初始化Logistic Regression模型
'''
self.coef_ = None
self.interept_ = None
self._theta = None
def _sigmoid(self, t):
'''
sigmoid函数
:param t:
:return:
'''
return 1 / (1 + np.exp(-t))
def fit(self, X_train, y_train, eta=0.01, n_iters=1e4, epsilon=0.0001):
'''
梯度下降
:param X_train:
:param y_train:
:param eta:
:param n_iters:
:return:
'''
assert X_train.shape[0] == y_train.shape[0], 'the size of X_train must equals the size of y_train'
def J(theta, X_b, y):
'''
计算代价
:param theta:
:param X_b:
:param y:
:return:
'''
y_hat = self._sigmoid(X_b.dot(theta))
try:
return - np.sum(y * np.log(y_hat) + (1 - y) * np.log(1 - y_hat)) / len(y)
except:
return float('inf')
def dJ(theta, X_b, y):
'''
计算梯度
:param theta:
:param X_b:
:param y:
:return:
'''
return X_b.T.dot(self._sigmoid(X_b.dot(theta)) - y) / len(X_b)
def gradient_descent(X_b, y, theta_init, eta=eta, n_iters=n_iters, epsilon=epsilon):
'''
梯度下降
:param X_b:
:param y:
:param theta_init:
:param eta:
:param n_iters:
:param epsilon:
:return:
'''
theta = theta_init
cur_iters = 0
while cur_iters < n_iters:
gradient = dJ(theta, X_b, y)
last_theta = theta
theta = theta - gradient * eta
if abs(J(theta, X_b, y) - J(last_theta, X_b, y)) < epsilon:
break
cur_iters = cur_iters + 1
return theta
X_b = np.hstack([np.ones((len(X_train), 1)), X_train])
theta_init = np.zeros(X_b.shape[1])
self._theta = gradient_descent(X_b, y_train, theta_init, eta, n_iters, epsilon)
self.interept_ = self._theta[0]
self.coef_ = self._theta[1:]
return self
def predict_probability(self, X_test):
'''
预测概率函数
:param X_test:
:return:
'''
assert self.coef_ is not None, 'coef can not be None'
assert X_test.shape[1] == len(self.coef_), 'the size of X_test must equals the size of coef'
X_b = np.hstack([np.ones((len(X_test), 1)), X_test])
return self._sigmoid(X_b.dot(self._theta))
def predict(self, X_test):
'''
预测函数
:param X_test:
:return:
'''
assert self.coef_ is not None, 'coef can not be None'
assert X_test.shape[1] == len(self.coef_), 'the size of X_test must equals the size of coef'
prob = self.predict_probability(X_test)
return np.array(prob >= 0.5, dtype='int')
def mse(self, X_test, y_test):
'''
测试预测准确度
:param X_test:
:param y_test:
:return:
'''
y_predict = self.predict(X_test)
return mean_squared_error(y_predict, y_test)
data = dataset.load_iris()
X = data.data
y = data.target
X = X[y < 2, :2]
y = y[y<2]
X_train, X_test, y_train, y_test = train_test_split(X, y)
logistics = Logistic_Regression()
logistics.fit(X_train, y_train)
mse = logistics.mse(X_test, y_test)
print(mse)
print("the coef of 2 features:"f )
定义一个Logistic_Regression类，通过coef_和interept_记录特征的系数和回归曲线的截距。fit()函数封装了梯度下降相关的所有函数，包括代价函数J、求梯度的函数dJ以及梯度下降函数gradient_descent()，gradient_descent()函数的执行过程和总结线性回归时的批量梯度下降基本一样，不过是代价函数和求梯度的方式有所变化而已。之后可以调用predict()方法进行测试预测并使用mse函数求预测值与实际值之间的均方误差检验模型预测效果。
声明：此文章为本人学习笔记，课程来源于：
1、吴恩达机器学习课程
2、慕课网：python3入门机器学习经典算法与应用。
