Logistics Regression(二分类回归模型)用法详解

概述

$logistics$ 回归称作逻辑回归模型，虽然被称为回归模型，但属于分类算法，有二分类模型和多元分类模型等两种，常见的是二分类模型。【本篇博文集中介绍二分类的情况】

介绍

对于二分类的 $logistics$ 回归，因变量 $y$ 有“是”、“否”两个取值，记作1和0。假设在自变量 $x_{1}$ 、 $x_{2}$ 、 $x_{3}$ 、…、 $x_{p}$ 作用下（自变量 $x_{i}$ 即为特征项）， $y$ 取“是”的概率为 $p$ ，则取“否”的概率为 $1-p$ ， $logistics$ 回归模型研究的便是当 $y$ 取“是”发生的概率 $p$ 与自变量 $x_{1} ，x_{2} ，x_{3} ，...，x_{p}$ 之间的关系，当 $p＞0.5$ 时， $y$ 取1，当 $p＜0.5$ 时， $y$ 取0。将 $y$ 取1和0的概率之比记作 $\frac{p}{1-p}$ ，称为事件的优势比（odds），对odds取自然对数即得logistics变换 $Logit(p)=\ln \frac{p}{1-p}$ ，当 $p$ 在（0,1）之间变化时，odds的取值范围为（0，+∞），则 $\ln \frac{p}{1-p}$ 的取值范围是（-∞，+∞）， $logistics$ 回归模型就是建立 $\ln \frac{p}{1-p}$ 与自变量 $x_{i}$ 的线性回归模型（称为对数似然）。

$logistics$ 回归模型为：

$\ln \frac{p}{1-p} =\beta _{0} +\beta _{1}x_{1} +\beta _{2}x_{2}+...+\beta _{p}x_{p}+\varepsilon$ ，上式记作 $g(x)$

【一般在预处理中，会将自变量 $x$ 增添一列值 $x_{0}$ =1】

则

得到了概率值

logistics函数也称sigmod函数，是一种阶跃函数

从这一层意义上说，logistics回归在本质上依然是线性回归模型，只是在最后加了一层连接函数——sigmod函数，使概率值非线性地映射到了（0,1）之间，这种模型称为广义线性模型。所以与SVM、神经网络等非线性分类器相比，如果要针对大规模数据进行快速分类预测，logistics回归具有相当大的时间优势。

【广义线性模型GLM】

一个GLM包含三个要素：

1.指数族的概率分布。（二项分布属于指数族分布）【资料：https://blog.csdn.net/touristman5/article/details/57402762】

2.一个线性预测器，如 $\eta =X*\beta$ 。