简单说几点
- 线性回归和逻辑回归都是广义线性回归模型的特例。他们俩是兄弟关系，都是广义线性回归的亲儿子
- 线性回归只能用于回归问题，逻辑回归用于分类问题（二分类、多分类）
- 线性回归无 link-function 或不起作用，逻辑回归的 link-function 是对数几率函数
- 线性回归使用最小二乘法作为参数估计方法，逻辑回归使用极大似然法作为参数估计方法
深入理解“逻辑回归”的名字
想要理解透名字，需要拆开理解，拆成两部分：“逻辑”和“回归”。
- “回归”很好理解，“回归”来自其父级，即广义线性回归模型。
- “逻辑”如何理解？这是个烂翻译。Logistic 在这里不应该翻译成“逻辑”，因为其语义来自Logarithm：对数。这也更体现了Logistic Regression的本质。
线性回归推广到广义线性回归
简单理解，可能损失一点严谨性。
考察两个式子：y=wX+b 和 ln(y)=wX+b。
左边是线性回归模型，右边是对数线性回归模型。从等式的形式来看，两者的区别仅仅在于等式左部，两者的形式依旧是线性回归，但实质上是完成了 输入空间 X 到输出空间 y 的非线性映射。这里的对数函数ln(·)，将线性回归模型和真实观测联系起来。
该例中的 ln(·)，是一个单调可微函数，称为联系函数（Link Function）。
再进一步推广到一般情况，y=g(wX+b)，这里的 g(·)，就是 Link Function。Link Function 不同，映射方式也不同。Link Function 可以是对数、指数、其他更复杂的函数。
