闲话
 今天开始一段学习，并且记录的过程。主要是学习sklearn库，还有看相应的ESL的内容，在python里面实现这些模型。有的知识复习，有的新接触，通过写代码公式的方式加深理解。然后再重点玩一玩集成学习。

写在前面
  机器学习里面注重模型预测的结果，但是统计里面更注重解释，因此构造 了很多相应的统计量来评估模型的拟合程度以及显著性。虽然线性回归的形式比较简单，但是多元线性回归的时候，变量之间的共线性比较麻烦。
 今天写了简单的线性回归，明天打算写LASSO和Ridge。然后再弄弄逻辑回归以及凸优化的东西。希望写的东西能对自己和别人有所帮助。

简单线性回归模型

首先，最简单的线性模型。我觉得可以分成一元线性和多元线性的。多元线性之间可能存在着共线性，也复杂一点。
假设X(X₁,X₂,...,X_m) 有m个样本，每个样本有n个特征。因此X是m×n的矩阵，Y是m×1的矩阵。
通过建立回归模型对y进行预测。
y=w₀ + x₁w₁ + x₂w₂ + ...+ x_nw_n，其中w₀是截距(intercept)。
将上式写成 y=w₀×1 + x₁w₁ + x₂w₂ + ... + x_nw_n
即 Y=XW
新的X矩阵大小为m×(n+1)
第i个样本(矩阵的第i行) X_i=[1, x_i1, x_i2 ... x_in]
W=[w₀, w₁ ... w_n].T 矩阵大小为 (n+1)×1

目标通过求解合适的W使得损失函数最小，拟合最小。
Loss Function H(W)=||Y-XW||²
对W进行求导。

• 复习矩阵求导，因为损失函数是标量，对向量求导。

  
  
  矩阵求导.png
  
  
  矩阵求导2.png

公式编辑太复杂，无奈截了别人几张图。

损失函数对W求导结果为 gradient=2X^T(XW-Y)
若令上试为0,即得到最小二乘的结果 W=(X^TX)^-1X^TY
最优化方法：

• 梯度下降 W=W+alpha*gradient alpha为学习率
• 随机梯度下降 由于梯度下降每次需要遍历所有的样本来计算梯度(XW-Y项)， 所以随机梯度就是随机选择一个样本来进行梯度更新，即上式中X为随机选择的Xi。
• 小批量梯度下降(Mini-batch Gradient Descent)
  每次选择一部分样本来进行梯度迭代。

sklearn代码如下

#!/usr/bin/python3
import numpy as np
import matplotlib.pyplot as plt  
from sklearn import linear_model
reg = linear_model.LinearRegression()

#Generating simulation data
#simplelinear model
np.random.seed(1234)
X=np.random.randint(1,30,[100,1])
Epsilon=np.random.normal(5,3,[100,1])
Y=X+Epsilon
#plt.scatter(X,Y)
#plt.show()

reg = linear_model.LinearRegression()
reg.fit (X,Y)
coef=reg.coef_
intercept=reg.intercept_

x=np.linspace(0,30,10)
y=x*coef+intercept
plt.scatter(X, Y, color="blue")  
plt.plot(x, y.T, color="red")  
plt.title("Simple Linear Regression")
plt.show()

Figure_2.png

#multiple linear regression
np.random.seed(1234)
X1=np.random.randint(1,30,[100,1])
X2=np.random.randint(1,30,[100,1])
X3=np.random.randint(1,30,[100,1])
Epsilon=np.random.normal(5,3,[100,1])

X=np.hstack((X1,X2,X3))
Y=0.3*X1+0.4*X2+0.5*X3+Epsilon

reg = linear_model.LinearRegression()
reg.fit(X,Y)
coef=reg.coef_
intercept=reg.intercept_
print(coef)
#[[0.34531042 0.36530942 0.4873931 ]]
print(intercept)
#[5.09501933]

参考资料
http://cwiki.apachecn.org/pages/viewpage.action?pageId=10814293
https://blog.csdn.net/nomadlx53/article/details/50849941
http://blog.sina.com.cn/s/blog_8eac0b290101fsqb.html