从只含一个自变量X的情况开始，成为一元线性回归。假定回归模型为
Y=b0+b1X+e
b0,b1为未知参数，b0为常数项或截距，b1为回归系数，e为随机误差。实际工作中，也常使用变量变换法。即在散点图与直线趋势差距较大时，设法对自变量乃至因变量进行适当的变换，使变换后的散点图更加接近与直线。这样对变化后的新变量进行线性回归分析，再回到原变量。
假定Y = b0+b1X+e
л和э分别为x和y的算术平均，故可以改写为Yi=β0+β1(Xi-л)+ei (i = 1,....,n)
其关系是β0=b0+b1л,β1=b1，故如估计了β0和β1，可以得到b0和b1的估计。
当X=Xi处取值为Yi,估计值我们有Γ表示，这样我们就有偏离Yi-Γ，我们当然希望偏离越小越好。衡量这种偏离大小的一个合理的单一指标为他们的平方和（通过平方去掉符号的影响，若简单求和，则正负偏离抵消了）

最优，即导数等于0.

我们将这个平方和求导，且认定该导数为0，得到的β0，β1,使得偏离最小。

用线性代数的思想就是，假定输入数据存在矩阵X中，而回归系数存放在向量w中。那么对于给定的数据X1,预测结果将会通过Y1=(X.transpose)w给出。偏差的平方为

Paste_Image.png

如果对w求导，得到

Paste_Image.png

为求最优，令其等于0，则

Paste_Image.png

上述公式中包含

Paste_Image.png

因此这个方程只在逆矩阵存在的情况使用。因为矩阵的逆矩阵可能不存在，因此必须要在代码中对此作出判断。

用python进行代码的实现

from numpy import *
def loadDataSet(filename):
    numFeat = len(open(filename).readline().split(','))-1
    datMat = []; labelMat = []
    fr = open(filename)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split(',')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        datMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return datMat,labelMat
def standRegres(xArr,yArr):
    xMat = mat(xArr);yMat = mat(yArr).T
    xTx = xMat.T*xMat
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular, can not inverse")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

xArr,yArr = loadDataSet('gmvusers3.csv')
print("xArr is ",xArr)
print("yArr is ",yArr)
ws = standRegres(xArr,yArr)
print(ws)
xMat = mat(xArr)
yMat = mat(yArr)
yHat =xMat*ws

import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xMat[:,1].flatten().A[0],yMat.T[:,0].flatten().A[0])

xCopy = xMat.copy()
xCopy.sort(0)
yHat=xCopy*ws
ax.plot(xCopy[:,1],yHat,'b-')
print(corrcoef(yHat.T,yMat))
plt.show()

感谢高斯，或者勒让德，历史无法评说，但这种思想是一种用于数据拟合的霸气方法。这个事情的精妙之处就是将数理统计和矩阵完美的结合在了一起，通过矩阵对最小二乘法的描述，为数据拟合找到了简单粗暴的路径，线性回归。

下面简要列出梯度下降法和最小二乘法的主要区别