关系
1. 确定性：可以用函数关系表达变量之前的关系。
2. 非确定性：相关关系，如身高和体重、血压与年龄、温度与湿度。其变量均为随机变量。
回归分析
研究相关关系的数学工具，从一个变量的值去估计另一个变量的值。
一元线性回归
回归函数
为简化问题，用 Y 的数学期望E(Y) 代替其分布函数，研究随 x 取值变化规律。
均方误差 E[(Y - μ(x))²] 最小。
随机变量 Y 的数学期望与 x 的关系函数 E(Y) = μ(x)。
当 μ(x) 为线性函数 μ(x) = a + bx 时，估计 μ(x) 的问题称为求一元线性回归问题。
用样本估计 μ(x)
做 (x, y) 散点图，粗略观察 μ(x) 的形式
一元线性回归模型
Y = a + bx + ε ε ~ N(0, σ²)，随机误差 b：回归系数
a, b 的估计
1. 令 (xi, Yi) 的联合密度函数 L 最大
2. 导出：正规方程组
3. 解得 a, b 的估计值
4. 根据估计值得到回归方程，即Y 关于 x 的经验回归方程：
或
其图形称为回归直线，通过散点图的集合中心 (x均值，y均值)
σ² 的估计
残差：xi处，Y由回归函数计算的函数值与观察值的偏差
残差平方和：
σ² = E{[Y - (a + bx)]²}
因Qe/σ² ~ χ²(n - 2) 所以：E(Qe/σ²) = n - 2
进而得到 σ² 的无偏估计量：
线性假设的显著性检验
原假设：b = 0 此时 E(Y) = μ(x) 不依赖于 x。
t 检验，拒绝域：
原假设被拒绝，回归效果显著，反之，回归效果不显著。
不显著原因：
1. 影响 Y 取值的，除 x 及随机误差外还有其他不可忽略因素；
2. Y 与 x 的关系不是现行的，而存在其他关系；
3. Y 与 x 不存在关系。
系数 b 的置信区间
系数 b 置信水平为 1 - α 的置信区间：
回归函数 μ(x) = a + bx 函数值的点估计和置信区间
μ(x0) = a + bx0 置信水平为 1 - α 的置信区间：
置信区间长度随 | x0 - x均值 | 的增加而增加，当x0 = x均值时为最短
Y 的观察值的点预测和预测区间
利用经验回归函数对因变量 Y 的新观察值进行点预测或区间预测
Y0的置信水平为 1 - α 的预测区间：
置信区间长度随 | x0 - x均值 | 的增加而增加，当x0 = x均值时为最短
可化为一元线性回归的例子
曲线方程
一元回归模型的一般形式：
线性回归模型、非线性回归模型、本质的非线性回归模型
多元线性回归
多元线性回归模型
1. 最大似然估计法得出正规方程组
2. 求出 (b0, b1, ···, bp) 列向量的最大似然估计：
3. 得 p 元经验线性回归方程：
假设检验
原假设：b0 = b1 = ··· = bp = 0
Excel 分析
1. 画散点图
2. 数据分析 - 回归 - 设定参数
3. 各参数意义：
回归统计
1) Multiple R：x和y的相关系数 r，一般在 -1 ~ 1 之间。绝对值越靠近1则相关性越强，越靠近0则相关性越弱。
2) R square：x和y的相关系数 r 的平方，表达自变量 x 解释因变量 y 变差的程度，以测定量 y 的拟合效果。
3) Adjusted R Square：调整后的 R square，说明自变量能说明因变量百分比。和B的区别在于，通常一元回归的时候看B项多，而多元回归时候看C项多。
4) 标准误差：用来衡量拟合程度的大小，也用于计算与回归相关的其它统计量。此值越小，说明拟合程度越好。
5) 观察值：用于训练回归方程的样本数据个数。
方差分析
1) Significance F：弃真率，F 显著性统计量的 P 值，越小越好，小于 α，F 检验才能通过，整体回归方程显著有效。回归分析行重点关注指标。
2) df：自由度，自上而下：
？样本数目？；样本数目 - 变量数据 - 1；样本数目 - 1
3) SS：误差平方和，自上而下：
SSr：回归平方和，因变量的估计值对其均值的总偏差；
SSe：残差平方和，因变量对其估计值的总偏差，数值越大，拟合效果越差；
SSt：= SSr + SSe，总离差平方和，因变量对其平均值的总偏差。
4) MS：均方差，自上而下：
MSr：
MSe：越小越好
5) F：用于线性相关的判定
回归参数
1) Coefficients - Intercept：a
2) Coefficients - X：回归系数 b 即：Y = -40544.23238 + 23.224739*X
3) 标准误差：误差值越小，表明参数的精确度越高。不常使用，原因在于：其统计信息已经包含在后述的t检验中。
4) t stat：T 检验中统计量 t 值，用于对模
型参数的检验，需要查表才能决定。t 值是回归系数与其标准误差的比值。经常一元回归可以看 F 检验或者回归统计基本能支撑判断，但对于多元线性回归，t 检验不可缺省。
5) P-value - X：原假设为 b = 0的，关于 b 的双边检验的 P 值，若其小于 α，则拒绝原假设，认为回归效果显著。
6) 95%下限/上限 - X：表示 b 的置信水平为 α 的置信区间，如：(11.774848, 34.674630)
(部分知识点完善中)
