Multivariate Linear Regression
Multivariate Features
当我们的线性回归函数中有多个变量的时候，或者说我们的样本中有多个features的时候，那么我们就称作多变量线性回归(Multivariate Linear Regression)。本小节主要讲了一些符号表示notation，如下：
通常x(i)表示的是一个vector，这个vector中的数据是第i行的样本的features
之后，我们的假设h就变成了如下形式：
通常，我们还会假设x0为1，这时就可以如下形式表示假设：
通过这种方式，我们的θT就是一个1x(n+1)的矩阵，而x(i)就成了一个(n+1) x 1 矩阵(或者说vector)，这样它们就可以方便的相乘。所以通常我们都会把x0设为1，并放入到x的vector当中。
Gradient Descent For Multiple Variables
多变量梯度下降其实跟之前的梯度下降非常类似，只不过原先只需求解θ0和θ1，现在我们需要求解θ0....θn
看下多变量情况下的梯度下降求解过程：
更简洁的表示形式如下：
直觉上理解下这个公式，我们这个梯度下降的求解过程就是要寻找J(θ)的最小值，也就是要去找h(θ)与y之间距离最小的函数，而这个公式中的在求解合适的θ时，除了计算h(x) 与y的差，还会乘上一个权重，这个权重就是xj，不同的θj，其下降的幅度是受其权重，也就是xj影响的。这里是我的理解，如有不对，请指正。
再给出一个单变量和多变量梯度下降的对比：
Feature Scaling
首先理解一下范围(scale)的概念，这个是指某个特征的取值范围，比如样本的房屋尺寸，假设尺寸范围是从10-2000，那么其scale就是(10-2000)
而当多个feature其取值范围差距特别大时，梯度下降会非常慢，如下图左边的图：
当我们如图右所示除以一个数值，使得特征值的范围限定在一个较小的区间时（本例是限定在0，1区间），那么梯度下降就会非常迅速。
这就引入了一个新的概念Feature Scaling(有人翻译做特征缩放)，Feature Scaling就是要调整feature对应的取值范围（注意计算的时候，每个样本的feature value都需要做对应的调整），从而可以加速梯度下降。直观上理解就是把原本极为陡峭崎岖的山头改成了平缓的山头，这样下山更快。
通常我们可以更一般化的使用mean normalization（有人翻译做均值归一化）的方式进行Feature Scaling，如下：
其中μ表示mean(均值，就是我们通常说的平均值）
S可以用(max - min)这个范围值，也可以使用标准差σ(standard deviation).
关于均值，标准差的概念请参考《统计学基础一》
根据目前的理解，做一个脑图表示下不同feature scaling
目前在网上看到的资料有所不同，其两种归一化方法，一种叫min-max Scaling，其减的不是均值而是最小值，然后再除以最大值和最小值之差；另外一种是叫Z-score standardization，就是标准差那种方式。具体可以参考这篇文章。另外需要注意的是，在预测的时候，输入数据需要做同样的处理，即使用同样的均值和标准差
Learning Rate
这节课Andrew主要讲了他是如何选择learning rate的。
之前的课其实已经讲过当learning rate 𝑎过大的时候可能会导致J(θ)越来越大，或者过小的时候，导致梯度下降的非常慢。这里重点讲了怎么去debug，Andrew是通过J(θ)与迭代次数(No. of iterations)之间的函数图来判断𝑎取值是否合理，如下图是一个正常的梯度下降时，J(θ) 和No. of iteration的关系图：
这幅图的纵坐标是J(θ)的值，横坐标是迭代次数。也就展示了随着迭代次数的增长，J(θ)有没有下降。
Andrew提到我们也可能通过一个自动化的方法来测试是否收敛，如下图：
但是，找到一个合适的threshold是非常难的，因此，Andrew还是建议使用关系图的方式来看learning rate是否合适。
当𝑎过大时，其关系图可能如下图所示：
Andrew给出的建议是通常会选取一系列的值，每个值都是倍数关系，比如10倍，然后再去测试，找到那个边界的𝑎值，通常可以选取能够收敛的最大的𝑎值，或者找一个𝑎，让其小于不能收敛的那个𝑎边界值，通常可以找到比较好的𝑎
Features and Polynomial Regression
这一小节主要将了一个概念叫Feature Choice, 所谓Feature Choice，即我们对待一个feature，实际可以通过不同的方式来使用它，比如房屋尺寸，假设我们的初始Feature是frontage和depth，我们可以直接使用它们作为Feature，但也许会使用它们的乘积size。当我们选择不同的数据的使用方式时，也许我们会取得更好的效果。
同样是size，我们可以使用size的平方，或者立方，或者1/2次方。通过不同的方式使用size，也就是所谓的Feature Choice。通过使用更好的Feature Choice，我们的h(x)可以更好的拟合实际情况，Andrew课堂上讲到会有自动获取合适算法的方法，不过此小节还未讲到。
另外，当使用不同的feature choice时，scale范围可能会差距非常大，所以Feature Scaling就会变得非常重要，如下图所示：
关于polynomial的解释，引用自wiki：
In mathematics, a polynomial is an expression consisting of variables (also called indeterminates) and coefficients, that involves only the operations of addition, subtraction, multiplication, and non-negative integer exponents of variables
在我们的例子中，size就是variable, θ就是coeficient，也就是我们通常说的parameters，且variable的指数只能是正整数，在我们的例子中只有平方和立方
视频中Andrew说到可以通过算法自动选择feature choice，即选择是否使用平方还是立方或者其它，但是这里没有讲具体是什么算法
Computing Parameters Analytically
Normal Equation
此小节Andrew主要讲了另外一种最小化J(θ)的方法，就是normal equation。normal equation的想法主要是基于微积分的知识，即当我们想要求一个使得J(θ)最小时的参数，只需要设其导数为0，然后通过这个公式来求解θ，如下图所示：
最重要的是通过下边这个方程求出对应的θj：
...部分实际是求导，然后代入等于0的方程，在计算出θ值，注意这里是针对每个θj都需要类似的计算。最终，我们可以得到如下方程，这个就是
normal function
其中，X代表的是包含x(0)样本的矩阵，y是样本输出的vector，如下图所示：
在Octave中，如果要计算上述的normal equation，可以使用如下方式：
pinv(x'*x)*x'*y
normal equation的方式和梯度下降的方式相比较，各有适用的场景，其比较如下表所示：
总的来说，normal equation适用于Feature数量较少时(一般不超过10000)，而且只适用于特定的算法(如线性回归算法），其好处是无需花费时间去选择learning rate，也不需要做feature Scaling，也不用迭代，对于n比较小的情况，可以非常快速的计算出θ。而梯度下降适用于几乎所有的算法，而且对于n比较大时，它的时间复杂度要好于normal equation，所以很多情况下我们还是会使用梯度下降
Normal Equation Noninvertibility
上节我们已经知道了normal equation如下：
但是，我们也知道并不是所有的矩阵都存在逆矩阵（Singular and degenerate matrix是不可逆的）
当我们使用octave做计算的时候，其提供了两种类型：一种以pinv，即所谓pseudo-inverse；另一种是inv。其中pinv无论矩阵是否可逆都可以给出正确答案。
一般来说，没有逆矩阵，可能是出现了如下两种情况：
- 重复的feature。比如房屋尺寸x1 使用了平方米，x2使用了平方英尺，实际上是一个feature，它们之间存在确定的关系。这种情况会导致矩阵不可逆。
- feature太多。当feature特别多的时候，以至于n>m，这时也可能出现不可逆的矩阵。这种情况下，我们可以delete some features or use "regularization"
Octave/Matlab Tutorial
Basic Operations
基本数值运算
此小节主要讲了Octave的一些基本用法，包含基本的加减乘除运算，还有逻辑运算等。这里只说下跟其它编程语言不同的地方：
- 次方运算
2^6 %在其它程序语言中这个^符号可能代表异或运算，但在Octave中代表次方运算，本例是2的6次方
64
- 非等判断式
1 ~= 2 %其它程序语言一般使用!=, 而Octave使用~=
1
- 格式化输出
a = pi; %带有分号，可以使得不输出a的结果
disp(sprintf("5 decimal: %0.5f", a)); % 类似C语言的格式化输出
5 decimal: 3.14159
矩阵
- 基本操作
x = [1 2 3; 3 2 1]
x =
1 2 3
3 2 1
- 初始为0的矩阵
zeros = zeros(2, 3)
- 初始为1的矩阵
one_matrix = ones(3, 2) %生成一个3x2的数值为1的矩阵
one_matrix =
1 1
1 1
1 1
- 初始为随机值的矩阵
r = rand(2, 3) % 生成一个2 x 3的矩阵，数值为分布在0~1之间的随机数
r =
0.34653 0.74572 0.80101
0.65980 0.17789 0.93653
randn(3, 5) % 这里生成的是一个3 x 5矩阵，矩阵中的数值符合高斯分布，且平均值为0
ans =
-1.5018775 -0.1022936 1.6814589 -0.4514752 -0.5400882
-0.5453408 0.6493006 -1.1760725 -0.3327142 -1.2632034
-0.0028388 -0.3264883 -1.5950108 -0.3917801 1.5848447
- 单元矩阵identity matrix
i = eye(4) % 生成一个4x4单元矩阵
i =
Diagonal Matrix
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
- 特定步长的一维矩阵
x = 1: 6 % 通过: 来表示从1到6的范围，默认步长为1
x =
1 2 3 4 5 6
x = 1:0.5:6 % 步长为0.5
x =
Columns 1 through 10:
1.0000 1.5000 2.0000 2.5000 3.0000 3.5000 4.0000 4.5000 5.0000 5.5000
Column 11:
6.0000
Moving Data Around
此小节主要讲了如何从文件中load数据到内存并赋值给变量，以及如何将相应的数据保存到文件中；以及如何切割、组合矩阵等常用的Octave指令
- load and save data
load filename.dat %将filename.dat中的数据赋值给与文件名同名的变量filename，并且是一个矩阵
y = [1; 2; 3; 4; 5]
save filename.mat y; %将y矩阵存储到filename.mat文件当中，以二进制的形式存储
save textfile.txt y -ascii; %这里是以ASC2的编码存储为文本文件
- 常用指令
%size 返回一个1 x 2矩阵表明某个矩阵的维数
%length 返回longer dimension，一般用于vector
who %可以查询当前namespace有什么变量
whos %可以查询当前namespace的所有变量，并列出更详细的信息
clear y%用于清除当前namespace中特定variable或者全部variables
x = zeros(4, 5);
size(x)
ans =
4 5
length(x)
ans = 5
- 分割与组合
y = priceY(1:2) %取priceY vector中1~10项item
y= A(1,2) % 这里A是一个matrix，注意区别，这里中间是逗号，是取index为1，10的item的值
y = A(2, :) % 获取A matrix中第二行的所有element
A = [1, 2, 3; 2 3 4; 4 5 6];
A = [A, [2; 3; 1]] %注意这里是逗号，或者空格
A =
1 2 3 2
2 3 4 3
4 5 6 1
B = [A; [3 3 3 3]] %注意这里是分号
B =
1 2 3 2
2 3 4 3
4 5 6 1
3 3 3 3
Computing on data
- 常见的矩阵计算
A * B
A + B
1 ./ A %句点符号表示针对每一个element进行计算，这里是说1 除以每个element of A
log(A) % 取A的对数
exp(A) % 取e为底的指数
abs(A) % 取绝对值
- max
A = [1; 3; 5; 7; 9];
max(A)
ans = 9
[val, ind] = max(A) % 这里通过此种方式即返回最大值value，也返回其对应的index
val = 9
ind = 5
% 另外，如果A是一个矩阵，那么max返回的是column的最大值，即A如果是一个mxn的矩阵，那么会返回n个最大值
octave:60> A = magic(3)
A =
8 1 6
3 5 7
4 9 2
octave:61> max(A) % 这等价于max(A, [], 1)
ans =
8 9 7
% 我们也可以取row wide的最大值
octave:62> max(A, [], 2)
ans =
8
7
9
- 逻辑运算
find(A < 5) %element逐个比较，返回符合条件的element的index
ans =
1
2
- 其它函数
% prod 是所有元素的乘积
A = [1; 3; 5; 7; 9];
prod(A)
ans = 945
% sum 是所有元素的和
sum(A)
ans = 25
% floor, ceil 是所有元素分别取floor或者ceil值
A = [0.6, 1.3, 2.2, 3.8];
floor(A)
ans =
0 1 2 3
ceil(A)
ans =
1 2 3 4
Plotting Data
octave:1> t = [0:0.01:0.98];
octave:2> y1 = sin(2 * pi *4 *t);
octave:3> plot(t, y1); %第一个参数是横坐标是一个1x99 matrix，第二个参数是纵坐标也是一个1x99 matrix
画出的图如下：
其它常用命令：
hold on; % 将不同函数画在同一个图上的时候使用
xlabel("time");
ylabel("value");
legend("sin", "cos");
title("my plot");
print -dpng 'myPlot.png';
close;
subplot(1, 2, 1); % 将图分成1 x 2维的格子，这里先取第一个格子作图
axis([1, 2, -1, 1]);
a = magic(9);
imagesc(a), colorbar, colormap gray; % 此处是三个命令先后执行，可以生成如下所示的图形
Control Statements
控制语句
Octave的控制语句类似shell脚本，即每个控制块都需要end;来结尾.
与其它语言稍有不同的是for循环如下：
% for循环使用类似python range的手法，只不过换成了等号
for i = (1:10), v(i)=i ^ 2; end; %注意在v(i)=i^2; 这句后边分号.
定义函数
我们可以在同名文件中定义函数，如下：
%文件名为：squareThisNumber.m
function y = squareThisNumber(x) % y is return value, x is parameter, squareThisNumber is function name
y = x ^ 2;
之后我们可以在该文件的同一个目录下引用该function
squareThisNumber(5);
25
我们也可以将该目录添加进Octave path当中，这样不论在什么目录下，Octave都可以搜索到该文件和函数。
addpath("filepath");
Vectorization
此小节是这周课程的难点所在，关键是要理解怎么样向量化vectorization的。
先看下h(x)的向量化
可以看出当我们使用向量来计算的时候，可以非常简单。注意这里是针对一个样本的计算。
然后我们来看下梯度下降时，如何向量化
vectorized之后的公式如下：
注意：X为大写，表示样本的mx(n+1)阶矩阵，θ和y均为向量，θ为n+1阶，y为m阶。
