神经网络学习
任务一 数据可视化
在本次编程练习中，我们使用编程练习三种的数据集。除此之外，我们随机从数据集中选取100个样本，并将其可视化。
load('ex4data1.mat');
m = size(X, 1);
% Randomly select 100 data points to display
sel = randperm(size(X, 1));
sel = sel(1:100);
displayData(X(sel, :));
由于displayData()函数早已准备好了，因此我们只需在ex4.m文件中直接调用即可。其运行结果如下：
任务二 模型表达
与编程作业三一样，我们采用如下模型：
其中，输入层的激活单元数为400个，隐藏层的激活单元数为25个，输出层的激活单元数为10个。（注：输入层和隐藏层均不包括偏置单元。）
任务三 向前传播算法和代价函数
在该任务中，我们不考虑正则化问题，只考虑如何使用向前传播算法计算代价函数J(Θ)。
步骤一：利用向前传播算法计算假设函数hΘ(x)
% 假设函数h
X = [ones(m, 1) X];
a2 = sigmoid(X * Theta1');
a2 = [ones(m, 1) a2];
a3 = sigmoid(a2 * Theta2');
步骤二：根据代价函数J(Θ)的公式，计算代价函数J(Θ)
% 代价函数J
Y = [];
E = eye(num_labels);
for i=1 : num_labels
t = find(y == i); % 返回y中等于i的元素所在的行数
Y(t, :) = repmat(E(i, :), size(t, 1), 1);
end
cost = Y .* log(a3) + (1 - Y ) .* log(1 - a3);
J= -1 / m * sum(cost(:));
注：在计算代价函数J(Θ)之前，我们需要将向量y映射成一个新向量Y，我们要保证向量Y中只包含0和1。这是因为逻辑函数g(z)的特性所决定的，当g(z) ≥ 0.5时，y = 1；当g(z) < 0.5时，y = 0。
例如：我们将0~9分类则向量y为：
任务四 正则化的代价函数
正则化的代价函数J(Θ)的公式为：
注：对代价函数J(Θ)进行正则化时，我们无需考虑偏置单元。
% 假设函数h
X = [ones(m, 1) X];
a2 = sigmoid(X * Theta1');
a2 = [ones(m, 1) a2];
a3 = sigmoid(a2 * Theta2');
% 代价函数J
Y = [];
E = eye(num_labels);
for i=1 : num_labels
t = find(y == i); % 返回y中等于i的元素所在的行数
Y(t, :) = repmat(E(i, :), size(t, 1), 1);
end
temp1 = [zeros(size(Theta1,1),1) Theta1(:,2:end)];
temp1 = sum(temp1 .^ 2);
temp2 = [zeros(size(Theta2,1),1) Theta2(:,2:end)];
temp2 = sum(temp2 .^ 2);
cost = Y .* log(a3) + (1 - Y) .* log(1 - a3);
J = -1 / m .* sum(cost(:)) + lambda / (2 * m) * (sum(temp1(:)) + sum(temp2(:)));
任务五 Sigmoid gradient
在逻辑回归（二）一文中，我们就已经了解了逻辑函数g(z)关于z求导的推导过程。
其中：
因此，我们只需在sigmoidGradient.m文件中补充如下代码即可：
g = sigmoid(z) .* (1 - sigmoid(z));
任务六 随机初始化
在此之前我们所使用的权重矩阵Θ都是我们事先准备好的。在该任务中，我们要对权重矩阵Θ进行随机初始化操作。
epsilon_init = 0.12;
W = rand(L_out, 1 + L_in) * 2 * epsilon_init - epsilon_init;
任务七 向后传播算法
本任务中，我们需要使用向后传播算法计算下降梯度，以便后续使用梯度下降算法或其他高级优化算法。（注：不考虑正则化。）
步骤一：我们先利用向前传播算法计算每一层的参数z和假设函数a，如此处，我们要计算出z(2)，a(2)，z(3)和a(3)。
% 隐藏层误差
delta_1 = zeros(size(Theta1));
% 输出层误差
delta_2 = zeros(size(Theta2));
for t = 1 : m
% step 1
a_1 = X(t, :)';
z_2 = Theta1 * a_1;
a_2 = sigmoid(z_2);
a_2 = [1; a_2];
z_3 = Theta2 * a_2;
a_3 = sigmoid(z_3);
步骤二：计算输出层的误差δ(3)。
% step 2
error_3 = zeros(num_labels, 1);
for k = 1 : num_labels
error_3(k) = a_3(k) - (y(t) == k);
end
步骤三：计算隐藏层的误差δ(2)。（注：不考虑偏置单元。）
% step 3
error_2 = Theta2' * error_3;
error_2 = error_2(2 : end) .* sigmoidGradient(z_2);
步骤四：计算误差Δ(l)。
% step 4
delta_1 = delta_1 + error_2 * a_1';
delta_2 = delta_2 + error_3 * a_2';
end
注：从步骤一至步骤四第一个for循环结束。
步骤五：计算代价函数J(Θ)的偏导数。
Theta1_grad = 1 / m * delta_1;
Theta2_grad = 1 / m * delta_2;
任务八 下降梯度检验
根据上图，我们可得：
由于，该部分代码早已准备好。因此，我们只需在ex4.m文件中调用即可。
任务九 正则化的神经网络
根据上图所示，我们只需将任务八中的代码修改为：
% step 5
Theta1_temp = [zeros(size(Theta1,1),1) Theta1(:,2:end)];
Theta2_temp = [zeros(size(Theta2,1),1) Theta2(:,2:end)];
Theta1_grad = 1 / m * delta_1 + lambda / m * Theta1_temp;
Theta2_grad = 1 / m * delta_2 + lambda / m * Theta2_temp;
任务十 Learning parameters using fmincg
该部分代码在ex4.m文件已经准备好了，代码如下：
% value to see how more training helps.
options = optimset('MaxIter', 50);
% You should also try different values of lambda
lambda = 1;
% Create "short hand" for the cost function to be minimized
costFunction = @(p) nnCostFunction(p, ...
input_layer_size, ...
hidden_layer_size, ...
num_labels, X, y, lambda);
% Now, costFunction is a function that takes in only one argument (the
% neural network parameters)
[nn_params, cost] = fmincg(costFunction, initial_nn_params, options);
% Obtain Theta1 and Theta2 back from nn_params
Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), ...
hidden_layer_size, (input_layer_size + 1));
Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), ...
num_labels, (hidden_layer_size + 1));
任务十一 隐藏层可视化
同样，ex4.m文件中该部分代码如下：
displayData(Theta1(:, 2:end));
其结果为：
任务十二 正则化参数λ的选择（选做）
在ex4.m文件中修改正则化参数λ的值和迭代次数即可。
