很久没有上课了, 感觉有点小累. 有这种感觉的不仅仅只有我, 还有上课的老师. 毕竟是把一个学期的课压缩成了一周. 这一周的课程是以机器学习和图形图像为主题的课程. 老师来自圣地亚哥. 这位老师的很多理念我很认同. 比如: 我们学技术的就应该了解算法的细节,仅仅去调参数去解决是没有任何意义的. 有时候课下听他闲聊的时候我也觉得相见恨晚.
贴上它给出的作业以及我的作业报告:
HomeworkAssignment 1
实验环境：
MacOS，Matlab2014b ;
Part
I. Unit Price Prediction
这是一个线性回归的问题；菜品单价的算法预测的思路如下：
已知，
step1,随机生成每份菜的单价 ,
step2,随机生成每份菜的数量
step3,计算当前情况下的估计的消费总额以及实际的消费总额
PLACEHOLDER部分的算法：
%%%%PLACEHOLDER#start
%calculate delta values
delta =sum(meal.*estUnitPrice) -cashierPrice ;
%update unit prices
fori= 1:3
estUnitPrice(i)=estUnitPrice(i) - alpha*delta*meal(i)
end
%%%%%PLACEHOLDER#end
二、验数据以及结论
修改一下参数获得的实验数据以及结论：
%PLACEHOLDER#start: set your own stopping conditions and
learning rate
%condition 1: maximal iterations, stop.2000000
MAX_ITERATION=100000;
%condition 2: if the difference between your prediction and the
cashier's
%price is smaller than a threshold, stop.
MIN_DELTA= 0.01;
% learning rate
%alpha=1e-3;0.000010.0005
alpha=0.0001;
%PLACEHOLDER#end
2.1MAX_ITERATION
当alpha=0.0001，MIN_DELTA=0.01时，仅修改MAX_ITERATION的结果如下表所示。
表1.alpha=0.0001，MIN_DELTA=0.01时，MAX_ITERATION=100000~ 5000
2.2 MIN_DELTA
当alpha=0001，MAX_ITERATION= 100000的时候，仅修改MIN_DELTA
的结果如下表所示。
2.3 alpha
当MIN_DELTA=0.001，MAX_ITERATION= 100000的时候，仅修改MIN_DELTA
的结果如下表所示。
自己发现的问题：
1.如果发上述的每次获取的最佳参数组合在一起会不会更好一些呢？
实际上会比设想的要好一些。以训练次数为例：经过以上的实验数据采集我们知道，当alpha=1e-3，MIN_DELTA= 0.000000001，MAX_ITERATION=3000的时候，estUnitPrice =（20.000025.00008.0000），estimation error:9.553467e-08。我把每次迭代的误差绘制成以下图表。横坐标的单位是迭代次数，纵坐标的单位是误差。我们从下图中可以得知：训练到1000次左右的时候，我们就没有必要去再次训练了。也就是说可以得到一个更加省时减少计算次数的模型。
图4.最佳参数组合中，每次计算的误差
