课程的开始阶段都比较简单,今天学的唯一值得说一说的是梯度下降法。
梯度下降法中的“梯度”是一个类似于导数的概念,可以将其看作对高维函数的求导,网课老师为了便于理解用了低维函数,所以我的日记也只能用低维函数。
机器学习算法的目的一般都是寻找最优解,而梯度下降就是寻找最优解的。
在一个函数图像中,最值的地方求导应当是等于0的,但是随机选择一个点,这个点的导数就等于0的概率很小,一般情况都要选定一个超参数 “负η”,用它和随机点求导的结果相乘,乘完了之后就会过渡到一个距离最优点更近的点,然后再继续这个步骤,直至找到那个最优点,也就是导数为0以后为止。
当然有时候会发现乘来乘去,导数一会负一会正,一直找不到最优点,这时候很大可能就是超参数 “η” 的值定的太大了,步子迈得太大,走过来走过去也到不了最优点,只能是和最优点一次次地擦肩而过。