[Week 2] Machine-learning Notes 5 ——Multivariate Linear Regression(多特征量多元回归)

这次引入的是一个更为有效的线性回归形式,这种形式适用于多个变量或者多特征量的情况。
用n来表示特征量的数量。如下所示,引入新的规范:

引入新的规范

一、多元假设方程的简化

方便起见,如果将x下标0的值定义为1,特征向量x和θ即均为n+1维的向量。
所以h也可以表示为θ转置乘以X。(注意,这里的这个概念别和Note 4中的数据搞混了,求得数据的总量仍然是需要再次利用,X*theta矩阵)

这取决于你对向量内积有多熟悉,如果你展开θ转置乘以X,那么就得到 θ0,θ1直到θn。这个就是θ转置,实际上,这就是一个 n+1乘以1维的矩阵,也被称为行向量 。用行向量 与X向量相乘,X向量是 x0,x1等等,直到xn 。
因此内积就是θ转置乘以X就等于这个等式

这就为我们提供了一个表示假设的更加便利的形式,即用参数向量θ以及特征向量X的内积,这就是改写以后的表示方法,这样的表示习惯就让我们,可以以这种紧凑的形式写出假设,这就是多特征量情况下的假设形式,起另一个名字,这就是所谓的,**多元线性回归 **

总结:一般设计到有规律的并行计算(或者for循环计算),均可以使用矩阵相乘来替代。

总结

多元线性回归中的梯度下降算法

**多元线性回归中的梯度下降算法**

观察左边的式子,很容易推倒出右边多元状况下的情形。或者再次对代价函数J进行微积分,也能得到这样的式子。

梯度下降算法中的实用技巧

一种让梯度下降的速度变得更快的技巧:

1. 特征缩放(feature scaling)

2. 均值归一化(mean normalization)

从而让梯度下降收敛所需的循环次数越来越少,本质都是为了避免下图左边这种情况的发生:

特征缩放

其中:分母是特征量的取值范围(Max-Min)

均值归一化与特征缩放结合

其中:分子的减数是特征量的平均值

梯度下降算法中的实用技巧

3 . Debuging的技巧:应该如何确认梯度下降是正常工作的
4 . 如何选择学习率α。

绘制代价函数J(θ)随着迭代次数变化的图像,可以让你弄清楚每一步以后到底发生了什么:
如果梯度下降算法正常工作,那么每一步迭代之后J(θ)的值都应该下降
只要学习率足够小,那么代价函数J(θ)在每次迭代之后都应该下降。
但是如果学习率太小,梯度下降算法又可能会收敛的很慢。

学习率α的优化

总结:
具体来说,当运行梯度下降算法时,通常会尝试一系列α值,所以在运行梯度下降算法时,请尝试不同的 α 值。

比如0.001, 0.01 这里每隔10倍取一个值然后对于这些不同的 α 值,绘制 J(θ) 随迭代步数变化的曲线,然后选择看上去使得 J(θ) 快速下降的一个 α 值,事实上通常并不是隔10倍取一个值。我通常取的,是这些 α 值:

先取0.001 ,然后将学习率增加3倍,得到0.003。然后这一步从0.003到0.01又大约增加了3倍,所以在为梯度下降算法选择合适的学习率时,大致是按3的倍数来取值的 。所以我会尝试一系列α值 ,直到我找到一个值它不能再小了,同时找到另一个值它不能再大了,然后我尽量挑选,其中最大的那个 α 值,或者一个比最大值略小一些的合理的值。而当我做了以上工作时,我通常就可以得到一个不错的学习率。如果也你这样做那么你也能够为你的梯度下降算法找到一个合适的学习率值

5 . 选择特征的方法以及如何得到不同的学习算法
多项式回归( polynomial regression)
熟悉常见的函数图像的形式,用多种形式的回归方程来拟合。

多项式回归



参考链接: https://blog.csdn.net/kwame211/article/details/81530820

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容