机器学习入门——cost function

跟随吴恩达的coursear课程学习。
入门第一课是理解最简单的线性回归问题。

先上问题:通过房子的大小(living area -> x)来预测房价(house price -> y)。
同时,给予m个案例,这里的m就是样本(training set)个数。

QQ20180228-211719@2x.png

为了生动形象,这里的行数就是样本数(m)
左边一列是房子大小(x)
右边一列是对应的价格(y)

现在我们可以得出一个假设函数(hypothesis function):
hθ(xi) = θ0 + θ1*x,该函数就是假设的面积对应的房价。
hθ(xi) 代表了房价,x就是房子面积。

现在需要求出θ0和θ1的值来求出房价,而hθ(xi) 的值需要接近样本的房价,我们可以用 hθ(xi) 和 样本中的房价做比较,用最小二乘法来计算。
可以得出(cost function):


20170224091950219.png

现在我们考虑单变量的情况,即θ0=0,这样可以更简单的理解J(θ0,θ1)函数。
hθ(xi) = θ1*x

下图就可以更加直观的理解cost function的推导。

R2YF5Lj3EeajLxLfjQiSjg_110c901f58043f995a35b31431935290_Screen-Shot-2016-12-02-at-5.23.31-PM.png

坐标系中的蓝线就是假设函数,现在计算假设的房价和样本的房价的差距,就是(hθ(xi)-yi)^2,现在我们有m个样本,即需要求和,再除以m是取平均,除以2暂时还没理解,在以后发现用处后再来补充。

现在,我们画出hθ(x)和J(θ0,θ1)的图像

_B8TJZtREea33w76dwnDIg_3e3d4433e32478f8df446d0b6da26c27_Screenshot-2016-10-26-00.57.56.png

左图是假设函数,右图是代价函数
在最理想的状态下,我们的假设函数刚好在样本上,那么J(θ)的值计算得出=0
但是,我们不可能一开始就能从样本数据直接得出θ1的值,所以,正常情况下我们会有这样的函数,如下图:

8guexptSEeanbxIMvDC87g_3d86874dfd37b8e3c53c9f6cfa94676c_Screenshot-2016-10-26-01.03.07.png

我们把θ1猜测成0.5,那么,现在需要计算J(θ1)的值为每个样本距离函数的距离的平方/(2m)。
J(θ1)=(0.25+1+2.25)/(2
3)=0.583333333
那么在右图就是对应的蓝色叉叉的位置

现在,我们就同理,切换不同的θ1的值,计算出J(θ)的值
如图:


J(θ).png

咦,可以看出是类似一个2次函数的图像,从图像上看,θ1=1时,是假设的房价最接近样本的时候,那么现在,我们可以认为假设函数得出的值是最靠谱的。

双变量情况
上面考虑的只是单变量情况,现在,我们来求出双变量θ0,θ1的值


QQ20180301-110254@2x.png

因为是两个变量,所以J(θ0,θ1)的函数不是一个平面图可以表达的,他是一个三维图

双变量.png

我们现在把J函数“压扁”,就得到一个θ0和θ1的图像,上图右边的
在右图随机取一个点,看到左图hθ(x)的值。

我们慢慢向圆心靠近


20170224092414003.png

函数与样本的拟合慢慢开始接近
当θ0,θ1在圆心的时候


20170224092444275.png

假设函数和样本值的拟合度最高。可是现在我们是用肉眼来寻找θ0,θ1的值,而且在实际问题上,可能无法画出代价函数J(θ0,θ1),下一篇将寻找求出θ0,θ1的方法。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容