从0开始搭建产品经理AI知识框架:机器学习2方法篇

上篇内容介绍关于机器学习一些基础概念的理解,今天深入的介绍机器学习的各种方式,以及在产品中的有哪些应用。

机器学习都有哪些学习方式?

涉及到机器学习相关知识:

  • 监督学习:需要“标签”当老师,明确要预测什么。
  • 无监督学习:不告诉机器正确答案,让机器自己学习,给出结果。
  • 半监督学习:训练的数据,只有一小部分是标记过的,大部分是没有标记。
  • 强化学习:通过反馈,边实践边学习。
  • 迁移学习:在某个垂直领域训练完成后,移致去其他相关领域调优发挥作用。

监督学习

什么是监督学习:

  • 概念:监督学习就是通过样例给定输入与输出,让程序学会一些通用的规则,这样对于需要预测的数据,得到输出。
  • 诠释:有一个明确预测的目标,比如:预估房价,给予机器大量的有标签的数据,以及最终的销售价,来训练这个模型。

监督学习主要解决的是两类问题:

  • 回归问题:

    • 概念:预测结果是连续的,意味着我们尝试将输入变量映射到一些连续函数。
    • 举例:如预测房价的例子,通过大量输入输出数据,以及各种房屋类型,环境等标签,训练模型后,输入新的数据,既可预测房价。
  • 分类问题:

    • 概念:预测结果是离散的,意味着我们尝试将输入变量映射到离散类别。
    • 举例:如芒果的例子,同样通过大量输入输出数据,包括芒果,颜色,大小,形状,以及甜度,成熟度等标签,当输入新的数据,机器计算出属于这个芒果是在吃,还是在不好吃的分类里。

监督学习主要涉及到的算法模型如下:

  • 线性回归模型(Linear Regression)
  • K-近邻算法(k-Nearest Neighbors,KNN)
  • 决策树(Decision Trees)
  • 朴素贝叶斯(Naive Bayesian)
  • 逻辑回归(Logistic Regression)

个人建议产品经理对于算法重视,初期知道解决的是什么问题即可,不要从学习的视角去深入,而是实际遇到问题,遇到问题时候再研究。

无监督学习

什么是无监督学习:

  • 诠释:无监督学习就是不给数据提供标签,由程序自动对数据进行聚类、关联、降维等工作。
  • 诠释:我们拥有大量的数据,但是不知道答案,需要用无监督学习的方法,让它们根据某些特征自动分成若干组,从而找到数据中存在的价值。

无监督学习主要解决的三类问题:

  • 关联

    • 概念:为了发现各种现象同时出现的概率。
    • 举例:经典例子,男人买啤酒和买尿布的关联性非常高,超市把啤酒和尿布放在一起,从而提高业绩。
  • 聚类

    • 概念:把样本分堆,使同一堆中的样本之间很相似,而不同堆之间的样本就有些差别。
    • 举例:Google新闻,每天会搜集大量的新闻,然后把它们全部聚类,就会自动分成几十个不同的组(比如娱乐,科技,政治......),每个组内新闻都具有相似的内容结构。
  • 降维

    • 概念:降维意味着减少数据集中变量的个数,但是仍然保留重要的信息。主要作用是压缩数据与提升机器学习其他算法的效率。
    • 举例:房价包含房子的长、宽、面积与房间数量四个特征,也就是维度为4维的数据。而面积=长 × 宽,通过降维算法我们就可以去除冗余信息,即从4维的数据压缩到2维

无监督学习主要涉及到的算法模型如下:

  • K 均值算法(K-means)
  • 自编码(Autoencoding)
  • 主成分分析(Principal components analysis)
  • 随机森林(Random forests)

同理,解决实际问题中,再深入到算法里提升自己的认知。

半监督学习

什么是半监督学习:

  • 概念:使用大量的未标记数据,以及同时使用标记数据,来进行模式识别工作。
  • 诠释:大概意思就是,监督学习与无监督学习相结合的一种学习方法,介于两者之间。

半监督学习解决问题:

  • 相比监督学习:节约人力成本,提高投入产出比。
  • 相比无监督学习:可以得到分配更高精度的模型。

具体适用场景的举例:

  • 例如:视频网站上有几百万的视频,但其中只有几十万的视频有标签,如果把剩下几百万视频都打上标签,工作量和成本是巨大的,而用无监督的方法,在很多情况下精度会很低,所以使用半监督的方法,可以在节省人力的情况下,得到分类更高精度的模型。
  • 例如:垃圾信息过滤,一般的方法是监督,需要大量的语料标注,告知系统哪些可能是垃圾信息。但用户产会生了大量的信息,且垃圾信息的发布者也在调整策略,无法进行实时标注,这里可以用半监督的方法,根据垃圾信息发布者的特殊行为,发布内容等找到相似性,进行过滤。

强化学习

什么是强化学习:

  • 概念:强化学习就是智能系统从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大。如果Agent的某个行为策略导致环境正的奖赏(强化信号),那么Agent以后产生这个行为策略的趋势便会加强。
  • 诠释:针对没有标注数据集的情况而言,通过反馈来区分是否越来越接近目标。比如常见一个猜价格的游戏,你来猜这个东西值多少钱,别人告诉你猜的价格是高了还是低了。
  • 例如:阿尔法狗,自己跟自己下围棋,通过一盘盘的胜负,自我学习、自我修炼、自我改正,然后一个一个迭代,自己跟自己下了1000万盘之后,完全就是一个新的狗狗。

强化学习和监督学习的区别:

  • 监督学习总的来说是一个开环的学习。

    • 通常,监督学习任务会从环境中收集一批数据;
    • 接着我们用监督学习算法从数据中产生模型;
    • 最后就可以用这个模型来做预测了。
  • 但是对于强化学习来说,它面对的是一个闭环的学习。

    • 首先,也是从环境中产生数据;
    • 用强化学习的算法从数据中产生模型;
    • 还要把模型放回到环境中运行,接着又会产生新的数据出来,再重复以上步骤。

强化学习的应用:

  • 例如:训练机器臂,把一个指的位置的物体,拿到另外一个指定的位置上,这里你不告诉它怎么做,让他通过一遍遍的训练,找到最佳的移动物体路径。
  • 例如:个性化推荐,当推荐你某个分类内容时候,你会点击或查看,它就会根据你的行为,推荐给你更多该分类的内容。
  • 例如:无人机操作,指定你的无人机进行某种动作飞行,通过强化学习来控制高度,速度,姿态等等,根据奖励让它自己学习策略,来达到目的

迁移学习

什么是迁移学习:

  • 概念:一般就是指要将从源领域学习到的东西应用到目标领域上去。
  • 诠释:比如你会骑自行车,你会控制车把,刹车,控诉,躲避,踩踏,平衡感等等,然后让你骑摩托车时候,你也可以轻易上手,逐渐适应速度和动力上的特殊性。

迁移学习应用:

  • 模拟中学习:不管是无人车,还是机械臂,在现实中学习耗时且昂贵。通过模拟的方法,在虚拟中完成部分的训练,迁移到现实中,当然这种方法存在很多问题,毕竟虚拟世界无法做到跟现实一模一样,比如物理引擎,但是作为初始训练是可行的。
  • 适应新领域:在线推荐系统中利用迁移学习,例如影像资料领域做好一个推荐系统,然后应用在稀疏的、新的垂直领域书籍资料里。
  • 跨语言传播知识:从一种语言学习然后将所得知识应用于另一种语言,是迁移学习的另一个重要应用。比如英语训练之后,迁移到印度本土语言上。

以上就是本人对于机器学习中各种学习方式理解,而其中的「深度学习」部分会单独谈谈自己理解。

AI PM认知系列的相关阅读:
第一篇:从0开始搭建产品经理的AI认知体系
第二篇:产品经理的AI知识框架:计算机视觉
第三篇:产品经理的AI知识框架:语音识别与合成
第四篇:产品经理的AI知识框架:机器学习1基础篇

作者:兰枫,前腾讯游戏,新浪微博PM,Elex产品总监,连续创业者。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容