什么是迁移学习?
简单来说,迁移学习是一种具备强大“举一反三”能力的技术。
通过利用已经训练过类似的大型数据集的预训练模型,可以让拥有较小数据集或较少计算能力的模型获得最好的结果。
迁移学习不必从头开始,它通常可以比不使用迁移学习的模型使用更少的数据和计算时间,但达到更高的准确性。
AI神经结构搜索:与迁移学习相反的方法
迁移学习的基本原则是利用神经网络架构,对相似的问题进行经验推广:例如,许多图像具有各种各样的底层特征(例如角落,圆圈,狗脸或轮子)。
而神经架构搜索的基本原则恰恰相反,其认为,每个数据集都拥有一个让其表现最佳的独特架构。
当神经架构搜索发现一个新的体系结构时,你必须从头开始学习该体系结构的权重,而在迁移学习中,必须从一个预先训练的模型的现有权重开始。
未来新经济的重塑:
= AI + 产业 + 场景 + 数据
AI团队只能是自己的。
微软、阿里或者百度,提供的就像电力一样,是一种“智能力”,企业要把这种智能力转化成自己行业的算法。第三方不会知道企业的流程怎么才是最优秀的,好的做法应该是由第三方为企业提供最优秀的基础算法和充分的算力,企业自己把数据采集上来,培养自己的专家,当然这个专家也可以由第三方帮忙培养,但一定要了解行业经验、行业知识,结合自己的行业知识和经验来得出适合自己的算法。
企业在这个过程中可以源源不断地使用第三方提供的计算力,这种计算力的表现形式只是最基本的compute,就是说第三方会提供一些基础的算法,但是不可能帮助企业解决人工智能的问题,这方面企业一定要靠自己。
企业要培养自己的人才,但没有必要培养所谓算力的人才,因为算力是劳动密集型、资金密集型的;也不是要培养算法的人才,而是要培养利用算法的行业人才。
就像要拧螺丝,最终目的只是要把两个家具拧在一起,而并不是要螺丝和螺丝刀,没有必要自己去开个螺丝刀厂,只需要从德国买一个最好的螺丝刀过来拧上,就可以了。
数据中台团队通常需要包含以下角色:
业务专家团队:了解业务、梳理业务场景,确定数据资产与业务场景的一一对应关系,确定业务场景的优先级,为数据中台的建设提供依据。
数据工程团队:建设和维护数据中台,包括 ETL、数据采集,以及数据中台性能和稳定性保证,利用中台的工具采集、存储、加工、处理数据。
数据分析团队:分析数据价值、探索场景,生产更多的数据服务。
数据治理团队:梳理数据标准、构件数据安全和隐私规范,利用开源去中心化的数据治理工具(比如 atlas、wherehows)来围绕业务场景解决数据质量和安全问题。
智能算法团队:为数据分析、业务探索提供智能和算法工具。