第一节课：智能模型

一、什么是智能？

从自然或人工环境中感知和解析信息，提炼只是并运用与自适应行为的能力。

实现人工智能

    基石假设一

人类的思考过程可以机械化

How？》》》形式推理

形式推理：从真实前提推出真实结论的形式

    基石假设二

机械化的思考可以用工程化实现

（信息论&控制论）

神经学家发现大脑是后神经元组成的电子网络，其激励电平只存在“有”和“无”两种状态

现代二进制计算机

皮茨-麦卡洛人工神经元网络

最后一个疑问

如何判断机器拥有智能？

（图灵测试）

达特茅斯会议

学习或者智能的任何其他特征的每一个方面都应能被精确地加以描述，使得机器可以对其进行模拟。

第一个浪潮：黄金时代

搜索式推理：逻辑理论家

自然语言：STUDENT

人工神经元：感知器

（人们总是低估短期内的困难）

人工智能严冬（1874-1980）

模型局限

算法局限

难题之一：

计算复杂度呈指数爆炸（问题难度和计算难度）

难题二

机器缺乏常识（比如聊天过程中的语气，表达方式）

难题三

莫拉维克悖论（比如模拟人踢足球）

难题四

复杂问题建模困难

回归现实，回归逻辑基础

从逻辑进行形式推理

第二次浪潮（1980-1987）

专家系统：通往实在之路

规避XOR难题：反向传播算法

再次入冬：计算成本太高

I如何飞翔？

围绕AI的一系列重要思考：目标？假设？评估？

问题：

（人类科学和智能&自然演化（生物学），花了很多年做出了飞机，但是还是远远达不到自然演化成鸟的状态）

（人类研究这么多年人工智能，依然创造不出人，创造不出能踢足球的人）

人工智能是仿生，还是工程?

伪仿生工程（达芬奇之鸟）

原理不清，技术复杂，难以分析，制造

喷漆飞机

数学模型（简单但清晰，便于优化）

计算引擎（充分利用人类工程的成就，便于升级）

    👆问题：

是完全仿生，还是基于目标设计解决问题的机器？

第三次复兴：机器学习

第二节课：机器学习

为什么是现在？ 

数据优势：网络效应

因为网络效应，导致收集数据和产生数据都有大量规模，机器学习的资源及其丰富

软件优势：算法提升

基础算法有大量突破：深度学习，优化算法，统计推理算法等

硬件优势：计算能力

摩尔定律

机械狗可以自己学习，调整运动状态，学习运动

但是目前基础算法背后的逻辑究竟是什么，还是没有搞清楚。

（问题：算法被捣鼓出来了，但是究竟怎么算的人还是不知道？）

然而，背后的理论范式没有突破

及其学习只是战术胜利？

还是我们战略目标一开始就有问题？

难道？

AI的最初理想失败了（创造出人，或者强于人的物种）

AI的现实应用成功了（靠谱的，有用的，可用的应用型AI）（解决具体问题，帮助人提高效率，处理人处理不了的问题）

什么是学习？

将主体对环境的认知和反馈模式的程序化

（可以被固化，可以增长，可以被描述，可以传授给另外一个人）

人类学习什么？

对环境中变化进行预测的规则

对环境变化中进行操纵的方法

公司规章

制造流程

自然法则

价值观

学习》》《《推理

（学习和推理是相互作用的）

（人的行为分行为和动机，行为好理解，动机不好理解）

人类如何学习？

思维模型+刻意练习

什么是机器学习？

机器学习的关注点在于：如何建立一个能够自动提升体验的计算系统，以及什么是学习过程的基本法则。

机器学习过程：《P、T、E》

性能

任务

体验

机器如何学习

模型+数据+算法+设备

机器学习的流程

【图，三角循环】

环境》感知》决策》环境》感知》决策》

决策》环境：验证/实践

环境》感知：取样/反馈

感知》决策：建模/判断

感知：理解样本》用模型描述样本》用数据训练逼近目标函数

理解样本：样本长啥样，大量样本输入（比如看🐘）

用模型描述样本：根据样本的共性，建立一个模型，用来识别样本。

用数据训练逼近目标函数：把样本输入到模型中，根据模型识别样本，

感知的本质：用模型逼近现实

然后用现实训练模型

决策=“决”策

对or错、好or坏、是or否

决策的本质是划清边界

对丨错、好丨坏、是丨否

（增加判断维度，不好区分的东西，可能就更好区分了（比如如何区分南北方人，体型不好区分，加上口音可能就好区分了））

（听课有主干内容和举例，举例是帮助理解主干内容的，要抓住主干内容，自己思考例子）

机器学习的自反馈循环

决策》感知：验证/实践

    机器学习的模式：

监督学习、无监督学习、半监督学习、强化学习、迁移学习

有监督学习：告诉机器对错，给机器足够多的例子

无监督学习：不告诉你对错和标准，机器自动聚类，找到有共同特征的例子。（比如今日头条打阅读标签，比如通过监控系统找到小偷，比如金融反欺诈）

半监督学习：告诉你部分对错，给部分例子，其他机器学习，机器归类

强化学习：机器主动询问例子，询问标准，询问对错。对于机器不懂的例子，主动寻求外界帮助，寻求外部给予判断标准。主动去找，去更多地方找，找更多东西（探索VS利用；行动VS反应）

迁移学习：算法复用。通过以前学习的模型，将模型特征，迁移到其他事情上。

    怎样实现机器学习呢？

符号方法

连接学派方法

进化学派方法

贝叶斯学派方法

类推学派方法

【图，刑波老师对人工智能算法的分类】

（先把知识结构化，然后需要啥的时候就去哪里找，结构化类似你的书架，或者武器库。例子：）

神经元

生物神经元（有突触，可以和不同神经元连接，接受其他神经元的输入，接受输入之后，会对输入做判断并做出反应，然后再输出到其他神经元。）

人工神经元（感知机）

神经网络，多个生物神经元连接的网络

问题：啥是生物神经元，细致了解一下

神经网络模型：自适应的函数（60年代）

【图】

（👆算法的研究是通过人物生物的理解，通过数学公式的模仿）

神经网络2.0：卷积神经网络

将每次输入有部分重叠，这一层输入会包含上一层的部分输入，会是计算更精准，但计算量也更大了。（对神经网络算法进行了优化和精加工）

一边接受输入，一边处理输入

接受输入的时候，把输入的前因后果全部计算，且计算更多未输入的情况

激励函数：调节激活的程度

损失函数：判断函数收敛

合起来：深度神经网络

（算法是各种不同函数和算法的多次组合，各种函数可能在各环节多次利用，其中不同函数也有不同的权重（函数就像乐高的基本元素，组合成算法，算法中也包含算法））

深度学习：more is better？

隐含层里有什么？特征学习

直接从中间层，用更概括的表征机型学习

（人脸识别：拆分层级看，第一层是一些基本的颜色，表皮；第二层是眼睛，鼻子特征；第三层是连。初级特征，中级特征，高级特征。其实也是拆解到最基本逻辑单元，然后判断，归类，组合）

深度学习工具箱

符号化学派vs经验化学派

（让函数和算法自动组合，让不懂函数不太懂算法的人就能用算法进行深度学习）

从数据流图角度看神经网络

反向递归算法（算梯度）

一个自动微分计算机梯度的程序

从向前数据流图中自动退到出梯度流图

👆找到算法的流程（在哪用了啥函数，权重是啥）

存在的问题：在更多梯度的情况下，无法穷尽算法的逻辑

（比如在坑特别多的地方，你没办法用一次的计算算出所有坑的长啥样，但不耽误用）

深度学习真的是万能的？

魔鬼在细节中

虽然深度学习计算结果看起来是好的，但中间函数的计算逻辑、权重是否真的完全合理？说不好。或者说不能完全理解里面每个函数和权重，因为里面的算法路径是无法穷尽的。

逆向制造不包含对原理的了解，只有突然出问题了，你无法找到原因。

(特斯拉事故：如果突然出现一个图片系统无法识别，造成错误的判断，导致后果，你无法找到原因，也不知道为啥这个图片识别不了，不知道为啥针对这个无法识别的图像，做出了这样的判断)

（比如一个小孩子40岁做了总裁，你怎么确认是因为他小时候被培养了哪些素质导致最后成了总裁？无法确认。每个事情都可能拿来解释，但都无法确认）

（所以问头条的人，文章如何打标签，如何推荐，谁也不知道）

因果关系无法解释

“表现的分”的黑箱

并不能直接反应：边界的正确性、模型的可用性、随机性带来的方差

深度学习目前更像是炼金术，不像现代化学。

归回基础理论：从炼金术师变成化学家

（稳定的预期，理解其中的规则）

（卧槽，化学太牛逼了，把一个个东西归结成基础元素， 试验出其本质和与其他单元的反应，牛逼牛逼）

真正机器学习专家眼里的世界

【图，书架】

反例：过拟合

过渡训练，对于某种情况模型计算太准了，这个模型就无法复制了（复制到类似或者可延展的环境下）。在遇到新的情况的时候，可能会出现极端判断的情况。

【图，过拟合】

机器学习的范式：现代基石与形式

概率，统计和测度论

再生核希尔伯特空间，表示定律

信息论

因为现在深度学习过于完备，导致研究人员过于依赖，对底层知识没有认知，可能无法突破深度学习的边界

机器学习的范式：技巧

过拟合：

对其他事情也一样，对现有模型模式过于依赖，底层知识不了解，可能很难突破其边界，产生创新。

总结：什么是机器学习

理论和计算系统

针对复杂现实世界的数据，使用系统对数据的感知

【图，很重要】

多样的机器学习模式【图】

多样的模型和算法工具【图】

人工智能技术要素【图】

一个庞大的系统

从数据>任务》模型》算法》实现（团建）》系统》设备（硬件）

什么是好系统

集成数学框架

可以被全面的分析和表征

能借用人类的先验知识

能很好的泛化，并适应各种数据和领域

能自助，自动的运行

能被人类理解，感知，解释，重复

越学习发现自己越无知

越学习也越兴奋，发现世界真好玩

如何实现好的机器学习？

问题：人工智能嫩否替代人类

人工智能目前只能处理有明确规则定义，有边界的问题

人类的情感，人类面对不同问题时候的复杂思想，考虑背景做出的选择，人工智能目前很难模拟。

问题：生物计算机如何实现人工智能，人工智能的边界

生物计算机和量子计算机还在研发阶段，还未完全实现，是否可编程不知道

假设已经实现，且可编程。对计算速度和计算量可能会出现指数及提升。这只能解决计算量问题

目标定义，价值判断，任务界定。这是对人工智能更大的考验。

这些问题无法通过算力的加强来解决

人能提出问题，发现问题，对问题进行反问，提出问题是如何产生的，这还不知道。

问题：目前的人工智能，是否能制造人

为什么做AI的人一定要把制造人把人击败当做目标？

很多基本的问题还没解决，想这个干啥？（预测地震？航空？）

超过人？还需要很多阶段的提升

问题：

人类的先验知识，和深度学习的结合进展如何？

对于深度学习的可解释性，有啥突破？

目前进展都比较小，

现在可用深度学习解决的问题比较多，做解释性问题的人现在比较少

因果关系还是不可解释

对于人类先验知识的利用

整合人类知识和建模中间有很大技术鸿沟，人类知识的归类和数据驱使的建模方法暂时不太好联结。

问题：投资人工智能或创业，选择什么比较好

1、人：

创业团队是否得到了合适的训练，这很重要。这决定了是否能做成吹出的牛逼

如何求证团队的技术能力？

2、经济：

有些东西就是一门技术，无法形成规模，就无法产生价值（阿尔法狗只是一门技术，无法产生价值）

今日头条的算法，是有经济价值的

要做有经济价值的事情

问题：生物工程加强人的能力