工欲善其事，必先利其器。上一篇我们阐述AI狂潮下企业的机遇和挑战，今天就来推开AI的第一道大门--AI基础。所谓知其然知其所以然，就算是应用层面的落地基础知识的储备也是必不可少的。
人工智能包含了多个分支领域，涉及到多个学科的知识，因此人工智能知识体系非常庞大。下面借用一张图来简单概括人工智能的知识体系。
可见如此庞大的体系，若是深耕，每一个领域都将“学海无涯”。篇幅有限，为避免一发不可收拾，深奥的理论咱们暂且不讲（也有可能小马根本就讲不了那么多^^），我们只挑选和我们接下来的实践应用有关的知识来简单探讨，有的放矢，点到为止。
那有小伙伴问了，体系里的这些都是需要精通吗？其实如果相对于应用实践层面，做到理解概念几乎够用了。由于我们计划后面重点讲LLM的智能问答落地应用，所以选择以数学基础、AI基础、NLP基础来展开基础铺垫。
一、数学基础
数学基础是机器学习的根基。计算机之所以被称之为计算机，靠的是其快速的运算能力。我们知道机器的人工智能并不是指它自己有像人一样有自我思想的大脑机制，而是需要某种大量数据的训练，可以得到一个程序，这个程序具备了推理能力才让其具备了智能的能力，而在LLM领域里这个程序我们称之为“模型”，甚至也可以理解为它就是通过大量数据训练计算得出来的一个公式。而如何得到这样一个公式，这就需要大量复杂的数学推演和计算得出，因此数学的基础知识必不可少。
涉及AI的数据基础主要是这三块：线性代数、概率论与统计学、微积分与最优化。数学知识的这些概念描述这里就不展开了，给出关键词大家对照着查阅资料掌握即可。
1、线性代数：
标量、向量、特征向量、张量、点积、叉积、线性回归、矩阵、秩、线性无关与线性相关、范数、 奇异值分解、行列式、主成分分析、欧氏空间、希尔伯特空间、基本运算等。
2、概率论与统计学：
概率论。
3、微积分与最优化：
导数、偏导数、数值微分、梯度、链式法则、线性规划、二次规划、动态规划、Hessian matrix、损失函数、正则项、一阶优化方法(梯度下降法)等等。
其中向量、矩阵运算、导数、梯度下降、损失函数在机器学习中都是高频词。
他山之石，可以攻玉。小马列出之前看到的比较好的教程供参考。
《入行AI需要什么数学基础：左手矩阵论，右手微积分》
《人工智能AI数学基础》
【不要问小马为什么教程没有带链接（有需要可以私信），因为某书这片“净土”不让放，哈哈哈...】
二、AI基础
数学的基础我们盘点过了，趁热打铁来看下人工智能这块的基础知识。
1、算法
（1）回归常用算法：线性回归（一元线性回归、代价函数(损失函数，Loss Function): 衡量回归模型误差的函数、梯度下降算法、多元线性回归、特征缩放）、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归；
（2）分类常用算法：K近邻、决策树、朴素贝叶斯、逻辑回归、支持向量机、随机森林；
（3）聚类常用算法：分为基于划分，密度，层次，网络，模型等的聚类。
2、神经网络
机器学习是人工智能的一个子领域，专注于算法和统计模型的开发，使计算机能够从数据中学习，并在没有明确编程的情况下做出预测或决策。
神经网络是一种受人类大脑结构和功能启发的机器学习算法。神经网络由层层组织的相互连接的节点(神经元)组成，每个神经元接收来自其他神经元的输入，并在将其传递到下一层之前对输入进行非线性变换。
有几种类型的神经网络，包括：
前馈神经网络：信息只向一个方向流动，即从输入层流向输出层。它们通常用于分类和回归任务。
卷积神经网络：这是一种前馈神经网络，专门用于处理类似网格的数据，比如图像。它们由卷积层组成，卷积层对输入应用过滤器以提取特征。
循环神经网络：设计用于处理顺序数据，如文本或语音。它们有循环，允许信息持续存在。数据可以向任何方向流动。
神经网络由于其生物学灵感和有效性，已成为机器学习中应用最广泛的算法之一。
深度学习是机器学习的一个子领域，专注于多层神经网络(或深度神经网络DNN)。深度神经网络可以从大量数据中学习，并可以自动发现数据的复杂特征和表示。这使得它们非常适合涉及大量数据的任务。
小马整理了一些资料，分享如下。
1.卷积网络
卷积的意义：用一个模板和一幅图像进行卷积，对于图像上的一个点，让模板的原点和该点重合，然后模板上的点和图像上对应的点相乘，然后各点的积相加，就得到了该点的卷积值。对图像上的每个点都这样处理。由于大多数模板都是对称的，所以模板不旋转。卷积是一种积分运算，用来求两个曲线重叠区域面积。可以看作加权求和，可以用来消除噪声、特征增强。把一个点的像素值用它周围的点的像素值的加权平均代替。
a. 卷积神经网络CNN
专门解决图像问题的，可用把它看作特征提取层，放在输入层上，最后用MLP做分类。
（1）结构包括输入层、隐藏层和输出层。隐含层包含卷积层、池化层和全联接层3类常见构筑。
b. 深度卷积网络DCN
主要用于图像分类、图像聚类和目标识别。
（1）DNN 被用来添加更复杂的特征，以便它能够更准确地执行任务。
（2）应用：识别面部、街道标志、肿瘤、图像识别、视频分析、自然语言处理、异常检测、药物发现、跳棋游戏、时间序列预测。
2.循环神经网络
循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network） 。
对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的循环神经网络 。
循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络（Convolutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。【百度百科】
循环神经网络是前馈神经网络的一种改进形式, 包含环和自重复。隐藏层中的每个神经元接收具有特定时间延迟的输入。需要在当前的迭代中访问之前的信息。例如，当我们试图预测一个句子中的下一个单词时，我们首先需要知道之前使用的单词。可以处理输入并跨时共享任意长度和权重。模型中的计算会考虑到历史信息。问题是计算速度慢。不能考虑当前状态的任何未来输入, 也无法记住很久以前的信息。考虑时间延迟，但如果有大量的相关数据，RNN很容易失败。主要应用在：机器翻译、 机器人控制、时间序列预测、语音识别、语音合成、时间序列异常检测、节奏学习、音乐创作。
chatgpt使用的Transformer是一种新的神经网络结构，其仅基于注意力机制，抛弃了传统的循环或卷积神经网络结构。
3、激活函数
激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。常用的激活函数：Sigmoid函数、Tanh函数、ReLU函数。
4、损失函数
损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计（parametric estimation），在宏观经济学中被用于风险管理（risk management）和决策 ，在控制理论中被应用于最优控制理论（optimal control theory） 。
机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小，模型越好，如果预测值与真实值相等，就是没有损失。用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。
最后小马推荐一份教程供参考，有时间的同学可以细看。《人工智能基础班》
三、NLP
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的（实验性）科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。【百度百科】
NLP = NLU + NLG。自然语言处理解决的是“让机器可以理解自然语言”。关于NLP的完整体系概念介绍还可以参看教程《自然语言处理概述》。
自然语言处理是一个自带难点却又比较有趣的领域，因为自然语言有歧义，比如同样的含义又有不同的表达方式，同样的一段表述能表示不同的意思，不同的表达方式是同一个意思。
举个栗子：
爸爸已经抱不动小明了，因为他太胖了。
爸爸已经抱不动小明了，因为他太虚弱了。
近年来，以BERT、GPT为代表的NLP模型备受关注，尤其是chatGPT的横空出世，更加证明了大型自然语言模型的魅力。
self-attention是Transformer的重要组成部分，而BERT本质上是Transformer模型的encoder，GPT又是基于Transformer的decoder产生的。
2013 年和 2014 年是 NLP 问题开始引入神经网络模型的时期。使用最广泛的三种主要的神经网络是：循环神经网络、卷积神经网络和递归神经网络。
到此，AI基础就告一段落了。接下来我们将进入chatgpt应用、开源大模型应用结合落地等一些实战经验分享。
