“万事皆计算，宇宙中的各种复杂现象，不论是人产生的还是自然中自发的，都可以用一些规则简单地计算和模拟。”这句话概括了沃尔弗拉姆的名著《一种新科学》，它阐述了一个重要理念：世界万物都可以用计算方式来描述和重构。时至今日，这句话再度被频繁提起，因为它恰如其分地预测了人工智能尤其是近年来大热的ChatGPT背后所蕴藏的技术原理。

ChatGPT是OpenAI公司开发的一款聊天机器人应用，它可以进行智能问答、对话、任务执行等。ChatGPT给人惊喜的地方在于，它生成的语言非常地道流畅，不像传统的只会按模板生硬生成句子的对话机器人。

但ChatGPT只是个人工智能模型，它不具有真正的意识或情感，只是根据训练数据和模型架构产生响应，那么它到底是如何模仿人类语言来回答我们的问题？在《这就是ChatGPT》这本书中，我们能了解到ChatGPT背后的运转逻辑。全书主要包含了两篇文章：第一篇介绍了ChatGPT，解释了它如何拥有像人类一样生成语言的能力；第二篇则展望了ChatGPT的未来，预测它能使用计算工具来做到人类所不能做到的事。

一、文本生成：概率驱动

要生成类似人类语言的文本，关键是产生“合理的内容延续”。对ChatGPT来说实现这一点并不简单，因为它并不具备人类构思词语、逻辑表达的思维过程。那么它是如何做到流畅生成语句的呢?

这就需要用到概率计算方法了：通过计算每个词之后的概率，将可能出现的词语按概率排出来，如此循环往复就形成了一张词列表，通过词语组合便可以生成文本内容。

这里有一点挺有意思：ChatGPT并不是完全按照概率最高的词进行组合，不然只会得到一篇非常“机械化”的回答，一眼就能看出是机器人，这就无法模仿出像人类一样的思维逻辑。但如果随机选择排名较低的词语组合，就会使得回答更像是人类给出的答案。而且由于随机性的加入，多次使用相同的提示词也会得到不一样的答案。

书中以“温度”来指代这种随机性概率，通过多次实践得出随机性为0.8时的效果最佳。

既然ChatGPT总是根据概率来选择下一个词语，那么概率又是从何而来呢？书中举了一些简单的例子，比如随机取一段英文文本，统计其中不同字母出现的次数，就能生成相应的概率图。当使用逐渐变长的 n 元字母的概率生成“随机的词”，就能发现它们会显得越来越“真实”。下图是一元字母概率图和二元字母概率图，其中二元字母概率图中可能出现的第一个字母横向显示，第二个字母纵向显示，颜色越深代表概率越高。

以此类推，通过大型的语料库训练，我们就可以估计出每个词语常用程度，通过这些信息来生成句子。当然，这样需要的数据量实在是太大了，哪怕只有4万个常用词，可能的二元词的数量也已经达到了16亿，而可能的三元词的数量则达到了60万亿，我们永远无法穷尽。这就需要建立模型来帮忙找出规律，让ChatGPT没有在语料库中看到过相对应的词语排序时也能很好地生成通畅语句。

二、图像识别：神经网络链接

除了文本生成，图像识别也是通过大量样本图片来训练。这需要构建神经网络，它的工作模式就像是人脑工作机制的简单理想化模型。人脑的任意一个神经元在某个时刻是否产生电脉冲取决于是否从其他神经元接收到的电脉冲，而且神经元不同的连接方式会有不同的“权重”贡献。在此过程中，我们会“识别”出这个图像。

神经网络亦是如此，通过每层神经元计算并层层递进将结果前馈，最后在底部产生最终结果。哪怕是复杂的图形，通过“挑选出某些特征”来确定图像的内容。比如识别“不带背景的猫”或“猫的轮廓”。无论输入什么，神经网络都会生成一个答案，这似乎找到了“类人类”的做事方式。

除了执行特定任务，神经网络还可以通过样本来学习熟练掌握这些任务。已训练的神经网络能够对所展示的特定例子进行“泛化”，找出这些例子中存在的共性特征。

通过足够的样例和时间学习，然后尝试找到能够复现这些样例的权重。在训练的每个阶段逐步调整神经网络的权重，朝更接近该函数的方向更新，最终会得到一个能成功复现我们想要的结果。

这里有个很有意思的点：有时候用神经网络解决复杂问题比解决简单问题更容易。

虽然有些违反直觉，毕竟以人的角度看，复杂问题信息密度大难以解决。但是在神经网络这边，信息量越多就可以越准确计算出答案，当信息量少反而容易陷入局部解中。

当然这种无监督学习也存在限制：易于训练和超强的计算能力存在根本性矛盾。通过利用规律来压缩数据，但最终对可能存在的规律有一个限制。神经网络之所以能够在写文章的任务中获得成功的原因在于写文章实际上是一个“计算深度较浅”的问题，比我们想象的简单，所以仍旧可以搭建模型解决。

三、计算局限与开拓

尽管ChatGPT表现出色，但作为一个有限的AI语言模型系统，它并不具备人类的判断力与创造力。这些局限性也暴露了当前AI技术发展的瓶颈。

在面对那些开放性的复杂问题，ChatGPT常常无法给出准确的处理。尤其是需要跨领域知识迁移的创新性回答，这类充满不确定性的场景是其软肋。这与其统计语言模型的本质相关，它只是重新组合训练语料中已有信息，而难以实现人类意义上的“创造”。

这种局限不仅仅存在于ChatGPT，也是当前基于深度学习的AI系统共有的关键缺陷，它们在处理高度抽象与不可定量化的语义信息时依然缺乏开放性的思维能力。要获得突破，可能需要找到全新的计算理论与信息处理模式。

尽管有局限，但是像ChatGPT等技术的进步速度同样向我们昭示了语言处理的技术难度可能比过去估计的要低，这为我们继续大步迈入“计算思维”时代提供了积极启示。但要真正达到通用人工智能的高度，仍然任重道远。

ChatGPT代表的，可以说是科学精神的持续延续。如今，这一宏伟构想正在不断变为现实。只要保持开放、批判与构建的思维，人工智能必将继续惊艳人类，甚至达到后人类的境界。欣赏ChatGPT但不要被其限制，继续推动更高维度思维的碰撞吧！