姓名：李昊菲；学号：22011110007；学院：通信工程学院

素材源自 https://mp.weixin.qq.com/s/HndJxMt2NoQf5oUuPYSSTA

【嵌牛导读】为什么这年头，大模型可以这么火？！这不前几天，谷歌研究员说“AI有人格”，结果震惊整个科技圈…背后其实就是大模型的锅。这篇将和大家聊一下从规划到部署一个大模型到底有多难，也将介绍大模型全流程使能体系。

【嵌牛鼻子】AI，大模型，华为昇腾

【嵌牛提问】看完这篇，大家对大模型的了解加深了吗？

【嵌牛正文】

在大家的认知里，AI大模型真的很全能——能说会唱、写诗作画样样精通，甚至还能像人一样跟你聊天。而且性能精度和泛化能力兼具~光看最近屡次出圈的AI作画就知道了。

既然大模型这么多好处，如果应用到了产业界，这不得把企业的开发者们都给馋哭了。一直以来，大模型似乎都是大厂、高校及科研机构的专利。其他企业倒也不是不能用。且不论从规划、开发到部署各个环节有多难，光是个中成本也不敢让企业轻易试错。

从规划到部署一个大模型到底有多难？

首先从AI大模型的规划应用上，垂直行业就很容易遇到隔行如隔山的问题。比如制造业中的检验环节。质检专业人员清楚知晓零件需要达到多少精确度、流水线的运转速度如何。但问题就在于，用什么样的AI大模型，能配合生产线的运转呢？

类似的场景，在电力、金融、医药等垂直领域中也会发生。也就是说，在开发还未开始时，困难就已经找上门了。而更大的问题，还在后面。即便垂直领域企业终于明晰了自己要开发什么样的算法，但是居高不下的开发门槛、部署成本，依旧是“拦路虎”。

要知道，大模型是应对AI应用碎片化趋势的一个有效解。传统AI时代，由于模型参数量小、泛化性差，一个模型大多只能对应单个场景。动不动就从0开始、独立调优、艰难迭代、推倒重来的模式，于企业而言实在是太劳民伤财了。

由此，垂直行业的目光自然而然放到了泛化性强、只需要微调的大模型上。但问题是，动辄千亿、万亿规模的大模型，开发周期势必会相应拉长、对开发人员的技术能力要求也更高。到部署环节中，大模型部署成本高是业内的重要难题。更别说还要考量硬件适配性、功耗、成本、性价比等问题。一个个难题到来，都意味着企业想要凭一己之力炼出大模型，实在是关山难越。

或许有人会说，垂直行业面临的问题，似乎都是AI专业能力不够强导致的。那AI领域为什么不能直接拿出现成可用的行业大模型？这也就看到了行业大模型难炼的B面——垂直行业的专业知识，同样是AI技术人员的“拦路虎”。

还是从规划部分说起。尽管面对质检环节，AI技术人员知道可以应用CV算法，但算法要达到多快的识别速度？非行业人士很难知晓。而且算法开发的重要环节，就是海量数据训练。

一方面，如金融、保险、医药等行业数据涉及隐私保护，数据集收集会变得尤为困难。另一方面，涉及到大量垂直领域专业知识的数据，AI领域技术人员将其整合为数据集的难度也进一步升高。

最后回到部署上。想要与实际生产环节紧密配合、让AI算法实现更大价值，如果没有对应行业内人士的意见参考，AI技术人员也是束手无策。最终可能算法性能卓越，但却走不出实验室。

综上几点不难看出，大模型在产业界落地遇到的问题，是贯穿开发应用全流程的，而且要集合AI行业和对应专业领域的智慧，共同解决这些困难。怎么做？当下产业界、AI界的目光，自然而然聚焦于此。

大模型全流程使能体系，了解一下？

AI大厂作为技术输送方，对AI大模型的特点、容易遇到的问题和困难，自然有着更为深入的了解。刚好在华为开发者大会上，华为昇腾给出了一套生态构建方案——大模型全流程使能体系。

虽说是大模型生态构建方案，但仔细一看，无论是整体体系、还是流程开发套件，核心思想都是降低AI大模型开发、应用门槛，都是直击企业和开发者的痛点。整个体系很清晰，直接按照流程划分，分成规划、开发和部署三个环节。每个环节，都有相应的支撑。

首先是规划环节。当前大模型最前沿主要在这几个方向，以华为云盘古CV大模型为代表的计算机视觉、以鹏程.盘古为代表的自然语言处理、还有紫东·太初为代表的多模态、语音、博弈智能、人工智能科学计算。

但对于产业界来说，具体到现实落地需要什么，就成为一个不可忽略的问题。大模型沙盘正是来规划和牵引产业界的企业做出需要的大模型。此前，基于昇腾AI的能力，业内就已经先后推出华为云盘古系列、鹏程.盘古、鹏程.神农、紫东.太初、武汉.Luojia等有影响力的大模型。

接着就是最为关键的开发环节。前面提到，企业要想开发一个大模型，需要考虑基础开发、行业适配、实际部署等问题。这一次，华为直接给出了大模型开发使能平台，覆盖从数据准备、基础模型开发、行业应用适配到推理部署一整个开发流程都给安排上了。核心发布了三个套件：大模型开发套件、大模型微调套件以及大模型部署套件。

大模型开发套件，昇思MindSpore与ModelArts结合既提供了像算法开发基础能力，还具备了像并行计算、存储优化、断点续训这种特殊能力。在算法开发这块上，昇思MindSpore提供了易用编程API，既能满足多种需求，算法还特别简单。百行代码就可以实现千亿参数Transformer模型开发。

至于并行计算能力，自然是昇思MindSpore的传统艺能了，昇思提供的数据并行、模型并行、流水并行、优化器并行、子图并行等业界领先的6维混合并行计算技术，开发者只需一行代码就能实现模型自动切分、分布式并行计算。而存储优化、断点续训则是针对日常训练时遇到耗内存、训练中断等问题。使用NPU/CPU/NVMe自动存储优化，复用多级存储，512张卡可以跑10万亿参数模型。训练被意外中断时候，触发软硬件协同保护，让千亿级模型在2-3分钟内无损修复。

开发完了之后，就到大模型下一个任务——行业应用适配环节。换言之，就是让基础模型来学习行业数据，以此来满足相应的需求。对产业界来说，大模型内部的专业参数过于复杂，不知道如何调参，调哪些参数。昇腾MindX提供大模型微调套件，功能包括两部分：一键式微调、低参数调优。

总的来说，就是通过预置典型行业任务微调模板、小样本学习等手段，直接冻结局部参数，自动提示或者直接激活特定的参数。如此一来，减少参数调优工作量，让下游任务灵活配置，可以快速适配到各种行业应用之中，比如现在的生物医药、智慧城市、遥感、电力等等。

推理部署，是制约大模型应用的一大因素。在这方面，昇腾AI在MindStudio中提供了分布式推理服务化、模型轻量化、动态加密部署三方面能力。通过多机多卡分布式推理，可以大幅提高计算吞吐量，即便1000人，甚至是1万人都可以同时调用这个能力，不至于并发崩溃

模型轻量化是指，利用剪枝、蒸馏、量化等小型化工具，让模型实现至少10倍级的压缩率。动态加密部署，则是注重模型部署的安全性。为了防止黑客搬迁数据，从而反向解析模型结构。昇腾就提供了动态模型混淆，对模型增加动态密钥，性能开销小于5%。

最后，就是大模型的产业应用落地阶段。这也是当下产业界最为困扰的问题。尽管学术界的大模型呈现井喷之势，但是真正走到规模化产业部署的，还寥寥无几。科研创新和实际应用之间，尚存巨大鸿沟。跨越鸿沟的关键，还是要凝聚各方的力量。也就是打通产学研用之间的断点，以大模型为核心，建立产业联盟。

产业联盟的出现，就是为让产业的力量聚焦在一处，从而自然加快大模型创新、应用孵化的步伐。在这方面，昇腾已经打好了两个样板出来。去年，围绕武汉.LuoJia，智能遥感开源生态联盟正式成立，汇聚企业、高校等31家成员。以紫东.太初为核心，多模态人工智能产业联盟也相应成立，包括新华社技术局、长安汽车、中国移动等30个成员单位已经加盟。

今年，昇腾还将支撑伙伴成立AI流体力学、 AI生物医药以及智慧育种领域的产业联盟。值得一提的是，在会上，华为还发布了昇腾科研创新使能计划。国内高校和科研院所可以用上昇腾人工智能基础软硬件平台，以此来展开创新大模型的开发。

从科研创新，到应用开发，再到的产业落地，如此一来形成大模型产学研用生态闭环。大模型在多行业大规模应用的节点，已然显现。