我希望通过这门课，让自己学习大模型的基础知识，将自己从系统构建、搜集数据、微调模型、部署模型、评测模型这个pipeline彻底搞清楚，让模型真正能走出命令行，成为AI原生应用的雏形。希望能够了解如何利用大模型，基础的学会从模型到应用，在解决方案中得到好的应用。希望能够在公司的业务中得到真正的使用。
第一节课主要介绍了书生·浦语大模型全链路开源体系，丰富的周边生态工具，性能对比也很棒。
生态体系中工具也很强大，lagent，代码解释器的赋能，从模型到应用的典型流程。个人感觉，使用大模型，一定要告诉用户没有百分百的正确，享受开放就需要接受这个现实。 [图片上传失败...(image-b947b-1711862276826)]
在XTuner加持下开展增量续训、有监督微雕（全量/部分参数LoRA、QLoRA），对硬件要求也很友好！ 部署方面，量化、推理（turbomind、pytorch）、服务。
智能体框架Lagent介绍，多模态智能体工具箱AgentLego（好希望自己能够掌握）。
因为平时更多在教育行业，选择一款中文友好的是首选要求，其次其中提到的“价值观”优化/本地化是InternLM吸引我的重要的一个点！ 更多详细内容还来自《InternLM2 Technical Report》 How to effectively extend the context length of LLMs is currently a hot research topic, since many downstream applications, such as Retrieval-Augmented Generation (RAG) (Gao et al.,2023) and agents (Xi et al., 2023), rely on long contexts.
其中提到代码数据，对于程序员而言，和代码打交道，很多时候也会使用大语言模型来辅助编写代码，高质量的训练代码也比较重要，GitHub是重要源。正好也可以让我们了解下代码行数的多少，C++、JAVA还是名列前茅。
最后，总结： InternLM2 大型语言模型，该模型在主观和客观评估中都表现出卓越的表现。InternLM2 已接受在超过 2T 的高质量预训练语料库上训练，涵盖 1.8B、7B 和 20B 的模型大小， 使其适用于各种场景。为了更好地支持长上下文，InternLM2采用 GQA 来降低推理成本，并额外接受了高达 32k 的训练上下文。除了开源模型之外，我们还详细介绍了我们如何训练 InternLM2，包括训练框架、预训练文本数据、预训练代码数据、预训练长文本数据和对齐数据。此外，解决偏好冲突在RLHF过程中遇到的情况，我们建议有条件的在线RLHF来协调各种偏好。
