nanoGPT训练
个人整理代码仓库：https://gitee.com/enzoism/nanoGPT
鸣谢：感谢每一位无私奉献的传道者，在此不一一具名！
1-学习目标
- 1）完成第一个模型的训练操作
- 2）了解CUDA的基础使用
- 3）完成整个代码的执行
2-参考网址
视频教程中，所使用的开源项目地址：
- nanoGPT训练框架：https://github.com/karpathy/nanoGPT
- 古诗词训练数据集：https://github.com/chinese-poetry/chinese-poetry
- nanoGPT训练教程：https://www.bilibili.com/video/BV1wP41197uW
3-执行过程记录
4-技术补充
1-conda使用
- conda使用参考网址：https://www.jianshu.com/p/4dc3647317c3
1-验证Anaconda：
conda info
2-查看虚拟环境列表：
conda env list
3-新建虚拟环境：
conda create -n nanogpt3.8 python=3.8
4-启用虚拟环境
conda activate nanogpt3.8
5-删除虚拟环境
conda remove -n yourname --all
6-指定源安装
pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
2-安装Pytorch
- Pytorch官方网址[需要结合nvidia版本]：https://pytorch.org/get-started/locally/
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
3-GPU查看
nvidia内容解读：https://blog.csdn.net/m0_37605642/article/details/123908737
nvidia-smi
4-阶段总结
1-prepare转化训练数据集为char
- python data/chinesepoet_char/prepare.py
- 执行后会在当前目录多出3个文件：meta.pkl/train.bin/val.bin
2-train训练你的真实数据集（莎士比亚诗集）
- python train.py config/train_chinesepoet_char.py
- 一定要训练到有ckpt.pt文件生成，否则sample.py会报错
- 会在同名文件夹_out中多出1个文件ckpt.pt文件
3-验证训练结果（指定刚才的）
- python sample.py --out_dir=chinesepoet_char_out --device=cpu
- python sample.py config/train_chinesepoet_char.py 【推荐使用这个-不用再更改脚本】
- 会在控制台直接打印输出的样例文本
