CentOS离线安装docker和nvidia-container-runtime - 简书 (jianshu.com)
1、配置仓库源
sudo yum -y install yum-utils
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.repo | sudo tee /etc/yum.repos.d/nvidia-container-runtime.repo
2、下载相关包到本地
yum install nvidia-container-runtime --downloadonly --downloaddir=./
3、把下载的包复制到目的机器上，并安装
# 解压nvidia-container-runtime.tar.gz
tar -zxvf nvidia-container-runtime.tar.gz
# 离线安装所有rpm包
cd nvidia-container-runtime
rpm -Uvh --force --nodeps *.rpm
4、为 Docker 添加 nvidia 这个运行时
sudo nvidia-ctk runtime configure --runtime=docker
5、重启docker
sudo systemctl daemon-reload
systemctl restart docker
服务重启完毕，我们查看 Docker 运行时列表，能够看到 nvidia 已经生效啦。
docker info | grep Runtimes
Runtimes: nvidia runc io.containerd.runc.v2
查看安装结果
whereis nvidia-container-runtime
附录
1）nvidia-docker-runtime作用
通过nvidia-docker-runtime，可以实现在docker容器内部使用nvidia的gpu 进行相关的模型训练和推理。
docker 安装完成后，可通过docker run 创建常规的docker容器，但是不安装nvidia相关组件无法使用NVIDIA的显卡，docker run 添加 --runtime=nvidia 或者添加--gpus参数报错，并且普通创建的容器执行nvidia-smi 没有返回结果，会出现如下提示。
docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
unknown flag: --gpus
2）不同版本docker 安装nvidia gpu SDK区别
在docker19.x以前的版本需要下载nvidia-docker2来启动容器；通过使用nvidia-docker run或者docker run --runtime=nvidia的方式来指定gpu；
docker19.x后版本使用gpu只需要加个参数–gpus all即可(all：使用所有的gpu，如果要使用2个gpu：–gpus 2，也可直接指定哪几个卡：–gpus '"device=1,2"'
