首先推荐这两篇文章，写完之后才发现：
https://blog.csdn.net/yhaolpz/article/details/71375762
https://blog.csdn.net/balixiaxuetian/article/details/79154013?utm_source=blogxgwz4
前言： 一开始我们实验室尝试用deb安装包的方法安装NVIDIA Tesla P100对应的显卡驱动和CUDA，但是总是出现重复登录的问题，迫不得已我们最后采用比较繁琐的用run文件安装显卡驱动和CUDA的方法。（还是建议先用deb文件安装一下试试，因为比较简便。）

一、重装服务器ubuntu16.04系统

1.制作好ubuntu16.04的U盘启动盘，将其插到服务器上。
2.设置U盘启动

image.png

image.png

image.png

image.png

image.png

二、安装显卡驱动

1.先去官网上下载对应版本的显卡驱动，如下图所示：

image.png

image.png

sudo apt-get --purge remove nvidia*

屏蔽系统自带的显卡驱动:

image.png

sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

往文件中写入：
blacklist nouveau
options nouveau modeset=0
保存并退出。这一步是为了禁掉Ubuntu自带开源驱动nouveau。
然后执行命令：

sudo update-initramfs -u

接下来需要重启,输入reboot命令,重启后执行：

lsmod | grep nouveau

查看nouveau模块是否被加载。如果什么都没输出，则已禁用。

开始安装
使用下面命令禁用X server

sudo service lightdm stop

按 Ctrl-Alt+F1 进入命令行界面,开始安装驱动
给驱动run文件赋予执行权限：

sudo chmod a+x NVIDIA-Linux-x86_64-384.66.run

安装(注意,一定要注意这个参数，否则会造成图形界面循环登录的问题)：

sudo ./NVIDIA-Linux-x86_64-384.66.run --no-opengl-files

在安装过程中的选项：

image.png

三、安装CUDA8.0

1.先去官网上把run文件下载下来
2.检查自己的电脑环境是否具备安装CUDA的条件
（1） 验证自己的电脑是否有一个可以支持CUDA的GPU
可以在ubuntu的终端中输入命令：

$ lspci | grep -i nvidia

会显示出你的NVIDIA GPU版本信息，不过不是很详细。然后去CUDA的官网查看自己的GPU版本是否在CUDA的支持列表中。
（2）验证自己的Linux版本是否支持 CUDA(Ubuntu 16.04没问题)
输入命令：

$ uname -m && cat /etc/*release

结果显示：
x86_64
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=16.04

......
（3）验证系统是否安装了gcc

在终端中输入：

$  gcc --version      

结果显示：
gcc (Ubuntu 5.4.0-6ubuntu1~16.04.5) 5.4.0 20160609
......
若未安装请使用下列命令进行安装：

sudo apt-get  install  build-essential

（4）验证系统是否安装了kernel header和 package development

a、查看正在运行的系统内核版本，在终端中输入：

$  uname –r 

结果显示：
4.10.0-40-generic
b、在终端中输入：

$  sudo apt-get install linux-headers-$(uname -r)

可以安装对应kernel版本的kernel header和package development
结果显示：
......
升级了 0 个软件包，新安装了 0 个软件包，要卸载 0 个软件包，有 5个软件包未被升级。表示系统里已经有了，不用重复安装。

若以上各项验证检查均满足要求，便可进行下面的正式安装过程。如果没有满足要求的话，可以参考cuda的官方文档，里面有详细的针对每个问题的解决方案。
3.安装
（1）校验下载的文件是否完好
下载完后，用MD5 检验，如果序号不和，得重新下载。输入命令：

$  md5sum cuda_8.0.61_375.26_linux.run

（2）禁用nouveau驱动
安装显卡驱动时已禁用，现在只需用下面命令检验一下即可：

$  lsmod | grep nouveau

（3）开始安装
重启电脑，进入登录界面的时候，不要登录进入桌面(否则可能会失败，若不小心进入，请重启电脑)，直接按Ctrl+Alt+F1进入文本模式（命令行界面），登录账户。输入：

 $ sudo service lightdm stop 关闭图形化界面

切换到cuda安装文件的路径：

$  cd Home/

运行:

$ sudo sh cuda_8.0.61_375.26_linux.run

按照提示一步步操作。

image.png

$ ls /dev/nvidia*

可能出现a、b两种结果，请对号入座。
a、若结果显示
/dev/nvidia0 /dev/nvidiactl /dev/nvidia-uvm
或显示出类似的信息，应该有三个（包含一个类似/dev/nvidia-nvm的），则安装成功。
若出现其他问题参考：ttps://blog.csdn.net/QLULIBIN/article/details/78714596
（5）设置环境变量
终端中输入 $ sudo gedit /etc/profile
在打开的文件末尾，添加以下两行。

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64\
                      ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

保存文件，并重启。因为source /etc/profile是临时生效，重启电脑才是永久生效。

这里有点与官方安装文档稍有不同，需要说明：
官方文档里说只需在终端中运行上述两条export语句即可，但如果不将它们不写入/etc/profile文件的话，这样的环境变量在你退出终端后就消失了，不起作用了，所以写入才是永久的做法。
（6）重启电脑，检查上述的环境变量是否设置成功。
a、 验证驱动版本，敲入

$ cat /proc/driver/nvidia/version

结果显示
NVRM version: NVIDIA UNIX x86_64 Kernel Module 384.81 Sat Sep 2 02:43:11 PDT 2017
GCC version: gcc version 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.5)
b、 验证CUDA Toolkit，敲入

$ nvcc -V       会输出CUDA的版本信息

如果是这样的：
The program 'nvcc' is currently not installed. You can install it by typing:
sudo apt-get install nvidia-cuda-toolkit
可能是环境配置没有成功，请重复上述步骤5）。
4.尝试编译cuda提供的例子
见网页：https://www.jianshu.com/p/71bc5f02ecd2

四、安装cudnn7.0.5

1.在官网上下载这三个文件：

image.png

$ sudo dpkg -i libcudnn7_7.0.5.15-1+cuda8.0_amd64.deb
$ sudo dpkg -i libcudnn7-dev_7.0.5.15-1+cuda8.0_amd64.deb
$ sudo dpkg -i libcudnn7-doc_7.0.5.15-1+cuda8.0_amd64.deb

3.测试cudnn安装是否成功
输入以下命令：

$cp -r /usr/src/cudnn_samples_v7/ $HOME
$ cd $HOME/cudnn_samples_v7/mnistCUDNN
$ ./mnistCUDNN

如果测试成功，则会出现以下结果：

image.png

安装完所有，最后重启一下吧！

$ reboot