tensorflow .马上要出 2.0 版本，不过现在 安装的最新的仍旧为1.13.1 【2019-03-9】
在 centos 7 我们安装了 一块 NVIDIA Tesla的 显卡 ，Tesla P100-PCIE-16GB
当我们要使用TensorFlow GPU 训练 时 ， 单单有显卡还不可以，需要安装NVIDIA的显卡驱动 和cuda及cudnn，
尝试使用 原始的rpm 安装 cuda 发现 本来要安装 9 ，装完了竟然是10.1，TensorFlow 1.13.1 是不支持 10.1，不过现在日志看到 是支持 cuda 10.的
发现 cuda 的安装 还比较繁琐，cuda 安装 完占硬盘 2-3G
卸载还不是很方便，有的有一个卸载脚本 Perl，
/usr/local/cuda-10.0/bin/uninstall_cuda_10.0.pl
没有的话，就直接
rm -rf /usr/local/cuda*
rm /etc/profile.d/cuda.sh
也可以
那如何安装cuda 最简单就是 使用 conda ，
anaconda 简直不一般，conda不仅可以安装python虚拟环境 ，还可以安装R ，竟然连 cuda 和cudnn 也可以安装 ，还要安装 TensorFlow-gpu python包
就两步
首先先创建 激活一个python的虚拟环境 进入到环境中
conda install cudatoolkit
conda install cudnn
pip install tensorflow-gpu
不过要注意了 conda安装的cuda 并不是全局的cuda ，他只在你的当前激活的python环境下有效，conda 安装的jupyter 和R 也是这样的
参考 https://github.com/tensorflow/tensorflow/issues/26182
【ImportError: libcublas.so.10.0: cannot open shared object file: No such file or directory】
在安装时报了一个小错
ChunkedEncodingError(ProtocolError('Connection broken: OSError("(104, 'ECONNRESET')")', OSError("(104, 'ECONNRESET')")))
其实好像是网络问题，重复尝试再安装就可以了
如何测试是否 TensorFlow可以使用gpu 呢
import tensorflow as tf
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
查看日志信息若包含gpu信息，就是使用了gpu。
其他方法：跑计算量大的代码，通过 nvidia-smi 命令查看gpu的内存使用量。
另外可以这样
import tensorflow as tf
with tf.device('/cpu:0'):
a = tf.constant([1.0,2.0,3.0],shape=[3],name='a')
b = tf.constant([1.0,2.0,3.0],shape=[3],name='b')
with tf.device('/gpu:1'):
c = a+b
#注意：allow_soft_placement=True表明：计算设备可自行选择，如果没有这个参数，会报错。
#因为不是所有的操作都可以被放在GPU上，如果强行将无法放在GPU上的操作指定到GPU上，将会报错。
sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True,log_device_placement=True))
#sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
sess.run(tf.global_variables_initializer())
print(sess.run(c))
结果：
[ 2. 4. 6.]
如果TensorFlow不支持 当前 版本的cuda 会报错 【首先你要安装了TensorFlow-gpu包】
import tensorflow as tf
ImportError: libcublas.so.10.0: cannot open shared object file: No such file or directory
如何查看 GPU的使用情况
nvidia-smi
另外一点就是 cuda 再卸载后重新安装新版本 会报错
【# NVIDIA NVML Driver/library version mismatch
】
https://stackoverflow.com/questions/43022843/nvidia-nvml-driver-library-version-mismatch
As @etal said, rebooting can solve this problem, but I think a procedure without rebooting will help.
For Chinese, check my blog -> [中文版](https://comzyh.com/blog/archives/967/)
The error message
> NVML: Driver/library version mismatch
tell us the Nvidia driver kernel module (kmod) have a wrong version, so we should unload this driver, and then load the correct version of kmod
## How to do that ?
First, we should know which drivers are loaded.
> lsmod | grep nvidia
you may get
nvidia_uvm 634880 8
nvidia_drm 53248 0
nvidia_modeset 790528 1 nvidia_drm
nvidia 12312576 86 nvidia_modeset,nvidia_uvm
our final goal is to unload `nvidia` mod, so we should unload the module depend on `nvidia`
> sudo rmmod nvidia_drm
> sudo rmmod nvidia_modeset
> sudo rmmod nvidia_uvm
then, unload `nvidia`
> sudo rmmod nvidia
## Troubleshooting
if you get an error like `rmmod: ERROR: Module nvidia is in use`, which indicates that the kernel module is in use, you should kill the process that using the kmod:
> sudo lsof /dev/nvidia*
and then kill those process, then continue to unload the kmods
## Test
confirm you successfully unload those kmods
> lsmod | grep nvidia
you should get nothing, then confirm you can load the correct driver
> nvidia-smi
you should get the correct output
https://tensorflow.google.cn/install/source
https://comzyh.com/blog/archives/967/
如果你打算安装 cuda 9
https://blog.veir.me/2018/03/17/centos7-install-cuda9/
或者 cuda的docker环境
https://www.cnblogs.com/yxfangcs/p/8438462.html
TensorFlow 到底和那些 版本的cuda 和cudnn 适配 ，主要看 libcudnn.so libcublas.so 的当前安装TensorFlow所支持的版本
libcublas.so.10.0 libcudnn.so.7是TensorFlow 1.13.1所要求的 ，所以就必须装的版本不高于它
