Ubuntu14.04.5+CUDA8.0+Caffe+Theano+TensorFlow+Keras安装记录

温馨提醒：安装过程请善待你的电脑，请勿乱砸鼠标键盘

机器配置

  • CPU：I7 4790K
  • GPU：Nvidia GTX1080
  • 内存：DDR3 32G
  • 主板：ASUS Z97
  • 系统：Ubuntu 14.04.5

一、GTX1080驱动安装

1.1准备工作

先进主板BIOS把显卡选项切换到集成显卡（如果在安装操作系统的时候找不到U盘之类的考虑关闭安全启动）
先用集成显卡来显示，桌上桌下来回窜，还好我不算太胖。

1.2驱动版本选择

如果你下了个最新版（我当时下的是375.20），恭喜，你掉坑里了。经过尝试发现367.44和367.27是在14.04里是比较好用的,CUDA（8.0.44）和CuDNN（v5.1）下最新版，性能好。

1.3安装驱动

1.3.1禁用ubuntu自带的驱动

开源的并不是都好，有的也是渣，nouveau就是其中之一，搞掉它
新建文件
sudo vim /etc/modprobe.d/blacklist-nouveau.conf
输入内容
blacklist nouveau
重启

1.3.2用run文件安装驱动

按ctrl+alt+F1进入命令行模式

sudo service lightdm stop 
sudo ./NVIDIA-Linux-x86_64-367.44.run

安装完成用通过nvidia -smi测试是否安装成功，然后重启

1.3.3切换显示

进BIOS把显示切回到PCIE显示，把显示器连到GTX1080上

补充：使用集显显示独显运算的配置方法

为了支持最新的1080，下最新版的驱动和CUDA，这次安装时用的是驱动是378.13，CUDA是8.0.61，同以上禁用nouvea，关闭图形界面，安装驱动和CUDA，注意一定不要安装opengl库，也不要让安装程序配置图形界面。

sudo ./NVIDIA-Linux-x86_64-378.13.run --no-opengl-files
sudo ./cuda_8.0.61_375.26_linux.run --no-opengl-libs

二、CUDA8.0+CuDNN安装

2.1打开Terminal运行CUDA安装脚本

sudo sh cuda_8.0.44_linux.run

ctrl+c跳过说明，选择Accept同协议
然后高能预警：一定不要装这里面自带的驱动，如下
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.62?
(y)es/(n)o/(q)uit: n //是否覆盖驱动？这是关键，要填n

接下来用默认选项安装就好。
安装完成后会提醒有些库缺少，不用管，反正是做加速的不绘图。

2.2添加路径

export PATH=/usr/local/cuda-8.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH

2.3测试CUDA是否安装成功

通过nvcc -V测试cuda是否安装成功。
当然也可以进入HOME中把Nvidia提供的例子编译一下

make all -j8

然后在bin里面好多层里找到.deviceQuery，如果能正常读出GPU型号就ok。

Caffe推荐使用7+以上的CUDA版本，不再兼容6以下的版本。
TensorFLow如果使用已经编译好的包，与CUDA和CuDNN的与官方的说明对应。

2.4安装CuDNN

tar xvzf cudnn-8.0-linux-x64-v5.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

三、Caffe安装

caffe的安装主要是按[官网]（http://caffe.berkeleyvision.org ）的步骤做的
网上有很多把G++版本搞到4.9或者5.0以上来编译，感觉还是比较麻烦的，直接用这个版本默认的G++ 4.8.4编译了，就不切G++的版本了

3.1依赖库安装

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install python-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

3.2安装Anaconda2

Anaconda2集成了科学计算等常用的包，用起来很方便，而且用Anaconda2安装Theano和TensorFlow都很方便，所以就使用Anacoda2作caffe的python支持了，如果不需要用caffe的python接口，pycaffe可以不编译。习惯了python 2.7，所以使用python 2.7 version的64位Linux安装包，下载好以后安装
bash Anaconda2-4.2.0-Linux-x86_64.sh
安装过程中会问要不要把 Anaconda2添加到.bashrc中，果断选择添加，就算以后不需要了注释掉就好了，总比自己写要方便。

3.3编译caffe

3.3.1下载caffe

cd ~
git clone https://github.com/BVLC/caffe.git

3.3.2修改编译设置

cd ~/caffe
cp Makefile.config.example Makefile.config

然后修改Makefile.config
使用CuDNN，取消注释
USE_CUDNN := 1
python接口的配置，改成用Anaconda的

# We need to be able to find Python.h and numpy/arrayobject.h.
# PYTHON_INCLUDE := /usr/include/python2.7 \
        /usr/lib/python2.7/dist-packages/numpy/core/include
# Anaconda Python distribution is quite popular. Include path:
# Verify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(HOME)/anaconda2  #改成自己安装Anaconda的地址
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
          $(ANACONDA_HOME)/include/python2.7 \
          $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \

python依赖库

# We need to be able to find libpythonX.X.so or .dylib.
# PYTHON_LIB := /usr/lib
PYTHON_LIB := $(ANACONDA_HOME)/lib

python层

# Uncomment to support layers written in Python (will link against Python libs)
WITH_PYTHON_LAYER := 1

3.3.3make caffe

保存后make一下，然后测试

make all -j8
make test -j8
make runtest -j8

有时会报错，好像是用得线程太多有搞不清楚的错误，可以适当减少线程数
没有问题看到passed

3.3.4测试Caffe

用mnist数据集测试一下，caffe给了mnist的demo

cd ~/caffe
./data/mnist/get_mnist.sh
./examples/mnist/create_mnist.sh
./examples/mnist/train_lenet.sh

10s多一点就完成了10000次迭代，精度达到了99.17%
可见老黄家的CUDA和CuDNN优化得确实是越来越强了，感觉比之前用的快了不少

3.3.5编译pycaffe

最后make一下caffe在python中的模块
make pycaffe -j8
在环境变量中添加自己的路径
export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH
然后试一下

python
import caffe

能正常导入就没有问题了。

四、Theano安装

安装了anaconda2后安装theano非常方便，安装完以后再配置一下就可以用了

4.1安装Theano

conda install theano

4.2配置Theano

建立Theano配置文件

cd ~
vim ./bashrc

内容如下

[global] 
floatX=float32
device=gpu 
optimizer_including=cudnn
[cuda]
root=/usr/lib/nvidia-cuda-toolkit
[nvcc]
flags=-D_FORCE_INLINES

3.3Theano GPU测试

测试代码：

from theano import function, config, shared, sandbox
import theano.tensor as T
import numpy
import time
vlen = 10 * 30 * 768  # 10 x #cores x # threads per core
iters = 1000
rng = numpy.random.RandomState(22)
x = shared(numpy.asarray(rng.rand(vlen), config.floatX))
f = function([], T.exp(x))
print(f.maker.fgraph.toposort())
t0 = time.time()
for i in range(iters):
    r = f()
t1 = time.time()
print("Looping %d times took %f seconds" % (iters, t1 - t0))
print("Result is %s" % (r,))
if numpy.any([isinstance(x.op, T.Elemwise) for x in f.maker.fgraph.toposort()]):
    print('Used the cpu')
else:
    print('Used the gpu')

有提醒CuDNN的版本太新，Theano版本没有跟上，不过好像也没有什么问题,强症受不了就换成CuDNN v5
更多说明参见here

Theano+Keras不同配置对比

有人对三种配置的Theano做了对比

  • Theano+CPU
  • Theano+GPU
  • Theano+GPU+CuDNN
    配置文件按自己的需要可以修改，这个很方便，Theano用起来确实很灵活
    有空的时候看看使用Theano做后端的Keras

TensorFlow安装

待更新

Keras

待看

Trouble shooting

安装过程中遇到的坑，慢慢填，记住的是找了一下才能搞定的坑，安装过程中还会遇到大大小小各种各样的坑，配环境就是一步步走过月球表面，随手能改好的就没记了

坑1

/usr/include/boost/python/detail/wrap_python.hpp:50:23: fatal error: pyconfig.h: No such file or directory  # include <pyconfig.h>

查看Makefile.config文件，发现是有两行代码没有取消注释

#Anaconda Python distribution is quite popular. Include path:
#erify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(HOME)/anaconda
PYTHON_INCLUDE :=  $(ANACONDA_HOME)/include \
               $(ANACONDA_HOME)/include/python2.7 \
               $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \

坑2

.build_release/tools/caffe: error while loading shared libraries: libhdf5_hl.so.10: cannot open shared object file: No such file or directory

anaconda2里面是有libhdf5_hl.so.10的，看了一下是库的路径没有设置好，
在.bashrc中设置路径
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:$HOME/anaconda2/lib"

坑3

编译完pycaffe后import失败

>>> import caffe 
Traceback (most recent call last): 
  File "<stdin>", line 1, in <module> 
ImportError: No module named caffe 
>>> exit()

这是没有添加pycaffe所在的路径，增加路径如3.3.5所述

坑4

import theano时提示没有protobuf
ImportError: No module named google.protobuf.internal
安装protobuf
conda install -c https://conda.anaconda.org/anaconda protobuf

参考博文和Nivida、Caffe官方网站
[1]http://blog.csdn.net/i_better/article/details/52812825
[2]http://blog.csdn.net/hjimce/article/details/51999566
[3]http://blog.csdn.net/tangwenbo124/article/details/52298194
[4]http://www.cnblogs.com/zklidd/p/5020915.html

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,602评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,442评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,878评论 0赞 344
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,306评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,330评论 5赞 373
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,071评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,382评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,006评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,512评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2赞 325
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,732评论 4赞 323
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,283评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2赞 354
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2赞 345

推荐阅读更多精彩内容