本文参考博客:
运行caffe自带的mnist实例教程
caffe自带的第一个例子,Mnist手写数字识别代码,过程,网络详解
[Caffe]:关于caffe新手入门
Caffe中对MNIST执行train操作执行流程解析
1.下载mnist数据集
进入caffe目录cd ./caffe
,caffe里面是不包括训练的数据集的,但是提供了下载的shell文件,直接运行即可下载数据集
sudo sh ./data/mnist/get_mnist.sh
运行下载四个文件
(1) train-images-idx-ubyte-----训练样本集合
(2) train-labels-idx1-ubyte----训练样本对应的标注的集合
(3) t10k-images-idx3-ubyte-----测试图片集
(4) t10k-labels-idx1-ubyte-----测试样本对应的标注的集合
2、转换格式,转换成caffe可以运行的LMDB格式
./examples/mnist/create_mnist.sh
完成后在examples/mnist生成了两个目录:mnist_test_lmdb和mnist_train_lmdb,每个目录下有两个文件:data.mdb和lock.mdb。
现在我们来看一下caffe/examples/mnist/create_mnist.sh这个shell脚本文件的代码:
#!/usr/bin/env sh #[1]这一行是你用vim创建一个shell脚本默认生成的
# This script converts the mnist data into lmdb/leveldb format,
# depending on the value assigned to $BACKEND.
set -e
#[2]定义路径变量
EXAMPLE=examples/mnist #[1]转换成功之后的LMDB数据存储的位置
DATA=data/mnist #[2]我们上一步下载的原始数据的位置
BUILD=build/examples/mnist #[3]执行数据转换的程序所在的位置
BACKEND="lmdb" #[3]转换成功之后的数据类型:LMDB形式
echo "Creating ${BACKEND}..." #[4]输出提示信息,$在shell编程中,表示引用变量
rm -rf $EXAMPLE/mnist_train_${BACKEND} #[5]如果已经存在转换成功的数据,删除
rm -rf $EXAMPLE/mnist_test_${BACKEND}
#[6]开始进行数据转换
$BUILD/convert_mnist_data.bin $DATA/train-images-idx3-ubyte \
$DATA/train-labels-idx1-ubyte $EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}
$BUILD/convert_mnist_data.bin $DATA/t10k-images-idx3-ubyte \
$DATA/t10k-labels-idx1-ubyte $EXAMPLE/mnist_test_${BACKEND} --backend=${BACKEND}
echo "Done." #[7]执行完毕,输出Done
#[1]第一部分---$BUILD/convert_mnist_data.bin----调用build/examples/mnist/文件
# 夹下的convert_mnist_data.bin可执行程序,这个程序将原始数据转换为LMDB格式的
# 程序,起作用相当于windows下的exe可执行文件,这个可执行程序所对应的源文件为
# caffe/examples/mnist/convert_mnist_data.cpp
#[2]第二部分---$DATA/train-images-idx3-ubyte----$DATA/train-labels-idx1-ubyte----
# 要进行转换的原始数据
#[3]第三部分---$EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}---指定转换之后的
# 数据格式和数据存储的位置
网络结构定义在./examples/mnist/lenet_train_test.prototxt
中。
训练参数配置在./examples/mnist/lenet_solver.prototxt
中。
如果电脑有GPU,则不需要修改配置文件lenet_solver.prototxt;如果没有GPU则需要修改lenet_solver的配置文件lenet_solver.prototxt
sudo vi ./examples/mnist/lenet_solver.prototxt
将这个文件的最后一行:
solver_mode:GPU------->solver_mode:CPU
3、训练超参数,有两种方式:
(1)通过命令行执行训练,代码如下:(这是书上的例子,可以参考网址上的例子,在后面。不同之处:网址上的例子在此处新建一个文件夹保存训练的模型)
cd ./caffe
./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt
(2)将以上训练的命令行代码写成训练脚本并命名为train_lenet.sh,放到mnist目录下。运行train_lenet.sh脚本进行训练。
cd caffe
./examples/mnist/train_lenet.sh
(若出错:Check failed: mdb_status == 0 (13 vs. 0) Permission denied *** Check failure stack trace: ***,则到caffe目录下,先清除:sudo make clean
(删掉了原有build文件)后,并重新编译:sudo make all -j4
(重新生成build文件),再重新训练。
等待几分钟,训练好后截图如下,准确率99.07%:
最终训练的模型保存在
caffe/examples/mnist/lenet_iter_10000.caffemodel
文件中,训练状态保存在caffe/examples/mnist/lenet_iter_10000.solverstate
文件中。
4、用训练好的模型对数据进行预测
利用训练好的Lenet-5模型权值文件(examples/mnist/lenet_iter_10000.caffemodel)可以对测试数据集(或外部测试集)进行预测,代码如下:(注意caffe.bin ,prototxt ,caffemodel 等的路径一定要根据自己的写对:)
./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/lenet_iter_5000.caffemodel -iterations=100