运行caffe的mnist示例

本文参考博客:
运行caffe自带的mnist实例教程
caffe自带的第一个例子,Mnist手写数字识别代码,过程,网络详解
[Caffe]:关于caffe新手入门
Caffe中对MNIST执行train操作执行流程解析

1.下载mnist数据集

进入caffe目录cd ./caffe,caffe里面是不包括训练的数据集的,但是提供了下载的shell文件,直接运行即可下载数据集
sudo sh ./data/mnist/get_mnist.sh
运行下载四个文件
(1) train-images-idx-ubyte-----训练样本集合
(2) train-labels-idx1-ubyte----训练样本对应的标注的集合
(3) t10k-images-idx3-ubyte-----测试图片集
(4) t10k-labels-idx1-ubyte-----测试样本对应的标注的集合

2、转换格式,转换成caffe可以运行的LMDB格式

./examples/mnist/create_mnist.sh
完成后在examples/mnist生成了两个目录:mnist_test_lmdb和mnist_train_lmdb,每个目录下有两个文件:data.mdb和lock.mdb。

数据格式转换

现在我们来看一下caffe/examples/mnist/create_mnist.sh这个shell脚本文件的代码:

#!/usr/bin/env sh #[1]这一行是你用vim创建一个shell脚本默认生成的
# This script converts the mnist data into lmdb/leveldb format,
# depending on the value assigned to $BACKEND.
set -e
#[2]定义路径变量

EXAMPLE=examples/mnist #[1]转换成功之后的LMDB数据存储的位置
DATA=data/mnist #[2]我们上一步下载的原始数据的位置
BUILD=build/examples/mnist #[3]执行数据转换的程序所在的位置

BACKEND="lmdb" #[3]转换成功之后的数据类型:LMDB形式

echo "Creating ${BACKEND}..." #[4]输出提示信息,$在shell编程中,表示引用变量

rm -rf $EXAMPLE/mnist_train_${BACKEND} #[5]如果已经存在转换成功的数据,删除
rm -rf $EXAMPLE/mnist_test_${BACKEND}

#[6]开始进行数据转换
$BUILD/convert_mnist_data.bin $DATA/train-images-idx3-ubyte \
$DATA/train-labels-idx1-ubyte $EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}
$BUILD/convert_mnist_data.bin $DATA/t10k-images-idx3-ubyte \
$DATA/t10k-labels-idx1-ubyte $EXAMPLE/mnist_test_${BACKEND} --backend=${BACKEND}
echo "Done." #[7]执行完毕,输出Done
#[1]第一部分---$BUILD/convert_mnist_data.bin----调用build/examples/mnist/文件
# 夹下的convert_mnist_data.bin可执行程序,这个程序将原始数据转换为LMDB格式的
# 程序,起作用相当于windows下的exe可执行文件,这个可执行程序所对应的源文件为
# caffe/examples/mnist/convert_mnist_data.cpp
#[2]第二部分---$DATA/train-images-idx3-ubyte----$DATA/train-labels-idx1-ubyte----
# 要进行转换的原始数据
#[3]第三部分---$EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}---指定转换之后的
# 数据格式和数据存储的位置

网络结构定义在./examples/mnist/lenet_train_test.prototxt中。
训练参数配置在./examples/mnist/lenet_solver.prototxt中。
如果电脑有GPU,则不需要修改配置文件lenet_solver.prototxt;如果没有GPU则需要修改lenet_solver的配置文件lenet_solver.prototxt
sudo vi ./examples/mnist/lenet_solver.prototxt
将这个文件的最后一行:
solver_mode:GPU------->solver_mode:CPU

3、训练超参数,有两种方式:

(1)通过命令行执行训练,代码如下:(这是书上的例子,可以参考网址上的例子,在后面。不同之处:网址上的例子在此处新建一个文件夹保存训练的模型)
cd ./caffe
./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt
(2)将以上训练的命令行代码写成训练脚本并命名为train_lenet.sh,放到mnist目录下。运行train_lenet.sh脚本进行训练。
cd caffe
./examples/mnist/train_lenet.sh
(若出错:Check failed: mdb_status == 0 (13 vs. 0) Permission denied *** Check failure stack trace: ***,则到caffe目录下,先清除:sudo make clean(删掉了原有build文件)后,并重新编译:sudo make all -j4(重新生成build文件),再重新训练。
等待几分钟,训练好后截图如下,准确率99.07%:

训练结果截图

最终训练的模型保存在caffe/examples/mnist/lenet_iter_10000.caffemodel文件中,训练状态保存在caffe/examples/mnist/lenet_iter_10000.solverstate文件中。

4、用训练好的模型对数据进行预测

利用训练好的Lenet-5模型权值文件(examples/mnist/lenet_iter_10000.caffemodel)可以对测试数据集(或外部测试集)进行预测,代码如下:(注意caffe.bin ,prototxt ,caffemodel 等的路径一定要根据自己的写对:)
./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/lenet_iter_5000.caffemodel -iterations=100

测试结果截图

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容