darknet、yolov3训练数据集

一、标注工具位置（labelimg）

https://github.com/tzutalin/labelImg

可参照github上的readme.mdmacOS(Python 3 + Qt5)方式打开软件

1、运行软件

添加label并设置名称

2、保存后的文件为xml格式

二、下载编译darknet

YOLOV3使用一个开源的神经网络框架Darknet53，使用C和CUDA，有CPU和GPU两种模式。默认使用的是CPU模式，需要切换GPU模型的话，vim修改Makefile文件。

1、拉取darknet
git clone https://github.com/pjreddie/darknet 
cd darknet
2、修改配置⽂文件Makefile(如何使⽤用gpu可参考)
vim Makefile  #如果使用CPU模式。则不用修改Makefile文件

GPU=1 #如果使⽤用GPU设置为1，CPU设置为0
CUDNN=1 #如果使⽤用CUDNN设置为1，否则为0
OPENCV=0 #如果调⽤用摄像头，还需要设置OPENCV为1，否则为0 OPENMP=0 #如果使⽤用OPENMP设置为1，否则为0
DEBUG=0 #如果使⽤用DEBUG设置为1，否则为0
3、开始编译
make
4、下载yolov3预训练模型
wget https://pjreddie.com/media/files/yolov3.weights
5、测试

编译成功后，可以先用下载好的预训练模型测试一下效果

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

三、准备数据集、训练、测试

1、在darknet⽬目录下创建myData⽂文件夹，⽬目录结构如下，将之前标注好的图⽚片和xml⽂文件放到对应⽬目录下


将⾃自⼰己的数据集图⽚片拷⻉贝到JPEGImages⽬目录下。
将数据集label⽂文件拷⻉贝到Annotations⽬目录下。
在myData下创建test.py，将下⾯面代码拷⻉贝进去运⾏行行，将⽣生成四个⽂文件: train.txt,val.txt,test.txt和trainval.txt。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os
import random

trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftest.write(name)
        else:
            fval.write(name)
    else:
        ftrain.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

运行test.py
<font color=red>注：运行之前需要修改Annotations文件夹下xml文件图片路径</font>

<annotation verified="yes">
    <folder>雪茄银行样板</folder>
    <filename>IMG_9274.JPG</filename>
    <path>/Users/kuangzihan/Desktop/myData/JPEGImages/IMG_9274.JPG</path>

运行后生成4个txt文件


2、将数据转换成darknet⽀支持的格式

yolov3提供了了将VOC数据集转为YOLO训练所需要的格式的代码，在scripts/voclabel.py⽂文件中。这⾥里里提供⼀一个修改版本的。在darknet⽂文件夹下新建⼀一个mylables.py⽂文件，内容如下:

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets=[('myData', 'train')]

classes = ["cigar"]

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

    
    
def convert_annotation(year, image_id):
            
    print "27line image_id: %s" %(image_id)
    
    in_file = open('myData/Annotations/%s.xml'%(image_id))
    out_file = open('myData/labels/%s.txt'%(image_id), 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    print "52line year: %s image_set:%s" %(year, image_set)
    if not os.path.exists('myData/labels/'):
        os.makedirs('myData/labels/')
    image_ids = open('myData/ImageSets/Main/%s.txt'%(image_set)).read().strip().split()
    list_file = open('myData/%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        print "58line image_id: %s" %(image_id)
        list_file.write('%s/myData/JPEGImages/%s.jpg\n'%(wd, image_id))
        convert_annotation(year, image_id)
    list_file.close()
3、运⾏行行该脚本
python mylables.py

会在./myData⽬目录下⽣生成⼀一个labels⽂文件夹⼀一个txt⽂文件(myData_train.txt)(内容是: 类别的编码和⽬目标的相对位置)。 lables⽂文件中的‘txt⽂文件的含义为:

同理理如果要⽣生成训练数据 sets=[('myData', 'train')] 改为sets=[('myData', 'train'), ('myData', 'test')] 具体的每⼀一个值的计算⽅方式是这样的:假设⼀一个标注的boundingbox的左下⻆角和右上⻆角坐标分别为(x1,y1)(x2,y2)，图像的宽和⾼高分别为w,h 归⼀一化的中⼼心点x坐标计算公式:((x2+x1) / 2.0)/ w

归⼀一化的中⼼心点y坐标计算公式:((y2+y1) / 2.0)/ h 归⼀一化的⽬目标框宽度的计算公式: (x2-x1) / w 归⼀一化的⽬目标框⾼高度计算公式:((y2-y1)/ h

4、修改darknet/cfg下的voc.data和yolov3-voc.cfg⽂文件

为了了保险起⻅见，复制这两个⽂文件，并分别重命名为mydata.data和myyolov3.cfg my_data.data。

mydata.data内容:

classes= 1
classes= 1
train  = /myData/myData_train.txt
valid  = /myData/myData_test.txt
names = /myData/myData_test.txt
backup = /myData/backup

ctrl+f 搜 yolo, 总共会搜出3个含有yolo的地方。
每个地方都必须要改2处， filters：3*（5+len（classes））；
其中：classes: len(classes) = 20，这里以上述的20个类为例
filters = 75
classes = 20
可修改：random = 1：原来是1，显存小改为0。（是否要多尺度输出。）

5、可以指定训练批次和训练轮数

yolov3-voc.cfg参数理解

    [net]
# Testing                                  测试模式
# batch=1
# subdivisions=1
# Training                                 训练模式
 batch=64                                  一批训练样本的样本数量，每batch个样本更新一次参数
 subdivisions=16                           batch/subdivisions作为一次性送入训练器的样本数量,如果内存不够大，将batch分割为subdivisions个子batch
 
                                           上面这两个参数如果电脑内存小，则把batch改小一点，batch越大，训练效果越好
                                           subdivisions越大，可以减轻显卡压力
                                           
                                           
width=416                                  input图像的宽
height=416                                 input图像的高
channels=3                                 input图像的通道数
 
                                           以上三个参数为输入图像的参数信息 width和height影响网络对输入图像的分辨率，
                                           从而影响precision，只可以设置成32的倍数
                                           
                                           
momentum=0.9                               [?]DeepLearning1中最优化方法中的动量参数，这个值影响着梯度下降到最优值得速度https://nanfei.ink/2018/01/23/YOLOv2%E8%B0%83%E5%8F%82%E6%80%BB%E7%BB%93/#more
 
 
decay=0.0005                               [?]权重衰减正则项，防止过拟合.每一次学习的过程中，将学习后的参数按照固定比例进行降低，为了防止过拟合，decay参数越大对过拟合的抑制能力越强。
 
 
angle=0                                    通过旋转角度来生成更多训练样本
saturation = 1.5                           通过调整饱和度来生成更多训练样本
exposure = 1.5                             通过调整曝光量来生成更多训练样本
hue=.1                                     通过调整色调来生成更多训练样本
 
 
 
learning_rate=0.001                        学习率决定着权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。
                                           如果仅靠人为干预调整参数，需要不断修改学习率。刚开始训练时可以将学习率设置的高一点，
                                           而一定轮数之后，将其减小
                                           在训练过程中，一般根据训练轮数设置动态变化的学习率。
                                           刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
                                           一定轮数过后：逐渐减缓。
                                           接近训练结束：学习速率的衰减应该在100倍以上。
                                           学习率的调整参考https://blog.csdn.net/qq_33485434/article/details/80452941
                                           
                                           
burn_in=1000                               在迭代次数小于burn_in时，其学习率的更新有一种方式，大于burn_in时，才采用policy的更新方式
max_batches = 20200                        训练达到max_batches后停止学习
policy=steps                               这个是学习率调整的策略，有policy：constant, steps, exp, poly, step, sig, RANDOM，constant等方式
                                           参考https://nanfei.ink/2018/01/23/YOLOv2%E8%B0%83%E5%8F%82%E6%80%BB%E7%BB%93/#more
                                           
                                           
steps=40000,45000                          下面这两个参数steps和scale是设置学习率的变化，比如迭代到40000次时，学习率衰减十倍。
scales=.1,.1                               45000次迭代时，学习率又会在前一个学习率的基础上衰减十倍
 
 
 
[convolutional]
batch_normalize=1                          是否做BN
filters=32                                 输出特征图的数量
size=3                                     卷积核的尺寸
stride=1                                   做卷积运算的步长
pad=1                                      如果pad为0,padding由 padding参数指定;如果pad为1，padding大小为size/2，padding应该是对输入图像左边缘拓展的像素数量
activation=leaky                           激活函数的类型
 
# Downsample
 
[convolutional]
batch_normalize=1
filters=64
size=3
stride=2
pad=1
activation=leaky
 
[convolutional]
batch_normalize=1
filters=32
size=1
stride=1
pad=1
activation=leaky
 
[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky
 
[shortcut]
from=-3
activation=linear
 
# Downsample
 
   ......
 
# Downsample
 
 
######################
 
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
 
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
 
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
 
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
 
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
 
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
 
[convolutional]
size=1
stride=1
pad=1
filters=45                          每一个[region/yolo]层前的最后一个卷积层中的 filters=(classes+1+coords)*anchors_num，
                                    其中anchors_num 是该层mask的一个值.如果没有mask则 anchors_num=num是这层的ancho
                                    5的意义是5个坐标，论文中的tx,ty,tw,th,to
activation=linear
 
[yolo]                              在yoloV2中yolo层叫region层
mask = 6,7,8                        这一层预测第6、7、8个 anchor boxes ，每个yolo层实际上只预测3个由mask定义的anchors
 
 
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
                                    [?]anchors是可以事先通过cmd指令计算出来的，是和图片数量，width,height以及cluster(应该就是下面的num的值，
                                    即想要使用的anchors的数量)相关的预选框，可以手工挑选，也可以通过kmeans 从训练样本中学出
                                    
                                    
classes=10                          网络需要识别的物体种类数
num=9                               每个grid cell预测几个box,和anchors的数量一致。当想要使用更多anchors时需要调大num，且如果调大num后训练时Obj趋近0的话可以尝试调大object_scale
jitter=.3                           [?]利用数据抖动产生更多数据，YOLOv2中使用的是crop，filp，以及net层的angle，flip是随机的，
                                    jitter就是crop的参数，tiny-yolo-voc.cfg中jitter=.3，就是在0~0.3中进行crop
                                    
                                    
ignore_thresh = .5                  决定是否需要计算IOU误差的参数，大于thresh，IOU误差不会夹在cost function中 
truth_thresh = 1
random=0                            如果为1，每次迭代图片大小随机从320到608，步长为32，如果为0，每次训练大小与输入大小一致
 
[route]
layers = -4
 
......
 
 
#可以添加没有标注框的图片和其空的txt文件，作为negative数据
#可以在第一个[yolo]层之前的倒数第二个[convolutional]层末尾添加 stopbackward=1,以此提升训练速度
#即使在用416*416训练完之后，也可以在cfg文件中设置较大的width和height，增加网络对图像的分辨率，从而更可能检测出图像中的小目标，而不需要重新训练
#Out of memory的错误需要通过增大subdivisions来解决

因为是训练，所以注释Testing,打开Training，其中
batch=64 每batch个样本更更新⼀一次参数。
subdivisions=16 如果内存不不够⼤大，将batch分割为subdivisions个⼦子batch，每个⼦子batch的⼤大⼩小为batch/subdivisions(实验⽤用的batch=32 subdivisions=16)。

6、在myData⽂文件夹下新建myData.names⽂文件

cigar

7、下载预训练权重

wget https://pjreddie.com/media/files/darknet53.conv.74

8、开始训练

./darknet detector train cfg/my_data.data cfg/my_yolov3.cfg data/voc/VOCdevkit/VOC2020/weights/my_yolov3_last.weights -gups 0,1,2,3

查看gpu信息

9、测试

修改cfg/my_yolov3.cfg

[net]
# Testing
 batch=1
 subdivisions=1 
# Training
 #batch=32 
 #subdivisions=8

修改cfg/coco.names

cigar

./darknet detect cfg/my_yolov3.cfg data/voc/VOCdevkit/VOC2020/weights/my_yolov3_last.weights /home/lizhigang/darknet/data/voc/VOCdevkit/V OC2020/JPEGImages/000000.jpg

10、效果

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,126评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,254评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,445评论 0赞 341
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,185评论 1赞 278
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,178评论 5赞 371
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,970评论 1赞 284
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,276评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,927评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,400评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,646评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,213评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2赞 345