使用Darknet训练您自己的数据集(YOLOV 3)
分享使用Darknet训练自己数据集的经验。并出色完成了POC的任务 aotflow-
你们可以按照下面的步骤来制作你们的AI识别模型。
环境：
系统：Ubunut 18 & CUDA 10.2
硬件：
Intel(R)core(TM)i5-3570 CPU@3.40GHz
NVIDIA GeForce GTX 1060 6GB
[LOL，我可以借这个硬件给你训练你自己的数据集，免费！LOL]
1.下载Darknet：
git clone /pjreddie/darknet cd darknet
2.修改darknet文件夹上的Makefile：
在Systemenv上安装CUDA：
vim ~/.bashrc
在最后面插入内容:
export CUDA_HOME=/usr/local/cudaexport PATH=$CUDA_HOME/bin:$PATHexport LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
在Darknet文件夹中，修改Makefile：
vim Makefile
GPU=1 #如果是用GPU是 1,CPU 是 0CUDNN=1 #如果是用CUDNN是1，否则是0
3.编译Darknet的源代码：
make
注意：如果OpenCV的错误或GPU问题，尝试使用CPU返回#2修改Makefile文件。
4.下载权重文件：
wget /media/files/yolov3.weights
使用权重文件，进行测试一下识别的模型：
./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg
如果打印出成功的识别信息，说明安装没有问题。
5.用LabelImg制作VOC数据集
使用Labellmg工具标记对象。把参数保存在工具上进行保存，同时，该工具将生成XML文件和图像。
6.建立VOC数据集
在VOC文件夹上创建文件夹：
Annotations/JPEGImages/ImageSets/Main
使用下在面的代码进行生成数据：
g.py:
import xml.etree.ElementTree as ETimport pickleimport osfrom os import listdir, getcwdfrom os.path import joinsets=[('', 'train'), ('', 'val'), ('', 'test')]classes = ["cocola", "sprite"]def convert(size, box):dw = 1./size[0]dh = 1./size[1]x = (box[0] + box[1])/2.0y = (box[2] + box[3])/2.0w = box[1] - box[0]h = box[3] - box[2]x = x*dww = w*dwy = y*dhh = h*dhreturn (x,y,w,h)def convert_annotation(year, image_id):in_file = open('Annotations/%s.xml'%(image_id))out_file = open('labels/%s.txt'%(image_id), 'w')tree=ET.parse(in_file)root = tree.getroot()size = root.find('size')w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):difficult = obj.find('difficult').textcls = obj.find('name').textif cls not in classes or int(difficult) == 1:continuecls_id = classes.index(cls)xmlbox = obj.find('bndbox')b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))bb = convert((w,h), b)out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')wd = getcwd()for year, image_set in sets:if not os.path.exists('labels/'):os.makedirs('labels/')image_ids = open('ImageSets/Main/%s.txt'%(image_set)).read().strip().split()list_file = open('%s_%s.txt'%(year, image_set), 'w')for image_id in image_ids:list_file.write('JPEGImages/%s.jpg\n'%(image_id))convert_annotation(year, image_id)list_file.close()
g1.py
import osimport randomtrainval_percent = 0.1train_percent = 0.9xmlfilepath = 'Annotations'txtsavepath = 'ImageSets\Main'total_xml = os.listdir(xmlfilepath)num = len(total_xml)list = range(num)tv = int(num * trainval_percent)tr = int(tv * train_percent)trainval = random.sample(list, tv)train = random.sample(trainval, tr)ftrainval = open('ImageSets/Main/trainval.txt', 'w')ftest = open('ImageSets/Main/test.txt', 'w')ftrain = open('ImageSets/Main/train.txt', 'w')fval = open('ImageSets/Main/val.txt', 'w')for i in list:name = total_xml[i][:-4] + '\n'if i in trainval:ftrainval.write(name)if i in train:ftest.write(name)else:fval.write(name)else:ftrain.write(name)ftrainval.close()ftrain.close()fval.close()ftest.close()
复制文件到darknet目录下 ，在执行：
cat _train.txt _val.txt > train.txt
将会产生：train.txt 文件
7.修改vo.data文件：
vim cfg/voc.data
classes= 2 # modify your classes data.train = train.txtvalid = _test.txtnames = data/voc.namesbackup = backup
8.修改voc.names
vim data/voc.names
cocolasprite
9.修改yolov3-vo.cfg文件：
# Testing# batch=1 # this part is for test network# subdivisions=1# Trainingbatch=32 #this part is for trainsubdivisions=16
[convolutional]size=1stride=1pad=1filters=21 # 3*(class+5),i will train 2 classes. so is 21activation=linear[yolo]mask = 6,7,8anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326classes=2 #edit classes for 2 num=9jitter=.3ignore_thresh = .5truth_thresh = 1random=1
10.下载darkent权重文件：
wget /media/files/darknet53.conv.74
11.开始训练你自己数据集的慢长之旅。
修改你的训练次数：
vim cfg/yolov3-voc.cfg
打开文件并修改如下：
[net]# Testing#batch=1#subdivisions=1# Trainingbatch=64subdivisions=16width=416height=416channels=3momentum=0.9decay=0.0005angle=0saturation = 1.5exposure = 1.5hue=.1learning_rate=0.001burn_in=1000max_batches = 2000 # setup max iteration, setup 20000 for this PCcpolicy=stepssteps=40000,45000scales=.1,.1
12.开始正式训练：
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.7
如果因为你的内存太小被kill了，查看一下backup目录面的文件，在续着来训。：
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_10000.weights
如果出现下面的这些模型在你的目录中，只能等了。。
yolov3-voc.backupyolov3-voc_300.weights yolov3-voc_800.weightsyolov3-voc_100.weights yolov3-voc_400.weights yolov3-voc_900.weightsyolov3-voc_10000.weights yolov3-voc_500.weights yolov3-voc_final.weightsyolov3-voc_200.weights yolov3-voc_600.weightsyolov3-voc_20000.weights yolov3-voc_700.weights
这个训练看电脑的配置和显卡，如果是用CPU来训练要很久。我用我的显卡进行训练，大约使用了1天（24~27小时）来完成这个训练。
如果你们想测试训练，可以来远程借我的电脑来训练一下。免费的，哈哈。
我的电子邮件是sunny.guan(at)
13.测试您的模式和测试数据集。
修改它：
vim cfg/yolov3-voc.cfg
修改下面内容：
[net]# Testingbatch=1#uncomment this 2 linesubdivisions=1# Training# comment this 2 line#batch=64#subdivisions=16
运行测试：
./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_final.weights /tmp/3-4.png
结果是：
Loading weights from backup/yolov3-voc_final.weights...Done!/tmp/3-4.png: Predicted in 0.045171 seconds.cocola: 100%cocola: 95%free(): invalid next size (fast)Aborted (core dumped)
如果你去这里。
恭喜你。您已经将自己的数据集训练成用于对象检测的AI模式。
如果你们训练你们的数据集很慢。你可以和我联系。我分享我的服务器给你训练你自己的数据。在我的地址下面查一查。
当你做这个过程。有任何问题。请咨询我。
我的电子邮件是：sunny.guan(At)，请替换(At)到@
在下面添加公司广告：-LOL.
奥托飞是IT咨询服务提供商，也是新技术应用的倡导者。
咨询服务：项目咨询及产品设计。
外包服务：Java/GO/Python/PHP/C/C++/Android/IOS
硬件和嵌入式开发：ARM/STM 32/PCB布局/C++/GO
人工智能开发：目标检测/人脸识别/实时跟踪等。
网站：
业务联系：info@
