前不久从大数据局那里接到了一个任务，让我们做一个道路破损的目标检测，上网搜了一搜，发现资料并不是很多。
torch1.11.0
torchvision0.12.0
python 3.8
anaconda
2080Ti
数据集是大数据局的，不方便上传。
大部分长这样：图片有部分是带有破损的，可能是避开关键信息吧，我也不是很清楚，但是也是可以传入模型进行训练，精度肯定会收到影响，不过影响甚微。
大数据的图片并不是很多，但是用于目标检测是足够了，由于道路破损相对于其他的物体检测显得更为困难，因为它没有固定的形状，大部分都是不规则的裂缝，所以我们又自己找了一些数据集来扩充训练：
下面是之前道路破损比赛的一个官网信息，里面可以下载到数据集。
Overview | IEEE International Conference on Big Data (sekilab.global)https://rdd.sekilab.global/overview/该数据集包含不同国家的道路图像，它们是日本、印度、捷克。
导师建议使用yolov5模型进行训练：
GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite/ultralytics/yolov5
对于yolov5来说，超参数都配置在.\data\hyps\下面；模型都配置在.\models\的下面的yaml文件。
数据集需要如上图所示配置：
datasets--
voc--
Annotations--所有标注（voc）
images--所有图像
ImageSets--
Main--
yolov5-master--
上图VOC里面的3个py文件：
find_none_xml.py：找到所有没有标注框的xml文件
import osimport xml.etree.ElementTree as ETxml_path = r"Annotations"signed = 1print('------------------无标签------------------')for step, each_xml in enumerate(os.listdir(xml_path)):if each_xml.split('.')[-1] == 'xml':with open(xml_path + '/' + each_xml, encoding='utf8') as fp:try:tree = ET.parse(fp)root = tree.getroot()size = root.find('object')if size is None:signed = 0print('| ', each_xml) # 打印没有框的xml文件except:print(each_xml)if signed == 1:print('| 所有标签均正常')print('-----------------------------------------')else:print('--------请检查以上文件的标签是否正确！--------')
makeTXT.py：把所有数据划分成为训练集、验证集、测试集
"""生成Main里面的4个txt文件，对应每一个图片名称"""import osimport randomtraintest_percent = 0.9 # 测试集的比例（1-traintest_percent）train_percent = 0.8 # 训练集和测试集的比例（训练集的占比）xmlfilepath = 'Annotations' # xmltxtsavepath = 'ImageSets' # 训练集、验证集、测试集的路径total_xml = os.listdir(xmlfilepath) # 所有xml的名称num = len(total_xml)list = range(num) # 【0， num - 1】tv = int(num * traintest_percent) # 验证集和训练集的数量tr = int(tv * train_percent) # 训练集数量# sample(list, k)返回一个长度为k新列表，新列表存放list所产生k个随机唯一的元素trainval = random.sample(list, tv)train = random.sample(trainval, tr)ftrainval = open('ImageSets/Main/trainval.txt', 'w')ftest = open('ImageSets/Main/test.txt', 'w')ftrain = open('ImageSets/Main/train.txt', 'w')fval = open('ImageSets/Main/val.txt', 'w')for i in list:# [:-4]切掉后4位（.xml）name = total_xml[i][:-4] + '\n'if i in trainval:ftrainval.write(name)if i in train:ftrain.write(name)else:fval.write(name)else:ftest.write(name)ftrainval.close()ftrain.close()fval.close()ftest.close()
xml2txt.py：生成yolov5模型所必须的txt文件（最后一步）
import xml.etree.ElementTree as ETimport pickleimport osfrom os import listdir, getcwdfrom os.path import join# sets设置的就是sets = ['train', 'val', 'test']# 类别classes = ["0"] # 寻找类别（这里写自己标注的类别就行）# 转换成yolo格式的标注【类别， x代表标注中心横坐标在图像中的比例，y代表标注中心纵坐标在图像中的比例，w表示标注框宽占比，h表示标注框高占比】def convert(size, box):dw = 1. / size[0]dh = 1. / size[1]x = (box[0] + box[1]) / 2.0 - 1y = (box[2] + box[3]) / 2.0 - 1w = box[1] - box[0]h = box[3] - box[2]x = x * dww = w * dwy = y * dhh = h * dhreturn (x, y, w, h)def convert_annotation(image_id):in_file = open('Annotations/%s.xml' % image_id, encoding='utf8')out_file = open('labels/%s.txt' % image_id, 'w')tree = ET.parse(in_file)root = tree.getroot()size = root.find('size')w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):difficult = obj.find('difficult').textcls = obj.find('name').textif cls not in classes or int(difficult) == 1:continuecls_id = classes.index(cls)xmlbox = obj.find('bndbox')# b是2个坐标的4个值b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),float(xmlbox.find('ymax').text))bb = convert((w, h), b)# 【类别， x代表标注中心横坐标在图像中的比例，y代表标注中心纵坐标在图像中的比例，w表示标注框宽占比，h表示标注框高占比】out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')wd = getcwd() # D:\pycharm-project\yolo\datasets\VOC# sets：train、val、testfor image_set in sets:# 创建labelsif not os.path.exists('labels/'):os.makedirs('labels/')image_ids = open('ImageSets/Main/%s.txt' % image_set).read().strip().split()list_file = open('%s.txt' % image_set, 'w')# 对每一张进行操作for image_id in image_ids:list_file.write(wd + '\\images/%s.jpg\n' % image_id) # 写入每一个图片的路径convert_annotation(image_id)list_file.close()
同级目录下非必须脚本：
open_txt.py（将测试集单独分出）
import osfrom shutil import copyfiletest_path = r'test.txt'target_path = r'tests'if not os.path.isdir(target_path):os.mkdir(target_path)with open(test_path) as fp:all_img = fp.read()each_img = all_img.split()for images in each_img:img_name = images.split('/')[-1]copyfile(images, target_path + '/' + img_name)print(img_name, '复制完毕')fp.close()
之后不要忘记了配置一下环境：
pip install -r requirements.txt [-i 其他源]
布置好我们的数据集，我们直接运行train.py即可！
注意：
这里我们不是分了4类（比赛根据不同的破损类型分了4类），而是只用了一个类别，即所有的道路破损。
我们需要对数据集配置文件进行修改：
voc_myself.yaml:
train: ../datasets/VOC/train.txt #此处是/而不是\val: ../datasets/VOC/val.txt #此处是/而不是\test: ../datasets/VOC/test.txt #此处是/而不是\# Classesnc: 1 # number of classes 数据集类别数量names: ['0'] # class names 数据集类别名称，注意和标签的顺序对应
终端运行进行训练：
python train.py --cfg .\models\yolov5n.yaml --data .\data\voc_myself.yaml --hyp .\data\hyps\hyp.VOC.yaml --epochs 200 --imgsz 416 --device 0 --single-cls --name first_train --optimizer AdamW --workers 4
经过一系列调参之后的预测结果：
注：
预测是使用的detect.py脚本，如果想看测试集的指标，可以使用val.py脚本（其他yolov5版本也叫test.py）。
作者使用的detect.py是自己微调过的。
为了进一步提高精度，我们之后使用了当时比赛冠军的开源代码：
GitHub - USC-InfoLab/rddc: road damage detection challenge /USC-InfoLab/rddc注意：冠军使用的配置文件和最新版yolov5不一样。
冠军代码训练效果图预览：
通过Recall、Precision和Ap指标可以得到冠军的参数配置更有利于道路破损的拟合。
冠军的超参数文件：
hyp.myself.yaml：
lr0: 0.01lrf: 0.2momentum: 0.937weight_decay: 0.0005warmup_epochs: 3.0warmup_momentum: 0.8warmup_bias_lr: 0.1giou: 0.05cls: 0.5cls_pw: 1.0obj: 1.0obj_pw: 1.0iou_t: 0.2anchor_t: 4.0fl_gamma: 0.0hsv_h: 0.015hsv_s: 0.7hsv_v: 0.4degrees: 0.0translate: 0.1scale: 0.5shear: 0.0perspective: 0.0flipud: 0.0fliplr: 0.5mosaic: 1.0mixup: 0.0
相较之下：
yolov5的新提出的一个数据增强未被使用：copy_paste（分割填补 ）
边框回归，从最初的IoU到GIoU，随后yolov5又提出了DIoU到CIoU作为边框回归的指标，可以看到冠军的代码是较早的yolov5版本。
