1.一种基于CenterNet的DM码关键点检测模型构建方法,其特征在于,包括以下步骤:步骤1,获取图像集:对DM码场景进行多尺度、多角度拍摄,得到图像集;
步骤2,对图像集进行标注:对图像集进行DM码标注,标注结果为DM码的类型信息以及四个角点的位置信息,其中四个角点为DM码的关键点;
步骤3,训练检测模型:将所述图像集作为输入,并对图像集进行数据增强,得到DM码类型信息、中心点偏移以及关键点相对与中心点偏移,经过解码得到关键点坐标输出,训练获得基于CenterNet网络的DM码关键点检测模型;
所述centernet网络的多任务检测头输出包括:
,C为类型信息数目;
,2为DM码的中心点偏移的横纵坐标;
以及 ,4为DM码的4个角点,3是关键点与中心点的距离、关键点和中心点连线与水平方向所成夹角的sin值和cos值;
对图像集进行数据增强包括对图像集进行随机对比度变换、水平翻转、旋转和透视投影变化;
上述模型训练的损失函数包括基础损失函数和加强损失函数;基础损失函数包括DM码分类损失函数、DM码中心点偏移坐标回归损失函数和DM码关键点偏移坐标回归损失函数;
加强损失函数包括DM码关键点热力图损失函数、标准DM码投影损失函数和DM码多边形IoU损失函数;
所述DM码分类损失函数,公式如下:
(1)
其中, 为DM码分类损失,为类别class, 为正样本数量, 为类别总数目, 为类别索引, 为特征图128*128下的横纵坐标, 和 为分别用于调整正负样本损失权重的超参数,对于每一个真实标注的DM码,都在热力特征图中用高斯核函数生成一组响应值, 表示预测响应值;
所述DM码中心点偏移坐标回归损失函数,公式如下:
(2)
其中, 为DM码中心点偏移坐标回归损失, 为中心点偏移center offset, 为正样本数量, 表示在输出特征图的 处是否有DM码目标, 表示目标object, 表示原图中DM码中心点的真实图像坐标, 表示中心center, 表示在特征图 中DM码中心点的真实图像坐标; 表示特征图 中 处坐标值, 为下采样因子;
所述DM码关键点偏移坐标回归损失函数,公式如下:
(3)
其中, 为DM码关键点偏移坐标回归损失, 为关键点偏移keypoint offset, 表示正样本数量, 表示在输出特征图的 处是否有DM码目标, 表示目标object, 表示原图中关键点的真实图像坐标, 表示在特征图 中DM码关键点的真实图像坐标;
表示特征图 中 处坐标值, 为下采样因子。
2.如权利要求1所述的基于CenterNet的DM码关键点检测模型构建方法,其特征在于,所述centernet网络的多任务检测头输出通过以下步骤得到:选择ResNet50作为特征提取网络,网络输出的3类特征图分别为 、和 ;进行多尺度特征融合,得到 的融合高分辨率特征
图;对融合高分辨率特征图使用 卷积、标准化和ReLU激活函数得到多任务检测头的3个输出: ,C为类型信息数目, ,2为DM码的中心点偏移的横纵坐标;
,4为DM码的4个角点,3是关键点与中心点距离、关键点和中心点连线与水平方向所成夹角的sin值和cos值。
3.如权利要求2所述的基于CenterNet的DM码关键点检测模型构建方法,其特征在于,所述DM码关键点热力图损失函数,公式如下:(4)
其中, 为DM码关键点热力图损失, 为关键点keypoint, 为正样本数量, 为类别总数目, 为类别索引, 为特征图 下的横纵坐标, 和 为分别用于调整正负样本损失权重的超参数,对于每一个真实标注的DM码关键点,都在热力特征图 中用高斯核函数生成一组响应值 , 表示预测响应值。
4.如权利要求3所述的基于CenterNet的DM码关键点检测模型构建方法,其特征在于,所述标准DM码投影损失函数,公式如下:(5)
其中, 表示标准DM码投影损失, 表示投影projection, 表示正样本数量,表示在输出特征图的 处是否有DM码目标, 和 表示在输出特征图 处的标准DM码中心点的预测值和真实值, 表示中心点center, 表示关键点keypoint, 表示预测标准predicated standard, 表示真实的标准standard, 和 表示在输出特征图 处的标准DM码关键点的预测值和真实值, 为坐标求距离函数, 和 分别为权重值, 表示standard center, 表示standard keypoint。
5.如权利要求4所述的基于CenterNet的DM码关键点检测模型构建方法,其特征在于,所述DM码多边形IoU损失函数,公式如下:(6)
其中, 表示DM码多边形IoU损失, 表示intersection over union交并比, 为正样本数量, 表示在输出特征图的 处是否有DM码目标, 和 分别表示在 特征图 处DM码关键点预测值和真实值围成的多边形, 表示多边形polygon, 表示交并比损失的运算策略。
6.如权利要求5所述的基于CenterNet的DM码关键点检测模型构建方法,其特征在于,通过所述基础损失函数和加强损失函数,定义多任务损失函数如下:(7)
其中, 为平衡各部分损失的权重,取 , 表示DM码分类损失,c表示类别class,, 表示DM码中心点偏移坐标回归损失, 表示中心点偏移center offset,, 表示DM码关键点偏移坐标回归损失, 表示关键点偏移keypoint offset, ,表示DM码关键点热力图损失, 表示关键点keypoint, , 表示标准DM码投影损失, 表示投影projection, , 表示DM码多边形IoU损失, 表示intersection over union交并比。
7.一种基于CenterNet的DM码关键点检测方法,其特征在于,包括以下步骤:加载权利要求1所述的基于CenterNet网络的DM码关键点检测模型,将待检测图像尺寸化为 并输入网络,得到DM码的类型信息,DM码中心点偏移信息和DM码关键点偏移信息;
对分类结果正确的样本进行解码,取出中心点预测坐标和关键点预测坐标;并将坐标信息转换至原始图片上进行预测框绘制,获取DM码的精确定位。