利索能及
我要发布
收藏
专利号: 2021108681665
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种目标检测模型的训练方法,包括:获取训练图像信息,其中,所述训练图像信息包括:样本图像,以及所述样本图像的样本目标信息;

将所述样本图像输入目标检测模型,以获取特征图序列以及预测目标信息,其中,所述特征图序列中的各个特征图按照尺度大小进行排序;

针对所述特征图序列中任意两个特征图组成的特征图对,对所述特征图对中的两个特征图按照第一尺度进行区域关系图提取处理,得到区域关系图对,其中,所述第一尺度为所述两个特征图的尺度中的较大尺度;

根据各个所述区域关系图对、所述样本目标信息、所述预测目标信息,对所述目标检测模型进行训练,得到训练好的目标检测模型。

2.根据权利要求1所述的方法,其中,所述将所述样本图像输入目标检测模型,以获取特征图序列以及预测目标信息,包括:将所述样本图像输入所述目标检测模型,以获取所述目标检测模型输出的预测目标信息,以及所述目标检测模型的主干网络中各个特征提取层输出的特征图;

对各个所述特征图按照尺度大小进行排序,得到所述特征图序列。

3.根据权利要求1所述的方法,其中,所述针对所述特征图序列中任意两个特征图组成的特征图对,对所述特征图对中的两个特征图按照第一尺度进行区域关系图提取处理,得到区域关系图对,包括:

针对所述特征图序列中任意两个特征图组成的特征图对,获取所述特征图对中的第一特征图和第二特征图,其中,所述第一特征图的尺度大于所述第二特征图的尺度;

确定所述第一特征图的尺度为所述第一尺度;

对所述第二特征图按照所述第一尺度进行上采样,得到所述第一尺度的目标特征图;

对所述目标特征图进行区域关系图提取处理,得到所述目标特征图对应的区域关系图;

对所述第一特征图进行区域关系图提取处理,得到所述第一特征图对应的区域关系图;

根据所述目标特征图对应的区域关系图以及所述第一特征图对应的区域关系图,生成所述区域关系图对。

4.根据权利要求3所述的方法,其中,所述对所述目标特征图进行区域关系图提取处理,得到所述目标特征图对应的区域关系图,包括:对所述目标特征图进行分块处理,得到多个特征子图;

针对每个待处理的特征子图,将所述待处理的特征子图分别与所述目标特征图中的各个其他特征子图按照自注意力机制进行处理,确定所述待处理的特征子图对应的区域关系子图;

根据各个所述区域关系子图,生成所述目标特征图对应的区域关系图。

5.根据权利要求1所述的方法,其中,所述根据各个所述区域关系图对、所述样本目标信息、所述预测目标信息,对所述目标检测模型进行训练,得到训练好的目标检测模型,包括:

对所述特征图对中的两个特征图分别按照注意力机制进行处理,得到所述第一尺度的两个注意力特征图;

根据所述第一尺度的两个注意力特征图,生成注意力特征图对;

根据各个所述区域关系图对、各个所述注意力特征图对、所述样本目标信息以及所述预测目标信息构建损失函数;

根据所述损失函数的值,对所述目标检测模型进行训练,得到训练好的目标检测模型。

6.根据权利要求5所述的方法,其中,所述根据各个所述区域关系图对、各个所述注意力特征图对、所述样本目标信息以及所述预测目标信息构建损失函数,包括:针对每个特征图对,根据所述特征图对对应的区域关系图,构建第一子损失函数;

根据所述特征图对对应的注意力特征图对,构建第二子损失函数;

根据所述样本目标信息以及所述预测目标信息,构建第三子损失函数;

根据各个所述特征图对对应的第一子损失函数和第二子损失函数,以及所述第三子损失函数,构建所述损失函数。

7.一种目标检测模型的训练装置,包括:获取模块,用于获取训练图像信息,其中,所述训练图像信息包括:样本图像,以及所述样本图像的样本目标信息;

输入模块,用于将所述样本图像输入目标检测模型,以获取特征图序列以及预测目标信息,其中,所述特征图序列中的各个特征图按照尺度大小进行排序;

处理模块,用于针对所述特征图序列中任意两个特征图组成的特征图对,对所述特征图对中的两个特征图按照第一尺度进行区域关系图提取处理,得到区域关系图对,其中,所述第一尺度为所述两个特征图的尺度中的较大尺度;

训练模块,用于根据各个所述区域关系图对、所述样本目标信息、所述预测目标信息,对所述目标检测模型进行训练,得到训练好的目标检测模型。

8.根据权利要求7所述的装置,其中,所述输入模块,包括:处理单元,用于将所述样本图像输入所述目标检测模型,以获取所述目标检测模型输出的预测目标信息,以及所述目标检测模型的主干网络中各个特征提取层输出的特征图;

排序单元,用于对各个所述特征图按照尺度大小进行排序,得到所述特征图序列。

9.根据权利要求7所述的装置,其中,所述处理模块包括:获取单元,用于针对所述特征图序列中任意两个特征图组成的特征图对,获取所述特征图对中的第一特征图和第二特征图,其中,所述第一特征图的尺度大于所述第二特征图的尺度;

确定单元,用于确定所述第一特征图的尺度为所述第一尺度;

采样单元,用于对所述第二特征图按照所述第一尺度进行上采样,得到所述第一尺度的目标特征图;

第一提取单元,用于对所述目标特征图进行区域关系图提取处理,得到所述目标特征图对应的区域关系图;

第二提取单元,用于对所述第一特征图进行区域关系图提取处理,得到所述第一特征图对应的区域关系图;

生成单元,用于根据所述目标特征图对应的区域关系图以及所述第一特征图对应的区域关系图,生成所述区域关系图对。

10.根据权利要求9所述的装置,其中,所述第一提取单元,包括:分块子单元,用于对所述目标特征图进行分块处理,得到多个特征子图;

处理子单元,用于针对每个待处理的特征子图,将所述待处理的特征子图分别与所述目标特征图中的各个其他特征子图按照自注意力机制进行处理,确定所述待处理的特征子图对应的区域关系子图;

生成子单元,用于根据各个所述区域关系子图,生成所述目标特征图对应的区域关系图。

11.根据权利要求7所述的装置,其中,所述训练模块包括:处理单元,用于对所述特征图对中的两个特征图分别按照注意力机制进行处理,得到所述第一尺度的两个注意力特征图;

生成单元,用于根据所述第一尺度的两个注意力特征图,生成注意力特征图对;

构建单元,用于根据各个所述区域关系图对、各个所述注意力特征图对、所述样本目标信息以及所述预测目标信息构建损失函数;

训练单元,用于根据所述损失函数的值,对所述目标检测模型进行训练,得到训练好的目标检测模型。

12.根据权利要求11所述的装置,其中,所述构建单元包括:第一构建子单元,用于针对每个特征图对,根据所述特征图对对应的区域关系图,构建第一子损失函数;

第二构建子单元,用于根据所述特征图对对应的注意力特征图对,构建第二子损失函数;

第三构建子单元,用于根据所述样本目标信息以及所述预测目标信息,构建第三子损失函数;

第四构建子单元,用于根据各个所述特征图对对应的第一子损失函数和第二子损失函数,以及所述第三子损失函数,构建所述损失函数。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。