利索能及
我要发布
收藏
专利号: 2024100877375
申请人: 深圳万知达企业管理有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种自监督可重参数化太赫兹图像危险品实例分割方法,其特征在于,具体包括以下步骤:获取太赫兹人体隐匿危险品安检图像数据集,并对所述太赫兹人体隐匿危险品安检图像数据集进行数据增强;

通过增强后的所述太赫兹人体隐匿危险品安检图像数据集预训练自监督学习图像掩码建模增强模型,获取所述自监督学习图像掩码建模增强模型的编码器参数;

所述自监督学习图像掩码建模增强模型,用于基于 的图像掩码建模方法提取特征能力;

其中,所述基于 的图像掩码建模方法由编码器和解码器构成,将所述增强后的太赫兹人体隐匿危险品安检图像数据集进行随机遮挡,未遮挡的像素作为稀疏体素,采用稀疏卷积进行编码,所述编码器输出若干个层级的特征图,并获取目标级别的特征,多级特征融合模块收集若干个所述目标级别的特征进行优化并传递至所述解码器进行图像重建;

所述多级特征融合模块收集若干个所述目标级别的特征进行优化并传递至所述解码器进行图像重建之前还包括:在每个层级中,基于所述目标级别的特征,通过最大池化、上采样操作调整每个级别,实现特征尺寸对齐,并采用卷积实现通道数对齐,即:其中, , ,

代表 卷积改变通道数到 , 代表双线性插值, 代表恒等映射, 代表最大池化特征图 到 分辨率, 为第 层中第 个级别经过对齐后输出的特征图, 为第 层特征图的参考高度, 为第 层特征图的参考宽度,为编码器输出层数量;

通过所述增强后的太赫兹人体隐匿危险品安检图像数据集预训练所述自监督学习图像掩码建模增强模型,获取所述自监督学习图像掩码建模增强模型的编码器参数包括:所述自监督学习图像掩码建模增强模型包括特征细化融合模块;

将所述自监督学习图像掩码建模增强模型作为自主监督学习的编码器,并通过所述特征细化融合模块将所述增强后的太赫兹人体隐匿危险品安检图像数据集中的图像进行融合,获取融合后的特征图;

填充稀疏特征映射所有空白位置,采用所述解码器对所述融合后的特征图进行解码和重建,完成所述自监督学习图像掩码建模增强模型的预训练,进而获取所述自监督学习图像掩码建模增强模型的编码器参数;

将所述自监督学习图像掩码建模增强模型的编码器作为实例分割模型的初始特征提取主干网络;

迁移所述编码器参数,通过未增强的所述太赫兹人体隐匿危险品安检图像数据集微调所述实例分割模型的初始特征提取主干网络,获取所述实例分割模型的特征提取主干网络;

将待分割的人体隐匿危险品安检图像输入所述实例分割模型的特征提取主干网络,提取多尺度特征,将所述多尺度特征进行集成,并进行动态解耦,获取危险品检测分割结果。

2.如权利要求1所述的一种自监督可重参数化太赫兹图像危险品实例分割方法,其特征在于,获取所述太赫兹人体隐匿危险品安检图像数据集,并对所述太赫兹人体隐匿危险品安检图像数据集进行数据增强包括:利用太赫兹成像设备,获取若干张目标图像;

标注若干张所述目标图像中危险品的轮廓,并将轮廓点的坐标转化生成标签数据,获取所述太赫兹人体隐匿危险品安检图像数据集;

采用基于 的自动数据增强方法对所述太赫兹人体隐匿危险品安检图像数据集进行自动数据增强;

其中,所述基于 的自动数据增强方法由像素增强空间和空间增强空间组成。

3.如权利要求1所述的一种自监督可重参数化太赫兹图像危险品实例分割方法,其特征在于,所述预训练过程为:, 其中, 和 分别代表

融合机制隐函数和融合后的特征图,表示第 个输出层, 和 分别代表掩码嵌入 填充操作以及填充后的特征图, 代表解码器连续块的隐函数, 、 、分别对应主干里不同尺度的特征图。

4.如权利要求1所述的一种自监督可重参数化太赫兹图像危险品实例分割方法,其特征在于,迁移所述编码器参数,通过未增强的所述太赫兹人体隐匿危险品安检图像数据集微调所述实例分割模型的初始特征提取主干网络,获取所述实例分割模型的特征提取主干网络包括:通过迁移所述编码器参数,将所述未增强的太赫兹人体隐匿危险品安检图像数据集输入所述实例分割模型,利用结构重参化模块对所述实例分割模型的初始特征提取主干网络进行微调训练,获取所述实例分割模型的特征提取主干网络;

其中,所述结构重参化模块,用于将给定的初始特征图进行卷积和分离,获取第一特征图和第二特征图,将所述第一特征图输入DBB模块,将所述DBB模块输出的特征图与所述第一特征图和所述第二特征图进行融合,并经过卷积操作输出目标特征图;

所述结构重参化模块为:

其中, 为特征图, 为 模块输

出的特征图, 和 表示卷积和 模块的隐函数, 和

分别表示分离和融合操作, 为输出特征图。

5.如权利要求4所述的一种自监督可重参数化太赫兹图像危险品实例分割方法,其特征在于,对所述实例分割模型的初始特征提取主干网络进行微调训练还包括:采用函数对损失函数进行优化,即:其中, 为损失函数,

为检测层个数, 为边框回归损失函数, 为分类损失函数, 、 为损失函数的权重系数, 为边界框损失函数, 为预测框损失函数。

6.如权利要求1所述的一种自监督可重参数化太赫兹图像危险品实例分割方法,其特征在于,将所述待分割的人体隐匿危险品安检图像输入所述实例分割模型的特征提取主干网络,提取多尺度特征,将所述多尺度特征进行集成,并进行动态解耦,获取危险品检测分割结果包括:将所述待分割的人体隐匿危险品安检图像输入所述实例分割模型,经过所述实例分割模型的特征提取主干网络,提取多尺度特征;

将所述多尺度特征进行集成,并通过动态解耦头部模块进行动态解耦,获取所述危险品检测分割结果;

其中,所述危险品检测分割结果包括危险品检测框、危险品类别代号、危险品分割掩膜和预测置信度的结果图像。

7.如权利要求6所述的一种自监督可重参数化太赫兹图像危险品实例分割方法,其特征在于,所述动态解耦头部模块,用于给定若干个尺寸依次减半的特征图,分别用卷积减低通道数得到若干个卷积后的特征图,并输入动态注意力模块,采用解耦头部进行危险品特征检测分割;

所述动态解耦头部模块为:

其中, 、

、 、 、 、 均为特征图,且 , ,

, , ,

, 表示由 个连续的 组成的动

态注意模块的隐函数, 表示解耦检测头的隐函数, 表示卷积函数,表示第 层解耦头的输出特征图, 为动态注意模块处理后的输出特征图。