利索能及
我要发布
收藏
专利号: 2023109950634
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于交叉融合注意力机制的危险品检测方法,其特征在于,包括以下步骤:获取太赫兹图像,所述太赫兹图像包括:训练图像和测试图像;

构建深度学习网络模型,所述深度学习网络模型包括:backbone特征提取网络、neck特征提取网路、高效融合模块、交叉融合自注意力和YoloHead检测头;

基于所述训练图像训练所述深度学习网络模型,得到训练好的深度学习网络模型;

将所述测试图像输入至训练好的深度学习网络模型中,输出危险品检测结果。

2.根据权利要求1所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,训练所述深度学习网络模型的过程包括:基于所述高效融合模块,将backbone特征提取网络、neck特征提取网路各自输出的特征图进行跨空间、跨通道融合,得到第一输出特征图。

3.根据权利要求2所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,跨空间融合的过程包括:获取输入特征图,通过卷积层扩大所述输入特征图的通道维数,并分割得到第一特征图,将所述第一特征图分别通过本地特征提取块、全局特征提取块,得到重要信息和全局上下文信息,将所述重要信息、所述全局上下文信息进行相加,得到第一注意力权重。

4.根据权利要求3所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,第一注意力权重的计算公式:s1,w=Пchunk(fc(F)1×1)

其中 表示sigmoid函数,local‑conv(·)表示本地特征提取块,global‑convC×H×W C(·)表示全局特征提取块,fc(·)1×1卷积核为1的卷积,F∈R 为输入特征图,s1,w∈R×H×W为第一特征图,w1为第一注意力权重。

5.根据权利要求3所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,跨通道融合的过程包括:将所述输入特征图分别进行平均池化和最大池化后拼接,得到拼接通道特征,基于本地特征提取块将所述拼接通道特征进行转换并分割,得到第一通道注意力特征图和第二通道注意力特征图;

获取输入特征图经过卷积层后的原始加权特征,将所述第一通道注意力特征图与所述原始加权特征相乘,得到加权特征;

将第二通道注意力特征图通过全局特征提取块、本地特征提取块和sigmoid函数,得到第二注意力权重;

基于所述原始加权特征、所述加权特征和所述第二注意力权重,得到第一输出特征图。

6.根据权利要求5所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,所述第一输出特征图的计算公式:*

s2=x1*s

Fout=s1*w1+x1*(1‑w1)+s2*w2+x1*(1‑w2)C×H×W * *

其中Fout∈R 表示高效融合模块的第一输出特征图,s 为第一通道注意力特征图,wC×H×W为第二通道注意力特征图,w2为第二注意力权重,s2为加权特征,x1∈R 为原始加权特征,s1为第一特征图权重。

7.根据权利要求1所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,训练所述深度学习网络模型的过程还包括:基于所述交叉融合自注意力,将neck特征提取网路输出的特征图进行融合,得到第二输出特征图。

8.根据权利要求7所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,得到第二输出特征图的过程包括:对所述输入特征图进行reshape和卷积操作,得到第一输入序列和第二输入序列,分别将所述第一输入序列、第二输入序列进行映射,得到第一映射参数和第二映射参数,基于所述第一映射参数和第二映射参数,计算得到第二输出特征图。

9.根据权利要求8所述的基于交叉融合注意力机制的危险品检测方法,其特征在于,第二输出特征图的计算公式:X1=Concat(head1,...,headh)WoHW×C/8 C×C

其中,headi∈R 是第i个注意力头的输出,Wo∈R 为加权矩阵, 分别表示查询向量、键向量和值向量;

Fout′=Conv(concate(X1,Conv(reshape(F2))1×1)1)1×1C×H×W

其中,concate(·,·)1表示在维度1对特征图进行拼接,Fout′∈R 表示交叉融合自注意力模块的第二输出特征图。

10.一种基于交叉融合注意力机制的危险品检测装置,其特征在于,包括:计算机、太赫兹成像设备和扫描式太赫兹收发装置;所述计算机依次与所述扫描式太赫兹收发装置、所述太赫兹成像设备连接。