利索能及
我要发布
收藏
专利号: 2024106839004
申请人: 江苏电子信息职业学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种仪表盘终检系统,其特征在于,包括:

仪表盘图像采集模块,用于获取由摄像头采集的被检测仪表盘的检测图像;

仪表盘多层次特征提取模块,用于通过基于深度神经网络的仪表盘特征提取器对所述被检测仪表盘的检测图像进行多层次特征提取以得到仪表盘浅层特征图和仪表盘语义特征图;

仪表盘特征增强表达模块,用于将所述仪表盘浅层特征图和所述仪表盘语义特征图通过仪表盘多尺度特征增强表达模块以得到仪表盘多尺度浅层特征图和仪表盘多尺度语义特征图;

仪表盘语义信息转移凸显浅层特征模块,用于基于所述仪表盘多尺度语义特征图,对所述仪表盘多尺度浅层特征图进行基于注意力机制的区域转移以得到前景凸显仪表盘浅层特征;

仪表盘缺陷检测模块,用于基于所述前景凸显仪表盘浅层特征,确定所述被检测仪表盘是否存在缺陷。

2.根据权利要求1所述的仪表盘终检系统,其特征在于,所述基于深度神经网络的仪表盘特征提取器为基于金字塔网络的仪表盘特征提取器。

3.根据权利要求2所述的仪表盘终检系统,其特征在于,所述仪表盘特征增强表达模块,包括:第一卷积单元,用于将所述仪表盘浅层特征图通过所述仪表盘多尺度特征增强表达模块中的基于1×1卷积核的第一卷积层以得到通道变换仪表盘浅层特征图;

特征图拆分单元,用于将所述通道变换仪表盘浅层特征图沿着通道维度进行拆分以得到第一分支特征图、第二分支特征图、第三分支特征图和第四分支特征图;

特征提取单元,用于将所述第一分支特征图通过所述仪表盘多尺度特征增强表达模块中的卷积神经网络模型以得到第一分支输出特征图;

第二卷积单元,用于将所述第二分支特征图通过所述仪表盘多尺度特征增强表达模块中的基于3×3卷积核的第二卷积层进行处理以得到第二分支输出特征图;

第三卷积单元,用于将所述第二分支输出特征图和所述第三分支特征图进行融合后通过所述仪表盘多尺度特征增强表达模块中的基于3×3卷积核的第三卷积层进行处理以得到第三分支输出特征图;

第四卷积单元,用于将所述第三分支输出特征图和所述第四分支特征图进行融合后通过所述仪表盘多尺度特征增强表达模块中的基于3×3卷积核的第四卷积层进行处理以得到第四分支输出特征图;

多分支融合单元,用于融合所述第一分支输出特征图、所述第二分支输出特征图、所述第三分支输出特征图和所述第四分支输出特征图以得到多分支融合特征图;

第五卷积单元,用于将所述多分支融合特征图通过所述仪表盘多尺度特征增强表达模块中的基于1×1卷积核的第五卷积层进行处理以得到通道变换多分支融合特征图;

多尺度融合单元,用于融合所述通道变换多分支融合特征图和所述仪表盘浅层特征图以得到所述仪表盘多尺度浅层特征图。

4.根据权利要求3所述的仪表盘终检系统,其特征在于,所述仪表盘语义信息转移凸显浅层特征模块,包括:仪表盘多尺度语义空间聚焦单元,用于计算所述仪表盘多尺度语义特征图的空间注意特征矩阵;

掩码化处理单元,用于基于预定阈值对所述空间注意特征矩阵进行掩码化处理以得到掩码化空间注意特征矩阵;

仪表盘浅层特征前景凸显单元,用于计算所述仪表盘多尺度浅层特征图的各个特征矩阵与所述掩码化空间注意特征矩阵之间的按位置点乘以得到所述前景凸显仪表盘浅层特征图作为所述前景凸显仪表盘浅层特征。

5.根据权利要求4所述的仪表盘终检系统,其特征在于,所述仪表盘缺陷检测模块,用于:将所述前景凸显仪表盘浅层特征图通过基于分类器的仪表盘缺陷识别器以得到识别结果,所述识别结果用于表示所述被检测仪表盘是否存在缺陷。

6.根据权利要求5所述的仪表盘终检系统,其特征在于,还包括用于对所述基于金字塔网络的仪表盘特征提取器、所述仪表盘多尺度特征增强表达模块和所述基于分类器的仪表盘缺陷识别器进行训练的训练模块。

7.根据权利要求6所述的仪表盘终检系统,其特征在于,所述训练模块,包括:训练仪表盘图像采集单元,用于获取由摄像头采集的被检测仪表盘的训练检测图像;

训练仪表盘多层次特征提取单元,用于通过所述基于深度神经网络的仪表盘特征提取器对所述被检测仪表盘的训练检测图像进行多层次特征提取以得到训练仪表盘浅层特征图和训练仪表盘语义特征图;

训练仪表盘特征增强表达单元,用于将所述训练仪表盘浅层特征图和所述训练仪表盘语义特征图通过所述仪表盘多尺度特征增强表达模块以得到训练仪表盘多尺度浅层特征图和训练仪表盘多尺度语义特征图;

训练仪表盘多尺度语义空间聚焦单元,用于计算所述训练仪表盘多尺度语义特征图的训练空间注意特征矩阵;

训练掩码化处理单元,用于基于预定阈值对所述训练空间注意特征矩阵进行掩码化处理以得到训练掩码化空间注意特征矩阵;

训练仪表盘浅层特征前景凸显单元,用于计算所述训练仪表盘多尺度浅层特征图的各个特征矩阵与所述训练掩码化空间注意特征矩阵之间的按位置点乘以得到训练前景凸显仪表盘浅层特征图;

训练分类单元,用于将所述训练前景凸显仪表盘浅层特征图通过所述基于分类器的仪表盘缺陷识别器以得到训练分类损失函数值;

训练单元,用于基于所述训练分类损失函数值的加权和作为损失函数值对所述基于金字塔网络的仪表盘特征提取器、所述仪表盘多尺度特征增强表达模块和所述基于分类器的仪表盘缺陷识别器进行训练,在每次模型迭代时,对所述训练前景凸显仪表盘浅层特征图进行优化。

8.一种仪表盘终检方法,其特征在于,包括:

获取由摄像头采集的被检测仪表盘的检测图像;

通过基于深度神经网络的仪表盘特征提取器对所述被检测仪表盘的检测图像进行多层次特征提取以得到仪表盘浅层特征图和仪表盘语义特征图;

将所述仪表盘浅层特征图和所述仪表盘语义特征图通过仪表盘多尺度特征增强表达模块以得到仪表盘多尺度浅层特征图和仪表盘多尺度语义特征图;

基于所述仪表盘多尺度语义特征图,对所述仪表盘多尺度浅层特征图进行基于注意力机制的区域转移以得到前景凸显仪表盘浅层特征;

基于所述前景凸显仪表盘浅层特征,确定所述被检测仪表盘是否存在缺陷。

9.根据权利要求8所述的仪表盘终检方法,其特征在于,所述基于深度神经网络的仪表盘特征提取器为基于金字塔网络的仪表盘特征提取器。