利索能及
我要发布
收藏
专利号: 2023105955145
申请人: 车金喜汽配股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-03-28
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种汽车零部件用加工系统,其特征在于,包括:

数据采集模块,用于获取由摄像头采集的预定时间段内的汽车零部件状态监控视频,以及所述预定时间段内多个预定时间点的环境温度值;

关键帧提取模块,用于从所述汽车零部件状态监控视频提取多个零部件状态关键帧;

零部件状态变化特征提取模块,用于将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图;

空间增强模块,用于将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图;

降维模块,用于对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量;

多尺度温度特征提取模块,用于将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量;

空间联立模块,用于对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵;以及管理结果生成模块,用于将所述分类特征矩阵通过分类器以得到分类结果,所述分类结果表示该汽车零部件的质量是否合格;

其中,所述空间联立模块,包括:

计算所述增强零部件状态变化特征向量和所述温度特征向量之间的协方差矩阵;

对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量;以及将所述多个特征向量排列为核心特征矩阵,并计算所述协方差矩阵与所述核心特征矩阵之间的矩阵乘积以得到所述分类特征矩阵。

2.根据权利要求1所述的汽车零部件用加工系统,其特征在于,所述关键帧提取模块,用于:以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

3.根据权利要求2所述的汽车零部件用加工系统,其特征在于,所述零部件状态变化特征提取模块,包括:使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;

对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;

其中,所述使用三维卷积核的第一卷积神经网络模型的最后一层的输出为所述零部件状态变化特征图,所述使用三维卷积核的第一卷积神经网络模型的第一层的输入为所述三维输入张量。

4.根据权利要求3所述的汽车零部件用加工系统,其特征在于,所述空间增强模块,包括:深度卷积编码单元,用于使用所述空间注意力模块的卷积编码部分对所述零部件状态变化特征图进行深度卷积编码以得到初始卷积特征图;

空间注意力单元,用于将所述初始卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图;

激活单元,用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图;

以及

计算单元,用于计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘,以得到所述增强零部件状态变化特征图。

5.根据权利要求4所述的汽车零部件用加工系统,其特征在于,所述多尺度邻域特征提取模块,包括:第一卷积层、与所述第一卷积层并行的第二卷积层,以及,与所述第一卷积层和所述第二卷积层连接的级联层,其中,所述第一卷积层使用具有第一长度的一维卷积核,所述第二卷积层使用具有第二长度的一维卷积核。

6.根据权利要求5所述的汽车零部件用加工系统,其特征在于,所述多尺度温度特征提取模块,包括:第一尺度温度特征提取单元,用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度温度特征向量,其中,所述第一卷积层具有第一长度的一维卷积核;

第二尺度温度特征提取单元,用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度温度特征向量,其中,所述第二卷积层具有第二长度的一维卷积核,所述第一长度不同于所述第二长度;以及多尺度级联单元,用于将所述第一尺度温度特征向量和所述第二尺度温度特征向量进行级联以得到所述温度特征向量。

7.一种汽车零部件用加工方法,其特征在于,包括:

获取由摄像头采集的预定时间段内的汽车零部件状态监控视频,以及所述预定时间段内多个预定时间点的环境温度值;

从所述汽车零部件状态监控视频提取多个零部件状态关键帧;

将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图;

将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图;

对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量;

将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量;

对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵;以及将所述分类特征矩阵通过分类器以得到分类结果,所述分类结果表示该汽车零部件的质量是否合格;

其中,对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵,包括:计算所述增强零部件状态变化特征向量和所述温度特征向量之间的协方差矩阵;

对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量;以及将所述多个特征向量排列为核心特征矩阵,并计算所述协方差矩阵与所述核心特征矩阵之间的矩阵乘积以得到所述分类特征矩阵。

8.根据权利要求7所述的汽车零部件用加工方法,其特征在于,从所述汽车零部件状态监控视频提取多个零部件状态关键帧,用于:以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

9.根据权利要求8所述的汽车零部件用加工方法,其特征在于,将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图,包括:使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;

对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;

其中,所述使用三维卷积核的第一卷积神经网络模型的最后一层的输出为所述零部件状态变化特征图,所述使用三维卷积核的第一卷积神经网络模型的第一层的输入为所述三维输入张量。