利索能及
我要发布
收藏
专利号: 2024104753013
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种便携式光谱成像的材料鉴别方法,其特征在于,包括如下步骤:

下载光谱数据集,构建初始光谱重建网络模型,通过所述光谱数据集对所述初始光谱重建网络模型进行训练,得到训练光谱重建网络模型,对所述训练光谱重建网络模型进行模型压缩,并对压缩后光谱重建网络模型进行格式转换,得到光谱重建网络模型;

将移动设备的摄像头替换为预先组装的光场摄像头,将所述光谱重建网络模型部署到移动设备中,得到光场光谱成像设备;

通过所述光场光谱成像设备采集多种材料在不同的角度和环境下对应的多个光场图像,并重建得到对应的多个光谱图像,分别根据每个所述光谱图像生成对应的多个光谱曲线图,并将各个材料类别与对应的多个光谱曲线图构建成材料数据集;

通过所述材料数据集对预构建的初始MobileNetV3网络模型进行训练,对训练后MobileNetV3网络模型进行格式转换,得到MobileNetV3网络模型;

将所述MobileNetV3网络模型部署到所述光场光谱成像设备中,通过经部署后的光场光谱成像设备对目标材料进行类型鉴别,得到材料类型结果,并将所述材料类型结果显示在部署后的光场光谱成像设备的可视化界面中;

所述构建初始光谱重建网络模型,具体为:

通过激活函数层、池化层、残差块、三个普通卷积层和多个注意力块构建初始光谱重建网络模型,包括:将输入端端口与第一普通卷积层的输入连接,将所述第一普通卷积层的输出与首个注意力块的输入连接,将多个注意力块逐一连接,将最后一个注意力块的输出与第二普通卷积层的输入连接,分别将所述第一普通卷积层的输出和所述第二普通卷积层的输出与所述残差块的输入连接,将所述残差块的输出与所述激活函数层的输入连接,将所述激活函数层的输出与所述池化层的输入连接,将所述池化层的输出与第三普通卷积层的输入连接,将所述第三普通卷积层的输出与输出端端口连接,完成初始光谱重建网络模型的构建。

2.根据权利要求1所述的材料鉴别方法,其特征在于,所述对所述训练光谱重建网络模型进行模型压缩,具体为:对所述训练光谱重建网络模型进行模型更新,得到更新光谱重建网络模型;

对所述更新光谱重建网络模型进行模型稀疏化,得到剪枝光谱重建网络模型;

对所述剪枝光谱重建网络模型进行模型量化,得到压缩后光谱重建网络模型。

3.根据权利要求2所述的材料鉴别方法,其特征在于,所述对所述训练光谱重建网络模型进行模型更新,得到更新光谱重建网络模型,具体为:将所述训练光谱重建网络模型的第一普通卷积层、第二普通卷积层和第三普通卷积层均替换为深度可分离卷积层,得到更新光谱重建网络模型。

4.根据权利要求2所述的材料鉴别方法,其特征在于,所述更新光谱重建网络模型包括多个神经元;

所述对所述更新光谱重建网络模型进行模型稀疏化,得到剪枝光谱重建网络模型,具体为:通过所述光谱数据集对所述更新光谱重建网络模型进行验证,得到验证光谱重建网络模型;

通过APoZ指标表达式对所述验证光谱重建网络模型的多个神经元进行计算,得到多个激活稀疏指标,所述APoZ指标表达式为:其中, 表示第i层中第c个通道的激活稀疏指标, 表示第i层中第c个通道的第j个位置的输出,N表示用于验证的图像样本个数,M表示 输出特征图大小,k表示神经元的索引;

分别将多个所述激活稀疏指标与预设指标阈值进行比较,对小于阈值的激活稀疏指标所对应的神经元进行剪枝,得到剪枝光谱重建网络模型。

5.根据权利要求1所述的材料鉴别方法,其特征在于,所述光谱数据集包括多个真实光场图像和多个对应的真实光谱图像;

所述通过所述光谱数据集对所述初始光谱重建网络模型进行训练,得到训练光谱重建网络模型,具体为:通过多个真实光场图像和多个对应的真实光谱图像对所述初始光谱重建网络模型进行训练,得到多个训练重建光谱图像;

通过预构建的损失函数分别对多个所述训练重建光谱图像与对应的真实光谱图像进行计算,得到多个重建损失,所述损失函数为:其中,L表示重建损失, 表示真实光谱图像的第j个像素值, 表示训练重建光谱图像的第j个像素值,N表示图像的总像素数,ε表示真实光谱图像的零点;

对多个所述重建损失进行加权计算,得到总损失,分别通过所述总损失对所述初始光谱重建网络模型进行迭代优化,得到训练光谱重建网络模型。

6.根据权利要求1所述的材料鉴别方法,其特征在于,所述将移动设备的摄像头替换为预先组装的光场摄像头,具体为:预先将图像传感器、液晶微透镜阵列、偏振片和主透镜按照图像传感器、液晶微透镜阵列、偏振片和主透镜的顺序放置,并组装成光场摄像头;

将移动设备的摄像头替换为所述光场摄像头。

7.根据权利要求1所述的材料鉴别方法,其特征在于,所述通过所述光场光谱成像设备采集多种材料在不同的角度和环境下对应的多个光场图像,并重建得到对应的多个光谱图像,还包括:通过所述光场光谱成像设备采集多种材料在不同的角度和环境下对应的多个光场图像,通过伪量化表达式对所述光谱重建网络模型进行参数类型还原,所述伪量化表达式为:其中,Q(x,scale,zero_point)表示量化函数,round()表示对网络参数进行四舍五入操作,x表示网络参数,scale表示拉伸比例,zero_point表示零值对应的数据类型;

通过还原网络参数的光谱重建网络模型对多个所述光场图像进行重构,得到对应的多个光谱图像。

8.根据权利要求1所述的材料鉴别方法,其特征在于,所述光谱图像由多个子波段光谱图像组成;

所述分别根据每个所述光谱图像生成对应的多个光谱曲线图,具体为:

提取多个子波段光谱图像中相同像素点处的像素值,根据多个像素值构建光谱曲线图,以此类推,直至完成各个材料对应的多个光谱曲线图的构建,得到多个光谱曲线图。

9.一种便携式光谱成像的材料鉴别系统,其特征在于,包括:

第一网络生成模块,用于下载光谱数据集,构建初始光谱重建网络模型,通过所述光谱数据集对所述初始光谱重建网络模型进行训练,得到训练光谱重建网络模型,对所述训练光谱重建网络模型进行模型压缩,并对压缩后光谱重建网络模型进行格式转换,得到光谱重建网络模型;

设备生成模块,用于将移动设备的摄像头替换为预先组装的光场摄像头,将所述光谱重建网络模型部署到移动设备中,得到光场光谱成像设备;

数据构建模块,用于通过所述光场光谱成像设备采集多种材料在不同的角度和环境下对应的多个光场图像,并重建得到对应的多个光谱图像,分别根据每个所述光谱图像生成对应的多个光谱曲线图,并将各个材料类别与对应的多个光谱曲线图构建成材料数据集;

第二网络生成模块,用于通过所述材料数据集对预构建的初始MobileNetV3网络模型进行训练,对训练后MobileNetV3网络模型进行格式转换,得到MobileNetV3网络模型;

应用模块,用于将所述MobileNetV3网络模型部署到所述光场光谱成像设备中,通过经部署后的光场光谱成像设备对目标材料进行类型鉴别,得到材料类型结果,并将所述材料类型结果显示在部署后的光场光谱成像设备的可视化界面中;

所述构建初始光谱重建网络模型,具体为:

通过激活函数层、池化层、残差块、三个普通卷积层和多个注意力块构建初始光谱重建网络模型,包括:将输入端端口与第一普通卷积层的输入连接,将所述第一普通卷积层的输出与首个注意力块的输入连接,将多个注意力块逐一连接,将最后一个注意力块的输出与第二普通卷积层的输入连接,分别将所述第一普通卷积层的输出和所述第二普通卷积层的输出与所述残差块的输入连接,将所述残差块的输出与所述激活函数层的输入连接,将所述激活函数层的输出与所述池化层的输入连接,将所述池化层的输出与第三普通卷积层的输入连接,将所述第三普通卷积层的输出与输出端端口连接,完成初始光谱重建网络模型的构建。