利索能及
我要发布
收藏
专利号: 2022104390523
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种杏鲍菇表面瑕疵检测方法,其特征在于,包括如下步骤:S1:夹具用于夹取杏鲍菇,驱动机构用于驱动所述夹具自转,图像采集装置用于对自转的杏鲍菇进行视频采集;将视频解析成杏鲍菇图像帧序列;

S2:提取获得的杏鲍菇图像帧中的前景目标;前景目标提取过程包括主干特征提取网络、多通道注意力子模块及多尺度特征融合模块,所述主干特征提取网络用于提取杏鲍菇图像帧中的特征图,所述多通道注意力子模块嵌于所述主干特征提取网络的第6、8、10、12和14层后,用于从所述特征图中获取注意力特征图,所述多尺度特征融合模块用于从所述注意力特征图中获取融合特征;

S3:搭建包括生成器及鉴别器的条件生成对抗网络,将提取的前景目标分别输入到生成器和鉴别器中生成标准杏鲍菇轮廓图像;

生成器根据杏鲍菇前景目标生成标准杏鲍菇图像,再将该标准杏鲍菇图像输入到鉴别器中,提取标准杏鲍菇图像特征,计算图像特征的概率分布Pnorm进行鉴别,当概率分布Pnorm接近真实标准杏鲍菇概率分布PTure时,生成器输出该标准杏鲍菇图像的轮廓图像;

S4:从前景目标中提取原始杏鲍菇轮廓图像;

S5:将标准杏鲍菇轮廓图像和原始杏鲍菇轮廓图像进行和差运算,获得杏鲍菇瑕疵位置;

所述步骤S2包括步骤:

S2.1:搭建目标检测主干特征网络提取杏鲍菇图像帧中的特征图;

S2.2:采用注意力算法获取特征图的注意力特征图;

S2.3:将得到的注意力特征图作为节点输入,采用多尺度特征融合算法得到融合特征;

S2.4:将融合特征输入到全局池化层中,输出杏鲍菇在图像中的区域和类别;

S2.5:采用图像分割算法根据杏鲍菇在图像中的区域切割出杏鲍菇图像中的杏鲍菇,输出前景目标;

步骤S2.4将步骤2.3中输出的跨通道注意力特征图作为特征节点输入到多尺度特征融合算法模块,经特征融合后输入全局平均池化层,输出杏鲍菇在图像帧中的区域和类别,具体包括:步骤2.4.1:特征节点6与8融合得到节点A,A=6+8;

步骤2.4.2:特征节点A与10融合得到节点B,B=A+10;

步骤2.4.3:特征节点B与12融合得到节点C,C=B+12;

步骤2.4.4:特征节点C与14融合得到节点D,D=C+14;

步骤2.4.5:特征点D与C、12融合得到节点E,E=D+C+12;

步骤2.4.6:特征点E与B、10融合得到节点F,F=E+B+10;

步骤2.4.7:特征点F与A、8融合得到节点G,G=F+A+8;

步骤2.4.8:特征点G与6融合得到节点H,G=H+6;

步骤2.4.9:将特征节点D、E、F、G、H输入全局池化层中,输出为杏鲍菇在图像中的区域和类别。

2.根据权利要求1所述的杏鲍菇表面瑕疵检测方法,其特征在于,所述步骤S2.3中,多尺度特征融合算法采用自顶向下和自底向上的双向融合方式。

3.根据权利要求1所述的杏鲍菇表面瑕疵检测方法,其特征在于,所述步骤S2.1中的目标检测主干特征网络为MobileNet‑SSD网络。

4.一种杏鲍菇表面瑕疵检测装置,其特征在于,包括夹具、驱动机构、图像采集装置及处理器,所述夹具用于夹取杏鲍菇,所述驱动机构用于驱动所述夹具自转,所述图像采集装置用于对自转的杏鲍菇进行视频采集,所述处理器用于计算瑕疵位置,所述处理器包括预处理模块、前景目标提取模块、条件生成对抗模块及瑕疵位置计算模块,所述预处理模块用于将视频解析成杏鲍菇图像帧序列,所述前景目标提取模块用于从杏鲍菇图像帧中提取不含背景的杏鲍菇前景目标,所述条件生成对抗模块用于生成标准杏鲍菇轮廓图像和原始杏鲍菇轮廓图像,所述瑕疵位置计算模块用于对杏鲍菇轮廓图像和原始杏鲍菇轮廓图像进行和差计算获得杏鲍菇瑕疵位置,所述前景目标提取模块包括主干特征提取网络、多通道注意力子模块及多尺度特征融合模块,所述主干特征提取网络用于提取杏鲍菇图像帧中的特征图,所述多通道注意力子模块嵌于所述主干特征提取网络的第6、8、10、12和14层后,用于从所述特征图中获取注意力特征图,所述多尺度特征融合模块用于从所述注意力特征图中获取融合特征;

所述前景目标提取模块,搭建目标检测主干特征网络提取杏鲍菇图像帧中的特征图;

采用注意力算法获取特征图的注意力特征图;将得到的注意力特征图作为节点输入,采用多尺度特征融合算法得到融合特征;将融合特征输入到全局池化层中,输出杏鲍菇在图像中的区域和类别;采用图像分割算法根据杏鲍菇在图像中的区域切割出杏鲍菇图像中的杏鲍菇,输出前景目标;

所述多尺度特征融合模块具体包括:

步骤2.4.1:特征节点6与8融合得到节点A,A=6+8;

步骤2.4.2:特征节点A与10融合得到节点B,B=A+10;

步骤2.4.3:特征节点B与12融合得到节点C,C=B+12;

步骤2.4.4:特征节点C与14融合得到节点D,D=C+14;

步骤2.4.5:特征点D与C、12融合得到节点E,E=D+C+12;

步骤2.4.6:特征点E与B、10融合得到节点F,F=E+B+10;

步骤2.4.7:特征点F与A、8融合得到节点G,G=F+A+8;

步骤2.4.8:特征点G与6融合得到节点H,G=H+6;

步骤2.4.9:将特征节点D、E、F、G、H输入全局池化层中,输出为杏鲍菇在图像中的区域和类别。

5.根据权利要求4所述的杏鲍菇表面瑕疵检测装置,其特征在于,还包括背景板,所述夹具及所述驱动机构设置于所述背景板与所述图像采集装置之间。

6.根据权利要求4所述的杏鲍菇表面瑕疵检测装置,其特征在于,所述目标检测主干特征网络为MobileNet‑SSD网络。

7.根据权利要求4所述的杏鲍菇表面瑕疵检测装置,其特征在于,所述多尺度特征融合模块采用自顶向下和自底向上的双向融合方式。

8.一种存储介质,存储有计算机程序,其特征在于,所述计算机程序被设置为运行时实现根据权利要求1至3任一项所述的杏鲍菇瑕疵表面检测方法。