利索能及
我要发布
收藏
专利号: 2022107161085
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种垃圾图像检测方法,其特征在于,包括:

获取垃圾图像,对垃圾图像进行预处理,调整为设定图像大小,将预处理后的垃圾图像输入到预先训练好的基于SP‑SSD的垃圾图像检测网络,得到垃圾类别和位置;

所述基于SP‑SSD的垃圾图像检测网络的结构包括依次连接的第一至第十一卷积块;其中,在第一至第四卷积块中,将第一卷积块的输入残差连接至第一卷积块的输出,并作为第二卷积块的输入,将第二卷积块的输入残差连接至第二卷积块的输出,并作为第三卷积块的输入,将第三卷积块的输入残差连接至第三卷积块的输出,并作为第四卷积块的输入,分别用于对输入的图像或特征图像进行不同步长的卷积处理,输出对应的特征图像;

第五卷积块,用于对第四卷积块输出的特征图像多次利用设定的扩张率、点卷积方式、深度卷积方式进行特征图像的高低维转换后提取特征,每次得到的特征与得到该次特征的输入通过残差连接进行特征融合,作为下次提取特征的输入,直到最后一次提取特征,输出第五卷积块特征图像,利用第五卷积块特征图像输出进行分类和定位;

第六卷积块,用于对第五卷积块输出的特征图像进行相应步长的卷积处理,输出对应的特征图像;第七卷积块,用于对第六卷积块输出的特征图像利用设定的扩张率、点卷积方式、深度卷积方式进行特征图像的高低维转换后提取特征,输出第七卷积块特征图像;第六和第七卷积块输出特征图像的宽度和高度一致,选择具有更多通道数的第七卷积块特征图像输出进行分类和定位;

第八卷积块,用于对第七卷积块输出的特征图像利用指定的扩张率、点卷积方式、深度卷积方式进行特征图的高低维转换后提取特征,将提取后的特征进行分类和定位;

第九卷积块、第十卷积块、第十一卷积块,分别用于对前一卷积块输出的特征图像利用点卷积方式、深度卷积方式对特征图进行提取特征,将提取的特征进行分类和定位。

2.根据权利要求1所述的垃圾图像检测方法,其特征在于,所述对垃圾图像进行预处理,调整为设定图像大小,包括:利用Resize函数对垃圾图像进行预处理,将其调整为设定图像大小,设定图像大小的尺寸为(320,320,3),括号中第一位数字表示图像的长,第二位数字表示图像的宽,第三位数字表示图像的通道数。

3.根据权利要求1所述的垃圾图像检测方法,其特征在于,

所述第五卷积块、第七卷积块、第八卷积块、第九卷积块、第十卷积块和第十一卷积块,分别用于检测不同尺度的垃圾图像上的目标,为第五卷积块、第七卷积块、第八卷积块、第九卷积块、第十卷积块和第十一卷积块输出的不同的特征图像的每个像素点设置若干个先验框,其中,先验框用于在每个特征层对特定大小的垃圾图像中的目标进行响应;

所述先验框在各个卷积快中的大小依据下式设置,

其中,Sk表示特征图上设置的先验框长宽比,Smin表示特征图上设置的先验框长宽比的最小比例,Smax表示特征图上设置的先验框长宽比的最大比例,m表示预测使用的特征图的数量,k表示当前使用的特征图对应的值。

4.根据权利要求1所述的垃圾图像检测方法,其特征在于,

所述第五卷积块包括第一卷积层、第二卷积层和第三卷积层,第五卷积块的特征输出的特征为(20,20,96),它是由第四卷积块输出的特征(20,20,64)经过3轮同样的特征提取而来,包括:(1)第一卷积层的输入为第四卷积块输出的特征,接着利用扩张率为6的1*1点卷积进行升维,然后利用步长为1、卷积核数为96的深度卷积进行下采样,最后进行1*1点卷积进行降维,得到第一卷积层的输出;将第一卷积层的输入和第一卷积层的输出进行残差连接作为第二卷积层的输入,接着利用扩张率为6的1*1点卷积进行升维,然后利用步长为1、卷积核数为96的深度卷积进行下采样,最后进行1*1点卷积进行降维,得到第二卷积层的输出;

将第二卷积层的输入和第二卷积层的输出进行残差连接作为第三卷积层的输入,接着利用扩张率为6的1*1点卷积进行升维,然后利用步长为1、卷积核数为96的深度卷积进行下采样,最后进行1*1点卷积进行降维,得到第三卷积层的输出;

(2)将第三卷积层的输入和第三卷积层的输出进行残差连接作为第二轮特征提取的输入,重复(1)的过程,将第二轮的第三卷积层的输入和第三卷积层的输出进行残差连接作为第三轮特征提取的输入,重复(1)的过程,输出尺寸为(20,20,96)的特征,利用输出的尺寸为(20,20,96)的特征进行分类和定位。

5.根据权利要求1所述的垃圾图像检测方法,其特征在于,

所述第七卷积块的特征输出尺寸为(10,10,1280)的特征,它是由第六卷积块输出的特征(10,10,160)经过特征提取而来,包括:(1)对特征(10,10,160)利用扩张率为6的1*1点卷积进行升维,然后利用步长为1、卷积核数为320的深度卷积进行下采样,最后进行1*1点卷积进行降维;(2)接着利用扩张率为6的1*1点卷积进行升维,然后利用步长为1、卷积核数为

1280的深度卷积进行下采样,最后进行1*1点卷积进行降维;最后利用处理后的(10,10,

1280)特征输出进行分类和定位。

6.根据权利要求1所述的垃圾图像检测方法,其特征在于,

所述第八卷积块的特征输出为(5,5,512),它是由第七卷积块特征(10,10,1280)特征提取而来,包括:(1)将(10,10,1280)输出通道数乘以0.2,得到通道数为256,利用1*1点卷积步长为1、卷积核数为256,得到(10,10,256)特征输出;(2)将(10,10,256)利用卷积步长为2、卷积核大小为3*3、卷积核数为256的深度卷积得到(5,5,256);(3)将(5, 5,256)利用

1*1点卷积、步长为1、卷积核大小为3*3、卷积核数为512的深度卷积;最后将处理后的(5,5,

512)特征输出进行分类和定位。

7.根据权利要求1所述的垃圾图像检测方法,其特征在于,

所述第九卷积块的特征输出为(3,3,256),它是由第八卷积块特征(5,5,512)提取特征而来,包括:(1)将(5,5,512)的输出通道数乘以0.25,得到通道数为128,利用1*1点卷积步长为1、卷积核数为128,得到(5,5,128)特征输出;(2)将(5,5,128)利用卷积步长为2、卷积核大小为3*3、卷积核数为256的深度卷积得到(3,3,256);(3)将(3,3,256)利用1*1、卷积核为256的点卷积,得到(3,3,256)的特征图;最后将处理后的(3,3,256)特征输出进行分类和定位;

所述第十卷积块的特征为(2,2,256),它是由第九卷积块(3,3,256)提取特征而来,包括:(1)将(3,3,256)的输出通道数乘以0.5,得到通道数为128,利用1*1点卷积步长为1、卷积核数为128,得到(3,3,128)特征输出;(2)将(3,3,128)利用卷积步长为2、卷积核大小为

3*3、卷积核数为256的深度卷积得到(2,2,256);(3)将(2,2,256)利用1*1、卷积核为256的点卷积,得到(2,2,256)的特征图;最后将处理后的(2,2,256)特征输出进行分类和定位;

所述第十一卷积块的特征为(1,1,64),它是由第十卷积块(2,2,256)提取特征而来,包括:(1)将(2,2,256)的输出通道数乘以0.25,得到通道数为64,利用1*1点卷积步长为1、卷积核数为64,得到(2,2,64)特征输出;(2)将(2,2,64)利用卷积步长为2、卷积核大小为3*3、卷积核数为64的深度卷积得到(1,1,64);(3)将(1,1,64)利用1*1、卷积核为64的点卷积,得到(1,1,64)的特征图;最后将处理后的(1,1,64)特征输出进行分类和定位。

8.根据权利要求1所述的垃圾图像检测方法,其特征在于,所述基于SP‑SSD的垃圾图像检测网络的训练过程,包括:获取垃圾数据集,所述垃圾数据集包括:厨余垃圾、有害垃圾、其他垃圾和可回收物;

利用LabelImg软件对垃圾数据集上的垃圾进行标注,为每一张图像生成VOC格式对应的xml文件,利用标注好的垃圾数据集制作训练集,训练集的每一张图像尺寸为所述设定图像大小;

设置损失函数,损失函数为位置误差与置信度误差的加权和,表示为:

其中,N是先验框的正样本数量; x为某一类别下先验框和真实框的交并比大于阈值而保留下来的先验框数量;c为类别置信度预测值;l为先验框的所对应边界框的位置预测值;

g是真实框的位置参数;α表示权重系数;置信度误差Lconf(x,c)采用softmax loss;位置误差Lloc(x,l,g)采用Smooth L1 loss;真实框表示利用LabelImg软件对垃圾数据集上的垃圾进行位置和类别标注的框;

利用训练集和损失函数训练基于SP‑SSD的垃圾图像检测网络,在达到预设迭代次数或者总损失收敛时,保存此时的网络参数,得到训练好的基于SP‑SSD的垃圾图像检测网络。

9.一种小区垃圾站,其特征在于,包括:

在小区垃圾站的垃圾箱上,安装垃圾检测显示屏和中控台,所述中控台根据权利要求

1‑8任意一项所述的垃圾图像检测方法对输入的垃圾图像进行检测,将检测结果输出到显示屏上。

10.根据权利要求9所述的小区垃圾站,其特征在于,

还包括文件储存设备,对无法识别的垃圾图像进行存储,用于后期重新进行标识、训练,持续扩充垃圾识别的范围。