利索能及
我要发布
收藏
专利号: 2023113319796
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于神经网络训练的伪标签生成方法,其特征在于,包括以下步骤:S1:将输入图像及其对应的图像级别标签传输至基于残差结构的分类骨干网络进行注意力池化,得到类激活图,以及,将所述输入图像传输至显著对象检测网络进行区域检测,得到显著性图;

S2:融合所述类激活图与所述显著性图的各区域特征,合成所述输入图像的边界伪标签;

其中,根据下式,利用基于类激活图的边界伪标签 和基于显著性图的边界伪标签 ,生成输入图像的边界伪标签 :其中, 表示像素i属于边界, 表示像素i属于对象区域, 表示像素i属于背景区域;

生成所述基于类激活图的边界伪标签 的具体步骤包括:利用指定大小的滑动窗口遍历所述类激活图中的所有像素,并根据下式判断所述类激活图中的每个像素i的所属区域,生成基于类激活图的边界伪标签 :其中, 表示像素i在类激活图中处于边界, 和 分别表示滑动窗口中对象区域像素和背景区域像素的数量,W表示滑动窗口的像素集合, 表示像素i在类激活图中处于对象区域, 表示类激活图中像素i属于类别c的概率, 为对象区域的像素阈值, 表示像素i在类激活图中处于不确定区域;

生成所述基于显著性图的边界伪标签 的具体步骤包括:使用Sobel算子对所述显著性图进行边缘检测,生成Sobel梯度幅值;

根据所述显著性图中每个像素i所对应的Sobel梯度幅值 和显著性幅值 ,利用下式对所述显著性图中的每个像素i分配基于显著性图的边界伪标签 :其中, 表示显著性图中的像素i的Sobel梯度幅值,为梯度幅值的预设阈值; 表示显著性图中的像素i的显著性幅值; 表示像素i在显著性图中属于边界; 表示像素i在显著性图中属于对象区域; 表示像素i在显著性图中属于背景区域;

S3:利用所述边界伪标签监督边界检测网络的训练,并将所述输入图像传输至已训练完成的边界检测网络进行边界检测,提取所述输入图像的边界;

S4:利用所述边界引导所述类激活图进行细化传播,生成与所述输入图像相对应的语义分割伪标签。

2.根据权利要求1所述的用于神经网络训练的伪标签生成方法,其特征在于,所述使用Sobel算子对所述显著性图进行边缘检测,生成Sobel梯度幅值,具体包括:根据下式,利用Sobel算子分别计算显著性图的水平方向的梯度 和竖直方向的梯度:其中, 和 分别为水平方向和竖直方向的

Sobel梯度算子,为显著性图;

根据下式,利用水平方向梯度 和竖直方向梯度 计算显著性图的Sobel梯度幅值:。

3.根据权利要求1所述的用于神经网络训练的伪标签生成方法,其特征在于,S3中,所述利用所述边界伪标签监督边界检测网络的训练,具体包括:利用损失函数对所述边界检测网络进行训练,所述损失函数 通过下式进行计算获得:其中, 表示前景像素和背景像素的损失函数, 表示边界像素的损失函数,和 分别表示边界伪标签中的前景像素和背景像素的集合, 表示所述边界检测网络输出的像素i属于边界的概率值; 和 分别表示边界伪标签中属于显著性区域的边界像素和属于非显著区域的边界像素。

4.根据权利要求1所述的用于神经网络训练的伪标签生成方法,其特征在于,S1中,将输入图像及其对应的图像级别标签传输至基于残差结构的分类骨干网络进行注意力池化,得到类激活图的具体步骤包括:将输入图像传输以残差结构堆叠的分类骨干网络进行分类处理,输出定位图;

使用所述图像级别标签对所述定位图的全监督式训练,生成第一类激活图;

使用所述图像级别标签和所述显著性图对定位图的全监督式训练,生成第二类激活图。

5.根据权利要求4所述的用于神经网络训练的伪标签生成方法,其特征在于,使用所述图像级别标签对所述定位图的全监督式训练时,所采用的损失函数的表达式如下所示:其中,c为数据集中的类别数, 表示sigmoid函数,表示分类网络输出的类激活图中像素i属于类别c的概率值;

使用所述图像级别标签和所述显著性图对定位图的全监督式训练时,所采用的损失函数 的表达式如下所示: 。

6.根据权利要求1 5任一项所述的用于神经网络训练的伪标签生成方法,其特征在于,~S4中,利用所述边界引导所述类激活图进行细化传播,生成与所述输入图像相对应的语义分割伪标签,具体的步骤包括:S4.1:将所述边界转化为语义亲和力矩阵;

S4.2:根据所述语义亲和力矩阵,使用Random Walk算法对所述类激活图进行细化传播处理,生成语义分割伪标签。

7.一种用于神经网络训练的伪标签生成系统,应用于权利要求1 6任一项所述的用于~神经网络训练的伪标签生成方法,其特征在于,包括:

类激活图获取模块,用于将输入图像及其对应的图像级别标签传输至基于残差结构的分类骨干网络进行注意力池化,得到类激活图;

显著性图获取模块,用于将所述输入图像传输至显著对象检测网络进行区域检测,得到显著性图;

边界伪标签生成模块,用于融合所述类激活图与所述显著性图的各区域特征,合成所述输入图像的边界伪标签;

边界检测模块,用于利用所述边界伪标签监督边界检测网络的训练,并将所述输入图像传输至已训练完成的边界检测网络进行边界检测,提取所述输入图像的边界;

语义分割伪标签生成模块,用于利用所述边界引导所述类激活图进行细化传播,生成与所述输入图像相对应的语义分割伪标签。