利索能及
我要发布
收藏
专利号: 2022105386050
申请人: 成都航空职业技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,包括以下步骤:步骤1:获取输入图像:将所有输入图像处理为同一尺寸,并将输入图像的真值处理为与训练图像相同的尺寸,使输入图像与图像真值一一对应;

步骤2:将经过步骤1处理的输入图像送进下采样编码器进行特征提取,得到最深层特征图;

步骤3:将最深层特征图送入计数层预测整张输入图像中的目标数量;

步骤4:将最深层特征图送入折叠最近邻超越上采样模块,得到扩展特征图;所述的折叠最近邻超越上采样模块包括1个卷积层、2个矩阵展平计算和2个线性映射矩阵重构计算;

步骤5:对最深层特征图和扩展特征图进行特征融合,得到第一最终特征图;

步骤6:将第一最终特征图作为最深层特征图,并送入步骤4中,重复执行步骤4和步骤5直到得到符合要求的第二最终特征图,并将第二最终特征图送入到预测器中,得到预测分割特征图;

步骤7:将预测分割特征图和图像真值同时送入协调判别器,利用协调判别器学习并判断两者的图像差距,获得生成器判别矩阵;

步骤8:生成与生成器判别矩阵同样大小且值为1的验证真矩阵和值为0的验证假矩阵;

步骤9:基于数据集自带的目标数量真值、步骤1获得的输入图像真值,步骤3得到的目标数量、步骤6得到的预测分割特征图、步骤7得到的生成器判别矩阵以及步骤8生成的验证真矩阵计算生成器的训练总损失;

步骤10:将生成器的训练总损失送回生成器网络进行网络迭代更新学习,完成一轮生成器的训练,得到经过一轮训练的生成器;

步骤11:将经过步骤1处理后的输入图像和步骤6中得到的预测分割特征图在图像通道上进行融合得到融合特征图,并将融合特征图送入协调判别器;

步骤12:融合特征图在协调判别器中经过4个特征提取卷积模块后,得到第一深层判别特征图;

步骤13:将步骤12得到的第一深层判别特征图输入到由一个卷积层组成的结构特征判断层,获得包含结构性差异的预测假判别矩阵;

步骤14:将经过步骤1处理后的输入图像和真值图像在图像通道上融合并送入协调判别器中,经过4个特征提取卷积模块后,得到第二深层判别特征图,再将第二深层判别特征图输入由一个卷积层组成的结构特征判断层,得到预测真判别矩阵;

步骤15:基于步骤8得到的验证真矩阵和验证假矩阵、步骤13得到的预测假判别矩阵和步骤14得到的预测真判别矩阵计算协调判别器的训练总损失;

步骤16:将步骤15得到的训练总损失送回网络进行网络迭代更新学习,完成一轮协调判别器的训练,得到经过一轮训练的协调判别器,并保存步骤10中得到的生成器以及本步骤得到的协调判别器;

步骤17:重复步骤2到步骤16,直至获得符合预定条件的生成器和协调判别器。

2.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,步骤2中所述的下采样编码器包括6组下采样模块,前5个下采样模块的结构相同,均包括一个步长为2的卷积层、1个实例均一化层和1个带泄露线性整流函数激活层;最后一个下采样模块包括1个卷积层、1个随机失活层和1个带泄露线性整流函数。

3.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,步骤3中所述的计数层包括1个全局平均池化层和1个卷积层。

4.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,步骤4中当最深层特征图被送入折叠最近邻超越上采样模块后,先通过卷积层运算,在图片通道中生成扩展图像所需的新增像素;

对获得新增像素的最深层特征图进行一次水平方向的矩阵展平,得到一个水平方向的线性向量,然后对水平方向的线性向量进行线性映射矩阵重构计算,得到图像 ;再对图像 进行竖直方向的展平,得到一个竖直方向的线性向量,然后对竖直方向的线性向量进行线性映射矩阵重构计算,得到扩展特征图。

5.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,步骤6中所述的预测器包括尺寸为4的卷积层、折叠最近邻超越上采样和双曲正切激活函数激活层;所述第二最终特征图经过尺寸为4的卷积层进行特征预测,在通过折叠最近邻超越上采样进行最终特征图的扩大,生成与步骤1中所述的输入图像同样尺寸的预测分割特征图,再通过双曲正切激活函数激活层对预测分割特征图进行激活加快训练收敛,得到训练后的预测分割特征图。

6.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,所述步骤9中生成器的训练总损失的计算步骤如下所述:通过L1损失函数计算预测分割特征图和图像真值间的损失,得到生成结果损失;

通过L2损失函数计算步骤3的目标数量和目标数量真值间的损失,得到生成器计数损失;

通过L2损失函数计算生成器判别矩阵和验证真矩阵间的损失,得到生成器的判别损失;

将生成结果损失、生成器计数损失和生成器的判别损失进行加权后相加得到所述生成器的训练总损失。

7.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,所述步骤12包括以下步骤:步骤12.1:将融合特征图的周围进行大小为4的空白像素补充;

步骤12.2:对经过步骤12.1处理后的融合特征图送入1个大小为8*8且步长为2的卷积层中进行大感知度的特征提取并融合;

步骤12.3:对经过步骤12.2处理后的融合特征图的周围进行大小为3的空白像素补充;

步骤12.4:将经过步骤12.3处理后的融合特征图送入1个大小为6*6且步长为2的卷积层中进行第二次特征提取;

步骤12.5:对经过步骤12.4处理后的融合特征图的周围进行大小为2的空白像素补充;

步骤12.6:将经过步骤12.5处理后的融合特征图送入两个连续的大小为4*4且步长为2的卷积层中进行第三次特征提取,得到第一深层判别特征图。

8.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,所述步骤13中将步骤12得到的第一深层判别特征图送入1个大小为3*3且步长为1的卷积层中进行结构特征判断,输出一个包含结构性差异的预测假判别矩阵。

9.根据权利要求7或8所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,所述卷积层计算后,均需要将卷积层的计算结果分别进行一次实例均一化和泄露线性整流函数激活。

10.根据权利要求1所述的一种基于生成对抗网络的轻量化高效目标分割与计数方法,其特征在于,所述步骤15包括以下步骤:通过L2损失函数分别计算预测真判别矩阵和验证真矩阵与验证假矩阵的损失,并求和,得到预测真判别损失;

通过L2损失函数分别计算预测假判别矩阵和验证真矩阵和验证假矩阵的损失,并求和,得到预测假判别损失;

计算预测真判别损失和预测假判别损失的平均值,将平均值作为协调判别器的训练总损失。