利索能及
我要发布
收藏
专利号: 2022102582711
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于领域自适应的跨域目标检测方法,其特征在于,具体步骤包括:步骤1,获取包括源域 和目标域 的目标检测数据集,进行数据增强和数据集扩充;

步骤2,构建CycleGAN网络,将扩充后的数据集对CycleGAN网络进行训练并输出生成数据域 ;

步骤3,构建Faster RCNN网络作为目标检测器,将源域 和生成数据域 作为训练集对目标检测器进行训练;

步骤4,对目标域 的数据集进行复杂度评估划分为不同等级的数据,根据复杂度评估的结果,对目标检测器进行再训练;

步骤5,采用步骤4训练好的目标检测器对待检测数据进行目标检测,最终得到检测结果;

所述步骤4具体的为:

步骤4.1、对目标域 验证集进行复杂度评估,首先使用预训练的VGG网络,移除其最后一层作为特征提取器,进行样本的特征提取,同时对所输入的图像进行数据增强,最后将所输出的高维特征向量使用L2范数进行归一化,然后使用归一化的特征来训练岭回归分类器,使模型能够预测到ground‑truth难度的分数;

步骤4.2、根据评估结果将目标域 验证集样本按难度进行划分,按照难度将样本划分为 个批次,样本难度评估公式如下所示:其中 为输入图像,为边界框坐标, 为边界框坐标中的宽度和高度,为样本数目;

步骤4.3,在对验证集样本进行复杂度评估后,根据复杂度评估结果将样本分为简单、中等和困难,随后先将容易的样本输入给目标检测器,得到目标检测器对于目标域 样本的预测结果,随后将预测结果作为简单样本的伪标签,再次训练目标检测器,然后再将中等难度样本输入给目标检测器,执行与简单样本相同的操作,最后将困难样本输入目标检测器,同样执行与简单样本相同的操作,以此完成对验证集数据的迭代,完成目标检测器的最终训练。

2.如权利要求1所述的基于领域自适应的跨域目标检测方法,其特征在于,步骤2中所述CycleGAN网络结构由两个相同结构的生成器和两个相同结构的判别器构成,生成器结构为依次连接的三层卷积层、六层ResNet模块、两层反卷积层和一层卷积层,每个卷积层后接一种非线性激活函数,判别器结构为依次连接的五层卷积层和一层全连接层,卷积层后接一种非线性激活函数,全连接层后接Softmax函数。

3.如权利要求2所述的基于领域自适应的跨域目标检测方法,其特征在于,步骤2对所述CycleGAN网络的训练过程为:步骤2.1、从源域 中抽取一个子集 ,并从目标域 中也抽取一个子集 ,以 为例,将 输入给CycleGAN网络的第一个判别器 ;

步骤2.2、由步骤2.1将 输入给判别器 后,给生成器 输入随机高斯白噪声,生成器生成图像后,将其再输入给判别器 ,判别器 对输入图像进行判断,若输入图像为生成图像,判别器 输出为0,若输入图像为真实图像判别器 输出为1;

步骤2.3、同理对Y也进行同样的操作,将Y输入给判别器 ,给生成器 输入随机高斯白噪声,生成器生成图像后再输入判别器 ,判别器 对输入图像进行判断,若输入图像为生成图像,判别器 输出为0,若输入图像为真实图像判别器 输出为1。

4.如权利要求2所述的基于领域自适应的跨域目标检测方法,其特征在于,所述CycleGAN网络包括对实现映射 时的损失函数 、表示实现映射时的损失函数 、循环一致性损失函数 如公式(1)(3):

~

其中 表示实现映射 时的损失函数,其中 表示

真实样本 通过判别器 的损失函数,其中 表示生成样

本 通过判别器 的损失函数, 表示真实样本 通过判别器 的得分,表示生成样本 通过判别器 的得分;

其中 表示实现映射 时的损失函数,其中 表

示真实样本 通过判别器 的损失函数,其中 表示生成

样本 通过判别器 的损失函数, 表示真实样本 通过判别器 的得分,表示生成样本 通过判别器 的得分;

循环一致性损失为:

其中 表示在对齐生成样本和真实样本的分布时所产生的损失,

表示生成样本 和真实样本 之间的损失值, 表示生成样本 和真实样本 之间的损失值, 为向量的L1范数;

则最终的优化函数为:

5.如权利要求1所述的基于领域自适应的跨域目标检测方法,其特征在于,步骤3中的Faster RCNN网络结构包括依次连接VGG16特征提取网络 和RPN网络,所述VGG16特征提取网络 包括的两个卷积层、一个RELU激活函数、一个最大池化层、两个卷积层、一个最大池化层、三个卷积层、一个RELU激活函数、一个最池化层、两个卷积层、一个RELU激活函数、一个最池化层;输入图像经VGG16特征提取网络 得到特征图再经过RPN网络,首先经过512个 的卷积后,分为两条支路,第一条支路使用18个 的卷积后,实现对图像中前景或背景的分类,第二条支路使用36个 的卷积后,实现对所检测图像的边界框回归。

6.如权利要求5所述的基于领域自适应的跨域目标检测方法,其特征在于,步骤3中目标检测器的训练过程为:步骤3.1、将源域 的样本 以及生成数据域 中与目标域相似的样本 混合并使用VGG16网络作为特征提取器 提取出高维特征向量, ;

步骤3.2将高维特征向量 , 输入给后续全连接网络、ReLU非线性激活函数和全连接网络中,得到保存足够特征信息的特征图 、将特征图 经过3*3的卷积处理后,得到一个高维特征向量;

步骤3.3、再经过两次1*1卷积操作,得到两个特征图,根据这两个特征图的输出分数,获得候选区域 ,再对特征图 和候选区域 进行感兴趣区域池化 得到每个感兴趣区域的特征向量 ,将特征向量 输入分类器层得到感兴趣区域的类别和边界框,迭代完成目标检测器的训练。

7.如权利要求5所述的基于领域自适应的跨域目标检测方法,其特征在于,步骤3中目标检测器的损失函数为分类损失和回归损失的和,如下所示:其中 为小批量中锚点的索引, 是锚点 作为目标的预测概率, 为真值,当anchor为正时, 为1,当anchor为负时, 为0,是预测边界框的四个参数化坐标的向量, 是与正锚框相关联的真实框的坐标, 是两个类别的分类损失, 是边界框回归的损失,分别表示分类层和回归层的输出。