利索能及
我要发布
收藏
专利号: 2021107557891
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种快速检测与识别少样本目标的方法,包括如下步骤:

步骤一,图像样本预处理;

将所有待检测的图像进行图像增强、去噪后统一缩放为36×36,并按图像类别的比例划分为训练集T、支持集S和测试集C;同时要求训练集中的图像类别标签与支持集、测试集中的图像类别标签无交集,而允许测试集中的图像类别与支持集中的图像类别有相同的标签空间;

步骤二,设计特征提取模型;

一张经过预处理的RGB图像分别利用LRDN网络和卷积自编码网络提取其特征,然后将两个网络的输出进行拼接,作为输入图像的特征表示,使得特征提取模型的输出既具有可重构性又具有可分辨性;对于LRDN网络和卷积自编码网络的设计如步骤(一)和步骤(二)所示;

(一)设计LRDN网络;

首先,利用1层标准卷积和1层改进的深度可分离卷积提取输入图像的浅层特征;其中,本发明对传统深度可分离卷积操作的改进有:第一,在深度卷积前增加一层1×1卷积的“扩张”层,目的是为了提升通道数,获得更多特征;第二,最后不采用ReLU激活函数,而是直接线性输出,目的是防止ReLU破坏特征;

然后,将浅层特征作为深度特征提取模块的输入,利用LRDB中的局部密集连接、特征复用、下采样操作与残差融合结构获取图像的各项细节特征;其中,对于LRDN模型,深层特征提取模块是其核心部分,而深层特征提取模块由3个LRDB组成;每个LRDB包含一个24层的密集连接块、一个下采样过渡块以及一个带池化的恒等连接;而对于模型中的最后一个LRDB,直接利用1×1Conv对密集连接块块的输出特征进行压缩、整理,然后在倒数第二个LRDB输出的深层特征与压缩后的特征之间加入残差连接,获取最终的深层特征;

最后,利用全局平均池化聚合特征图,输出特征向量f1;

(二)设计卷积自编码网络;

利用标准卷积的思想,将32组“ReLU+1×1Conv+ReLU+3×3Conv”设置为一个正向block,将32组“ReLU+1×1反卷积+ReLU+3×3反卷积”设置为一个反向block,其中1×1卷积的作用是为了对输入的特征进行整理、压缩;然后将3个正向block进行串接,同时在每个正向block之间添加一层2×2的最大池化层进行下采样,同样地,将3个反向block进行串接,同时在每个反向block之间添加一层2×2的最大反池化层进行下采样;在网络的学习过程中,将最后一个正向block的输出作为第一个反向block的输入,将最后一个反向block的输出作为全局平均池化层的输入,利用全局平均池化聚合特征图,最终得到与f1维度相同的输出特征向量f2;

步骤三,设计特征比较模型;

将两张图像的特征表示进行拼接作为特征比较模型的输入,然后利用一层2×2的最大池化层对输入进行下采样;将32组“Batch Normalization+ReLU+1×1Conv+Batch Normalization+ReLU+3×3Conv”设置为一个单元,然后把3个单元进行串接,每个单元之间同样添加一层2×2的最大池化层进行下采样;把最后一个单元的输出作为全连接层的输入,再把全连接层的输出映射到Sigmoid函数中,将表征两个输入图像特征的相似度分数归一化到区间[0,1];

步骤四,检测与识别目标;

假定每一类待识别图像的数量是相等的,若某类图像的数量不足,则通过随机旋转、颜色变换等方法进行数据增强;在模型的训练阶段,把训练集T表示为:T={(xi,yi)},i∈[1,n] (1)

其中,xi表示待识别的图像;yi表示待识别图像的标签值;n表示训练集中某类图像的数量;

接着从训练集T中选取每种对应类别的m张图像组成查询集Q,即有:

Q={(xj,yj)},j∈[1,m] (2)

紧接着将图像集xi和图像集xj分别输入到特征提取模型F中,可得二者的特征表示分别为F(xi)和F(xj),在两个数据集中任选两张图像的特征表示进行拼接,得:λ={[F(xi),F(xj)]} (3)

然后把式(3)的值输入特征比较模型H中,进一步得到特征比较模型的输出,即两张图像属于同一类别的相似度分数为:ω=H(λ) (4)

最后把两个输入图像特征的相似度分数归一化到区间[0,1],若二者属于同一类别,则其分数值置为1,否则为0;

在模型的测试阶段,利用特征提取模型获得支持集S和测试集C中每一张图像的特征表示后,在两个数据集中分别任选一张图像的特征表示进行两两拼接,进而利用特征比较模型获取二者之间的相似度分数;对于每一张测试图像,选择与之分数最高的特征拼接组合,该组合中支持集所属的类别即为该测试图像的类别。

2.实施权利要求1所述的一种快速检测与识别少样本目标的方法的系统,其特征在于:

包括依次连接的图像样本预处理模块、特征提取模型设计模块、特征比较模型设计模块、检测与识别目标模块;

图像样本预处理模块包括:将所有待检测的图像进行图像增强、去噪后统一缩放为36×36,并按图像类别的比例划分为训练集T、支持集S和测试集C;同时要求训练集中的图像类别标签与支持集、测试集中的图像类别标签无交集,而允许测试集中的图像类别与支持集中的图像类别有相同的标签空间;

特征提取模型设计模块包括:一张经过预处理的RGB图像分别利用LRDN网络和卷积自编码网络提取其特征,然后将两个网络的输出进行拼接,作为输入图像的特征表示,使得特征提取模型的输出既具有可重构性又具有可分辨性;对于LRDN网络和卷积自编码网络的设计如步骤(一)和步骤(二)所示;

(一)设计LRDN网络;

首先,利用1层标准卷积和1层改进的深度可分离卷积提取输入图像的浅层特征;其中,本发明对传统深度可分离卷积操作的改进有:第一,在深度卷积前增加一层1×1卷积的“扩张”层,目的是为了提升通道数,获得更多特征;第二,最后不采用ReLU激活函数,而是直接线性输出,目的是防止ReLU破坏特征;

然后,将浅层特征作为深度特征提取模块的输入,利用LRDB中的局部密集连接、特征复用、下采样操作与残差融合结构获取图像的各项细节特征;其中,对于LRDN模型,深层特征提取模块是其核心部分,而深层特征提取模块由3个LRDB组成;每个LRDB包含一个24层的密集连接块、一个下采样过渡块以及一个带池化的恒等连接;而对于模型中的最后一个LRDB,直接利用1×1Conv对密集连接块的输出特征进行压缩、整理,然后在倒数第二个LRDB输出的深层特征与压缩后的特征之间加入残差连接,获取最终的深层特征;

最后,利用全局平均池化聚合特征图,输出特征向量f1;

(二)设计卷积自编码网络;

利用标准卷积的思想,将32组“ReLU+1×1Conv+ReLU+3×3Conv”设置为一个正向block,将32组“ReLU+1×1反卷积+ReLU+3×3反卷积”设置为一个反向block,其中1×1卷积的作用是为了对输入的特征进行整理、压缩;然后将3个正向block进行串接,同时在每个正向block之间添加一层2×2的最大池化层进行下采样,同样地,将3个反向block进行串接,同时在每个反向block之间添加一层2×2的最大反池化层进行下采样;在网络的学习过程中,将最后一个正向block的输出作为第一个反向block的输入,将最后一个反向block的输出作为全局平均池化层的输入,利用全局平均池化聚合特征图,最终得到与f1维度相同的输出特征向量f2;

特征比较模型设计模块包括:将两张图像的特征表示进行拼接作为特征比较模型的输入,然后利用一层2×2的最大池化层对输入进行下采样;将32组“Batch Normalization+ReLU+1×1Conv+Batch Normalization+ReLU+3×3Conv”设置为一个单元,然后把3个单元进行串接,每个单元之间同样添加一层2×2的最大池化层进行下采样;把最后一个单元的输出作为全连接层的输入,再把全连接层的输出映射到Sigmoid函数中,将表征两个输入图像特征的相似度分数归一化到区间[0,1];

检测与识别目标模块包括:假定每一类待识别图像的数量是相等的,若某类图像的数量不足,则通过随机旋转、颜色变换等方法进行数据增强;在模型的训练阶段,把训练集T表示为:T={(xi,yi)},i∈[1,n] (1)

其中,xi表示待识别的图像;yi表示待识别图像的标签值;n表示训练集中某类图像的数量;

接着从训练集T中选取每种对应类别的m张图像组成查询集Q,即有:

Q={(xj,yj)},j∈[1,m] (2)

紧接着将图像集xi和图像集xj分别输入到特征提取模型F中,可得二者的特征表示分别为F(xi)和F(xj),在两个数据集中任选两张图像的特征表示进行拼接,得:λ={[F(xi),F(xj)]} (3)

然后把式(3)的值输入特征比较模型H中,进一步得到特征比较模型的输出,即两张图像属于同一类别的相似度分数为:ω=H(λ) (4)

最后把两个输入图像特征的相似度分数归一化到区间[0,1],若二者属于同一类别,则其分数值置为1,否则为0;

在模型的测试阶段,利用特征提取模型获得支持集S和测试集C中每一张图像的特征表示后,在两个数据集中分别任选一张图像的特征表示进行两两拼接,进而利用特征比较模型获取二者之间的相似度分数;对于每一张测试图像,选择与之分数最高的特征拼接组合,该组合中支持集所属的类别即为该测试图像的类别。