利索能及
我要发布
收藏
专利号: 2022114633288
申请人: 重庆大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度令牌的目标检测方法,其特征在于,包括如下步骤:获取原始图像,将原始图像卷积为a和b两种大小的图像块;

构建目标检测网络,目标检测网络包括多个不同尺度的多尺度内部令牌模块和与其对应的多个差滤残差模块;

将图像块输入第一阶段的多尺度内部令牌模块和差滤残差模块;

将上一阶段的多尺度内部令牌模块的多尺度输出,和上一阶段的差滤残差模块的输出作为下一阶段的多尺度内部令牌模块的输入,上一阶段的差滤残差模块的输出作为下一阶段的差滤残差模块的输入;

将最后阶段的多尺度内部令牌模块的输出和最后阶段差滤残差模块的输出进行融合,得到目标检测结果;

差滤残差模块提取输入端的高频信息的方法如下:

设图像令牌的大小为C*H*w,应用平均池化获得平滑特征,然后使用两个卷积核获得两个不同的平滑图像GA、GB:GA,GB=Cov(Avgpool(G))

其中,Cov表示卷积函数,卷积核大小是3*3,步幅是1,填充是1;Avgpool表示池化函数,平均池内核大小为2*2,步幅为2;G为原始图形;

GA、GB相减得到差分图像,然后上采样恢复特征图的大小;

得到目标检测结果的方法如下:

根据图像的边缘信息的语义重要性进行计算和融合:

其中,f是一个近似于1*1卷积层的线性函数;T是输入的特征图矩阵,H、w为特征图的高、宽,Gaus表示目标检测函数,ζ是归一化函数,x是函数的变量,即矩阵像素值。

2.如权利要求1所述的基于多尺度令牌的目标检测方法,其特征在于,多尺度内部令牌模块取得多尺度输出的方法如下:将图像令牌映射到三个矩阵Q、K和V,使用卷积将矩阵K和V降采样到不同的尺度:Ki,j=MSj(Ki),j=1,2,3...

Vi,j=MSj(Vi),j=1,2,3...

其中,MS是一个多尺度函数,i表示采样阶段,j表示不同的尺度大小;Q为查询矩阵,K表示被查询信息与其他信息的相关性的矩阵,V表示被查询信息的矩阵;X是特征图,W是权重Qi Ki Vi矩阵;W ,W ,W 表示对特征图X赋以一个对应权重矩阵;Softmax为归一化函数,Atttention是自注意力的符号标记;T表示转置,dk表示矩阵K的维度;MSj(Ki)表示在第i个阶段对矩阵Ki做j尺度大小的变换,MSj(Vi)表示在第i个阶段对矩阵Vi做j尺度大小的变换,Qi,Ki,Vi为第i个采样阶段计算出来的查询矩阵,相关性的矩阵,被查询信息的矩阵;通过多尺度变换得到不同大小的矩阵Ki,j和Vi,j,通过上采样将矩阵Ki,j和Vi,j的矩阵尺寸进行统一,然后进行拼接;

对矩阵Ki,j和Vi,j进行重新排列,在行和列方向上以预设值为间隔重新排列元素,为Kj和Vj形成新的键值对,扩展接受域,在不丢失信息的情况下实现全局感知;

应用一个非线性变换层来扩展搜索特征子空间,非线性变换层包括依次连接的线性层、relu层、池化层和线性层,以拟合更丰富的图像特征;结合线性变换层,找到更多的Q、K和V的组合来挖掘标记的细粒度特征,线性变换层采用全连接层连接变换,非线性变换层由两个完全连接的线性变换层,一个池化层和一个激活函数组成:Qnon=f(Activate(f(Q))+b)

Knon=f(Activate(f(K))+b)

Vnon=f(Activate(f(V))+b)

其中,f是一个线性函数,Activate是一个激活函数,b是一个偏差;

使用双特征提取方法,通过不同的卷积核卷积原始图像,得到不同的特征图,来丰富输入标记的空间上下文和细粒度特征,对于输入原始图像X,使用一个大小为1*1的非重叠滑动窗口来获得嵌入标记,关注细粒度的特征;利用一个大小为3*3和步幅为预设值的重叠滑动窗口来捕获空间上下文。

3.一种基于多尺度令牌的目标检测系统,其特征在于,包括数据采集模块和处理模块,所述数据采集模块用于获取原始图像,数据采集模块的输出端与处理模块的输入端连接,所述处理模块执行权利要求1或2所述方法,进行目标检测。

4.如权利要求3所述的基于多尺度令牌的目标检测系统,其特征在于,所述处理模块包括多个不同尺度的多尺度内部令牌模块和与其对应的多个差滤残差模块;

所述数据采集模块的输出端分别与第一阶段的多尺度内部令牌模块和第一阶段差滤残差模块的输入端连接;

上一阶段的多尺度内部令牌模块的多尺度输出,和上一阶段的差滤残差模块的输出作为下一阶段的多尺度内部令牌模块的输入,上一阶段的差滤残差模块的输出作为下一阶段的差滤残差模块的输入;

最后阶段的多尺度内部令牌模块的输出和最后阶段差滤残差模块的输出进行融合,输出目标检测结果。

5.如权利要求4所述的基于多尺度令牌的目标检测系统,其特征在于,所述多尺度内部令牌模块包括多尺度操作单元、拼接单元、线性层和非线性层,所述多尺度操作单元的输出端与拼接单元的输入端连接,所述拼接单元的输出端分别与线性层和非线性层的输入端连接。

6.如权利要求4所述的基于多尺度令牌的目标检测系统,其特征在于,所述差滤残差模块包括池化层,两个卷积层,以及上采样单元;

所述池化层的输出端与分别与两个卷积层的输入端连接,所述两个卷积层的输出特征图相减后输入上采样单元,所述上采样单元的输出边缘信息与原始图形相乘,得到强化边缘信息。