利索能及
我要发布
收藏
专利号: 2025109934630
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多模态融合特征生成方法,其特征在于,包括:

获取高光谱成像和激光雷达数据,针对所述高光谱成像和激光雷达数据中的每一个像素样本,构造以像素为中心的图像块;

采用小波变换对所述图像块进行频率特征分解,生成对应的高频子带和低频子带;

将所述高频子带和低频子带输入预构建的自适应频率增强与稀疏补偿模型,其中,所述自适应频率增强与稀疏补偿模型包括自适应频率增强单元和稀疏补偿单元;

通过所述自适应频率增强单元增强所述高频子带和低频子带的局部细节信息,通过所述稀疏补偿单元恢复所述高频子带和低频子带因频率特征分解而弱化的全局结构信息,得到增强后的高频子带和低频子带;

基于所述增强后的高频子带和低频子带进行逆小波变换,生成重构信号;

基于所述图像块与重构信号,通过门控机制获得高光谱成像和激光雷达数据门控融合后的特征,在通道维度上拼接所述高光谱成像和激光雷达数据门控融合后的特征,采用通道‑空间双注意力机制,生成标准化的多模态融合特征;

所述自适应频率增强单元利用任务驱动的动态权重学习与拉普拉斯的卷积形式,增强高频子带和低频子带的局部细节信息,获取局部细节信息增强后的高频子带和低频子带;

所述稀疏补偿单元捕获所述局部细节信息增强后的高频子带和低频子带的空间相关性,抑制噪声干扰,并恢复因频率特征分解而弱化的全局结构信息,获取增强后的高频子带和低频子带;

所述自适应频率增强单元包括:信息量评估分支、噪声水平评估分支和任务相关性评估分支;

利用信息量评估分支生成输入子带的信息量评估分量;

利用噪声水平评估分支生成输入子带的噪声水平评估分量;

利用任务相关性评估分支生成输入子带的任务相关性评估分量;

根据信息量评估分量、噪声水平评估分量、任务相关性评估分量生成输入子带的动态权重,结合所述动态权重并利用拉普拉斯的卷积形式对输入子带进行自适应频率增强;

其中,所述输入子带包括高频子带和低频子带;

所述稀疏补偿单元包括:

通过所述稀疏补偿单元的稀疏注意力机制捕获空间相关性,利用所述稀疏补偿单元的低频特征补偿单元恢复因频率分解而弱化的全局结构信息,使用所述稀疏补偿单元的前馈神经网络单元对特征进行稀疏激活,并抑制噪声干扰。

2.根据权利要求1所述的多模态融合特征生成方法,其特征在于,所述信息量评估分支的表达式包括:S=AdaptiveAvgPool(GELU(Conv3×3(x))),其中,S代表输入子带的信息量评估分量,x代表输入子带,Conv3×3表示一个3×3的卷积操作,GELU表示高斯误差线性单元,AdaptiveAvgPool表示自适应平均池化操作;

所述噪声水平评估分支的表达式包括:

N=AdaptiveAvgPool(Conv1×1(x)),其中,N代表输入子带的噪声水平评估分量,Conv1×1表示一个1×1的卷积操作;

所述任务相关性评估分支的表达式包括:

其中,R代表输入子带的任务相关性评估分量, 表示一个将通道数减少到原来的一半的1×1卷积操作, 表示一个将通道数恢复到原始数量的1×1卷积操作,σ表示Sigmoid激活函数;

根据信息量评估分量、噪声水平评估分量、任务相关性评估分量生成输入子带的动态权重,然后结合所述动态权重并利用拉普拉斯的卷积形式对输入子带进行自适应频率增强,包括:在通道维度上拼接所述信息量评估分量S、噪声水平评估分量N与任务相关性评估分量R,再通过1×1卷积层将拼接后特征的通道维度映射至输入子带的通道数,然后通过Sigmoid函数进行逐通道的归一化,生成范围在[0,1]内的动态权重,表达式包括:W=σ(Conv1×1(Concat(S,N,R))),其中,W为动态权重,Concat表示在通道维度上的拼接操作;

结合所述动态权重并利用拉普拉斯的卷积形式对所述输入子带进行卷积运算,表达式包括:其中,ConvL代表拉普拉斯的卷积形式,f(i,j)表示所述图像块在横坐标为i,纵坐标为j处的像素,r和s代表卷积核的索引,表示卷积核在水平和垂直方向上的偏移量,k表示卷积核在行方向上的大小,l表示卷积核在列方向上的大小,k和l决定了卷积核的大小;

自适应频率增强后的特征与输入子带进行残差连接,表达式包括:y=x+ConvL(x)×W,

其中,y表示局部细节信息增强后的高频子带和低频子带。

3.根据权利要求1所述的多模态融合特征生成方法,其特征在于,包括:通过归一化操作对输入的局部细节信息增强后的高频子带和低频子带进行标准化处理,表达式包括:其中,y表示局部细节信息增强后的高频子带和低频子带, 表示第一归一化特征,LN表示层归一化操作,AvgPool表示全局平均池化,Linear表示全连接层,σ表示Sigmoid激活函数;

所述稀疏注意力机制通过构建局部注意力掩码,强制每个空间位置仅与其3×3邻域内的局部区域建立注意力关联,约束特征交互范围,如公式:其中, 表示在第一归一化特征图中横坐标为i1,纵坐标为j1处的局部注意力掩码;

通过多头注意力机制获取具有丰富上下文信息的特征表示,其中查询向量、键向量和值向量来自所述第一归一化特征的映射,通过动态特征聚合后获取稀疏注意力机制的输出特征,表达式包括:H M

A=∑h=1Atth,

其中,Atth表示多头注意力机制,A表示稀疏注意力机制的输出特征,A∈R^(B×C×H×W1),B、C、H和W1分别代表批次大小、通道数、特征图的高度和特征图的宽度,Softmax表示激活函数,Q、K、V分别表示查询向量、键向量和值向量,T表示转置操作,d是键向量的维度,⊙表示哈达码积运算,h=1,2,...H,式中h表示头数,H表示最大头数;

稀疏注意力机制的输出特征通过维度变换恢复所述第一归一化特征的形状,获得恢复形状的输出特征,所述恢复形状的输出特征经过预构建的稀疏门控机制后与局部细节信息增强后的高频子带和低频子带进行残差连接,获得残差连接后的特征,表达式包括:yAtt=y+A'×σ((|A'|‑τ)×10),

其中,τ是稀疏阈值,yAtt表示残差连接后的特征, 表示为恢复形状的输出特征;

对所述残差连接后的特征进行低通滤波卷积运算提取其低频特征,表达式包括:其中, 表示低通滤波卷积运算,yc为低频特征;

将所述低频特征输入到低频特征补偿单元中,通过具有非线性激活的两层卷积结构构建补偿特征,表达式包括:其中,y′c表示补偿特征, 表示带偏置项的3×3卷积核操作,用于保持特征图尺寸不变,ReLU代表修正线性单元, 表示不带偏置项的3×3的卷积核操作,用于在保留特征图空间分辨率的前提下生成与输入通道数匹配的补偿特征;

基于所述补偿特征,经过稀疏门控机制后与局部细节信息增强后的高频子带和低频子带进行残差连接,实现全局结构信息的定向增强,表达式包括:ycomp=y+y′c×σ((|y′c|‑τ)×10),其中,ycomp代表全局结构信息增强后的特征;

通过归一化操作对所述全局结构信息增强后的特征进行标准化处理,表达式包括:其中, 表示第二归一化特征;

基于所述第二归一化特征,前馈神经网络单元通过自适应平均池生成通道描述向量,并通过可学习的权重矩阵后经Sigmoid函数转换为注意力权重,通过所述注意力权重突出显示强通道,同时抑制弱通道,获取前馈神经网络单元的输出特征,表达式包括:其中,yffn表示前馈神经网络单元的输出特征,α表示可学习的残差缩放因子,用于动态调整补偿特征的贡献比例,LeakyReLU表示带泄漏的线性整流单元, 表示扩展维度的3×3卷积操作,用于将通道数扩展至原始维度的两倍, 表示还原维度的3×3卷积操作,用于将通道数还原到原始数量,Wg表示门控网络的权重矩阵;

将前馈神经网络单元的输出特征经过稀疏门控机制后与局部细节信息增强后的高频子带和低频子带进行残差连接,如公式:Φout=y+yffn×σ((|yffn|‑τ)×10),其中,Φout表示经过自适应频率增强与稀疏补偿模型增强后的高频子带和低频子带。

4.根据权利要求1所述的多模态融合特征生成方法,其特征在于,基于所述增强后的高频子带和低频子带进行逆小波变换,生成重构信号;基于所述图像块与重构信号,通过门控机制获得高光谱成像和激光雷达数据门控融合后的特征,在通道维度上拼接所述高光谱成像和激光雷达数据门控融合后的特征,采用通道‑空间双注意力机制,生成标准化的多模态融合特征,表达式包括:其中,Fh和Fl分别表示高光谱成像和激光雷达数据门控融合后的特征,Xh和Xl分别表示高光谱成像和激光雷达数据的图像块, 和 分别表示高光谱成像和激光雷达数据的重构信号,Convg表示级联的双层卷积与非线形激活函数,Tanh表示双曲正切激活函数,Conv3×3表示3×3的卷积操作, 表示通道维度对齐的1×1卷积操作,⊙表示哈达码积运算;

将所述高光谱成像和激光雷达数据门控融合后的特征采用通道维度拼接策略,获取其多模态融合特征,表达式包括:Ffusion=Concat(Fh,Fl),

其中,Ffusion表示多模态融合特征,Concat表示在通道维度上的拼接操作;

将所述多模态融合特征通过通道‑空间双注意力机制,生成标准化的多模态融合特征,表达式包括:F'fusion=Ffusion⊙Mc(ffusion),Fout=F'fusion⊙Ms(F'fusion),

其中,F'fusion表示标准化的多模态融合特征,Fout表示标准化的多模态融合特征,Mc表示通道注意力图,Ms表示空间注意力图。

5.一种多模态融合特征生成装置,其特征在于,包括:

数据获取模块,用于获取高光谱成像和激光雷达数据,针对所述高光谱成像和激光雷达数据中的每一个像素样本,构造以像素为中心的图像块;

特征分解模块,用于采用小波变换对所述图像块进行频率特征分解,生成对应的高频子带和低频子带;

输入模块,用于将所述高频子带和低频子带输入预构建的自适应频率增强与稀疏补偿模型,其中,所述自适应频率增强与稀疏补偿模型包括自适应频率增强单元和稀疏补偿单元;

增强模块,用于通过所述自适应频率增强单元增强所述高频子带和低频子带的局部细节信息,通过所述稀疏补偿单元恢复所述高频子带和低频子带因频率特征分解而弱化的全局结构信息,得到增强后的高频子带和低频子带;

重构模块,用于基于所述增强后的高频子带和低频子带进行逆小波变换,生成重构信号;

融合模块,用于基于所述图像块与重构信号,通过门控机制获得高光谱成像和激光雷达数据门控融合后的特征,在通道维度上拼接所述高光谱成像和激光雷达数据门控融合后的特征,采用通道‑空间双注意力机制,生成标准化的多模态融合特征;

所述自适应频率增强单元利用任务驱动的动态权重学习与拉普拉斯的卷积形式,增强高频子带和低频子带的局部细节信息,获取局部细节信息增强后的高频子带和低频子带;

所述稀疏补偿单元捕获所述局部细节信息增强后的高频子带和低频子带的空间相关性,抑制噪声干扰,并恢复因频率特征分解而弱化的全局结构信息,获取增强后的高频子带和低频子带;

所述自适应频率增强单元包括:信息量评估分支、噪声水平评估分支和任务相关性评估分支;

利用信息量评估分支生成输入子带的信息量评估分量;

利用噪声水平评估分支生成输入子带的噪声水平评估分量;

利用任务相关性评估分支生成输入子带的任务相关性评估分量;

根据信息量评估分量、噪声水平评估分量、任务相关性评估分量生成输入子带的动态权重,结合所述动态权重并利用拉普拉斯的卷积形式对输入子带进行自适应频率增强;

其中,所述输入子带包括高频子带和低频子带;

所述稀疏补偿单元包括:

通过所述稀疏补偿单元的稀疏注意力机制捕获空间相关性,利用所述稀疏补偿单元的低频特征补偿单元恢复因频率分解而弱化的全局结构信息,使用所述稀疏补偿单元的前馈神经网络单元对特征进行稀疏激活,并抑制噪声干扰。

6.一种电子终端,其特征在于,包括处理器和与所述处理器连接的存储器,在所述存储器内存储有计算机程序,当所述计算机程序被所述处理器执行时,执行如权利要求1至4任一项所述方法的步骤。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。