利索能及
我要发布
收藏
专利号: 2025107503387
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,包括:S1.构建动态稀疏窗口交互块DSwin Block,动态稀疏窗口交互块由动态稀疏自注意力DSA、窗口自注意力WSA和尺度感知交互模块SAIM组成;

S2.基于动态稀疏窗口交互块搭建图像超分网络模型;

S3.获取滨海养殖池塘的哨兵2号卫星影像Sentinel‑2影像,构建训练数据集;

S4.基于训练数据集对图像超分网络模型进行模型训练,获取训练权重,基于训练权重对Sentinel‑2影像进行修复和重建,获取Sentinel‑2超分图像;

S5.基于Sentinel‑2超分图像提取滨海水产养殖池塘;

S1包括:

S1.1,构建动态稀疏自注意力DSA,捕获图像修复所需的高频细节信息和纹理信息;

S1.2,构建尺度感知交互模块SAIM,进行多尺度特征交互处理;

输入一组特征 ,首先通过1×1卷积将输入特征映射到隐藏特征空间,获得隐藏空间特征 :;

其中, 分别表示特征 的特征维度、特征图高和特征图宽;

通过深度可分离卷积从不同尺度对特征 进行提取,获得不同尺度的特征,并使用分块操作将不同尺度的特征等分成三部分:;

其中,表示通道数, 代表激活函数GELU, 分别表示通过分块操作得到的第一部分、第二部分、第三部分的特征, 表示深度可分离卷积的卷积核大小;

对获取到的不同尺度的特征图的部分特征进行拼接得到多尺度特征,使用深度可分离卷积对多尺度特征进行交互处理:;

其中, 表示在通道维度对不同特征进行拼接, 表示正则化Dropout, 表示对多尺度特征进行交互处理得到的交互特征图, 表示深度可分离卷积的卷积核大小;

融合三组交互特征图,使用1×1卷积对融合后的特征图进行特征维度恢复,获得尺度感知交互模块的输出特征 :;

输出特征中包含不同尺度下的特征信息;

S1.3,组建动态稀疏窗口交互块DSwin Block,将特征 输入动态稀疏窗口交互块,先对特征 进行层归一化处理,得到归一化特征 ,再通过动态稀疏自注意力和窗口自注意力对 进行特征提取,并将特征提取结果与输入特征 相加得到自注意力提取特征 :;

其中, , 和 分别表示动态稀疏自注意力的特征提取结果和窗口自注意力的特征提取结果;

使用层归一化LayerNorm和SAIM对 进行处理,通过残差拼接得到多尺度特征 :;

其中, , 表示层归一化, 表示尺度感知交互层。

2.根据权利要求1所述的基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,S1.1包括:输入一组特征 ,通过卷积将特征 映射为查询向量 、键向量 和值向量 :;

其中, 表示特征 的尺寸为 ,、 和 分别表示特征 的特征维度、特征图高和特征图宽,表示分块Chunk, 表示1×1卷积, 表示卷积核大小为 的深度可分离卷积;

对查询向量和键向量进行欧几里得L2归一化后,再对查询向量和键向量的转置进行点积操作,生成相似度密集矩阵 :;

其中, 表示键向量的转置。

3.根据权利要求2所述的基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,引入可学习的区间划分参数 ,在三个不同区间范围内进行Top‑K特征选择,第个特征与其他特征的相似度密集矩阵为 ,用于划分不同稀疏阶段的值 为:;

其中, 表示将 限制在指定区间 内;

定义稀疏掩码,基于 进行区间Top‑K选择,获取每个阶段的稀疏相似度矩阵 ,再通过激活函数softmax对 进行归一化,得到动态稀疏自注意力的输出 :;

其中, 表示与第个特征相似,且相似度排名为前 的索引集合, 表示除索引集合外的其余位置。

4.根据权利要求3所述的基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,S2中,将低分辨率图像 输入搭建的图像超分网络模型中,基于图像超分网络模型对低分辨率图像进行特征提取和图像重建,包括:S2.1,浅层特征提取;

通过一层3×3卷积将输入的低分辨率图像 映射到高维特征空间,提取浅层特征:;

S2.2,深层特征提取;

深层特征提取由N层残差特征选择组RASG组成,每一层的RASG提取的特征 为:;

其中, 表示第一层的RASG的输入特征,将提取的浅层特征 作为深层特征提取的初始输入特征,等同于第一层的RASG的输入特征为 ,第二至第N层的RASG的输入特征为上一层RASG的输出特征, 表示连续 次使用动态稀疏窗口交互块;

S2.3,图像的修复和重建;

使用一层3×3卷积将深层特征的维度从180降低为64,再使用一组3×3卷积将通道数映射回3通道,最后使用像素重排PixelShuffle将图像分辨率恢复为原来的4倍,实现Sentinel‑2图像的修复和重建。

5.根据权利要求4所述的基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,S3包括:S3.1,获取滨海养殖池塘的Sentinel‑2影像,将Sentinel‑2影像的波段重采样至10米空间分辨率后进行波段合成,获得10m分辨率的RGB图像;

S3.2,制作训练样本对,构建训练数据集;

选取与目标区域的滨海养殖池塘具备相似形状的高分辨率影像,对选取的影像进行下采样处理,将影像的空间分辨率调整至2.5米和10米空间分辨率,调整图像尺寸,将2.5米空间分辨率的图像尺寸设置为256,将10米空间分辨率的图像尺寸设置为64,选取同一影像空间分辨率分别为2.5米和10米的图像组成一个训练样本对,基于选取的高分辨率影像制作若干训练样本对,构建训练数据集。

6.根据权利要求5所述的基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,S4包括:S4.1,模型训练;

将训练数据集中的训练样本对输入模型,设置模型训练的初始学习率为0.0001,损失函数为L1损失,使用优化器AdamW对模型进行训练,训练100轮,获取模型权重;

S4.2,图像拼接重建;

获取目标区域的滨海养殖池塘的Sentinel‑2影像,将获取的影像作为输入样本,基于模型权重对影像进行超分辨率处理;

将输入样本对划分为若干小块,一个小块为一个补丁,对每个小块进行超分辨率处理,再通过拼接重构完整高分辨率影像,对于每个提取的补丁 ,应用超分辨率网络进行单独重建:;

其中,代表超分辨率模型,为网络参数,所有补丁均被独立输入网络进行处理,生成相应的高分辨率补丁 ,得到重建补丁并拼接重建后的补丁完成图像重建。

7.根据权利要求6所述的基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,对重建后的补丁进行自适应加权融合,实现补丁的平滑拼接,完成图像重建,首先在高分辨率补丁的重叠区域内,构造权重衰减矩阵 ,再将所有补丁按照空间位置进行逐像素加权累加:;

其中, 表示像素点, 表示距离重叠区域边界的欧式距离,表示重叠大小,表示补丁的像素权重, 表示对应位置的重建补丁。

8.根据权利要求7所述的基于动态稀疏自注意力的图像超分网络构建方法,其特征在于,S5包括:S5.1,制作图像分割数据集;

获取Sentinel‑2超分图像的矢量文件,并将矢量文件转换为掩膜标签,基于掩膜标签获取Sentinel‑2超分图像对应的边缘标签,制作Sentinel‑2超分图像数据集;

S5.2,滨海养殖池塘分割网络搭建与训练;

在全卷积对称网络U‑Net网络的末端添加一个边缘输出分支,引入边缘监督,设置网络训练初始学习率为0.01,损失函数为NLL损失,使用优化器AdamW和学习率调度器CosineAnnealing,基于Sentinel‑2超分图像数据集进行网络训练,训练100轮,获得图像分割权重;

S5.3,滨海养殖池塘提取和修复;

基于训练得到的图像分割权重在Sentinel‑2超分图像中提取滨海养殖池塘,并结合开运算和闭运算修复池塘的初步提取结果,最后转换为工程文件。