1.基于多尺度融合注意力的遥感图像分割方法,其特征在于:获取数据集图像,将数据集图像输入预先构建的残差网络ResNet‑50得到深层语义特征信息,所述深层语义特征信息为特征矩阵M1、特征矩阵M2、特征矩阵M3和特征矩阵M,再将得到的特征矩阵M输入预先构建的多尺度特征表示模块中,多尺度特征表示模块通过不同空洞率的空洞卷积进行特征聚合;输出特征矩阵M4,式中,M表示ResNet‑50最后一层输出; 表示卷积核大小为3,空洞率为1的空洞卷积运算;BN表示进一步的批量归一化;ReLU表示非线性激活层;GAP表示全局平均池化层;UP表示上采样到原图大小;Concat表示将各个特征在通道数维度相加;
对通过残差网络ResNet‑50输出的特征矩阵M1、特征矩阵M2、特征矩阵M3和多尺度特征表示模块输出的特征矩阵M4分别进行降维得到T1、T2、T3和T4,然后输入预先构建的特征融合模块FFA,特征融合模块FFA按高层到底层顺序将降维后的特征依次融合的过程为:所述特征融合模块FFA包括三个融合模块,将T4和T3输入第一个融合模块,T4作为第一个融合模块的高层特征,T3作为底层特征,对T4先进行上采样操作,得到和T3尺寸相同的特征矩阵,通过加和操作来融合两者得到融合后的特征矩阵I3;最后用卷积核大小为3的卷积算子对I3降维,输出和T3相同大小的特征矩阵K3:I3=Concat(UP(T4),T3)
K3=ReLU(BN(C3×3(I3)))
式中,UP表示向上采样,将T4还原到T3的尺寸大小,Concat是加和操作,将高层特征和底层特征按通道数相加,C3×3为卷积核大小为3的卷积算子;
c1
然后使用全局平均池化引导底层特征信息,设定高层特征为T4=[t1,t2,…tc1]∈R×h×w c2×h×w,底层特征为K3=[k1,k2,…kc2]∈R ,在高层特征T4上作全局平均池化操作获得全c1×1×1局信息,获得的全局信息表示为A∈R ,该过程表示为:式中,h,w分别表示为高层特征T4的长和宽,Ak全局信息中第k层的值,k=1、2…c1;
A经过1×1的卷积降维后得到长和宽都为1,通道数为C2的特征矩阵,通过Sigmoid激活c2×1×1函数将权重值划分在[0,1]之间生成权向量V∈R ,权向量和底层特征K3相乘,之后是1×1卷积运算,BN批量归一化和ReLU激活,该过程表示为:U3=ReLU(BN(C1×1(K3×V)))
式中,U3表示底层特征经过权向量乘积后的输出,C1×1为卷积核大小为1的卷积算子;
最后,在高层特征T4上执行上采样操作,使T4上的元素和U3一一对应,然后,执行上采样操作的高层特征T4和U3按对应像素直接相加得到P3,公式如下:P3=UP(T4)+U3
同理,输入高层特征P3和底层特征T2到第二个融合模块中得到高层特征P2,输入高层特征P2和底层特征T1到第三个融合模块中最终得到高层特征P1;
将融合后的高层特征P1输入预先构建的特征细化模块,所述特征细化模块由1×1的卷积层和残差单元组成,使用1×1的卷积层降低通道数,残差单元3×3和5×5的卷积层相当于进行了两次感受野不同的细化操作,得到细化的输出特征。
2.根据权利要求1所述的基于多尺度融合注意力的遥感图像分割方法,其特征在于:对特征矩阵M1进行降维得到:
T1=ReLU(BN(C1×1(M1)))
对特征矩阵M2进行降维得到:
T2=ReLU(BN(C1×1(M2)))
对特征矩阵M3进行降维得到:
T3=ReLU(BN(C1×1(M3)))
对特征矩阵M4进行降维得到:
T4=ReLU(BN(C1×1(M4)))
式中,C1×1表示有卷积核大小为1的卷积运算;BN表示进一步的批量归一化,加快训练速度;ReLU表示非线性激活层。
3.基于多尺度融合注意力的遥感图像分割系统,其特征在于:包括:多尺度特征表示模块MFR,用于获取数据集图像,将数据集图像输入预先构建的残差网络ResNet‑50得到深层语义特征信息,所述深层语义特征信息为特征矩阵M1、特征矩阵M2、特征矩阵M3和特征矩阵M,再将得到的特征矩阵M输入预先构建的多尺度特征表示模块中,多尺度特征表示模块通过不同空洞率的空洞卷积进行特征聚合;输出特征矩阵M4,式中,M表示ResNet‑50最后一层输出; 表示卷积核大小为3,空洞率为1的空洞卷积运算;BN表示进一步的批量归一化;ReLU表示非线性激活层;GAP表示全局平均池化层;UP表示上采样到原图大小;Concat表示将各个特征在通道数维度相加;
对通过残差网络ResNet‑50输出的特征矩阵M1、特征矩阵M2、特征矩阵M3和多尺度特征表示模块输出的特征矩阵M4分别进行降维得到T1、T2、T3和T4,然后输入预先构建的特征融合模块FFA,特征融合模块FFA:用于按高层到底层顺序将降维后的特征依次融合的过程为:所述特征融合模块FFA包括三个融合模块,将T4和T3输入第一个融合模块,T4作为第一个融合模块的高层特征,T3作为底层特征,对T4先进行上采样操作,得到和T3尺寸相同的特征矩阵,通过加和操作来融合两者得到融合后的特征矩阵I3;最后用卷积核大小为3的卷积算子对I3降维,输出和T3相同大小的特征矩阵K3:I3=Concat(UP(T4),T3)
K3=ReLU(BN(C3×3(I3)))
式中,UP表示向上采样,将T4还原到T3的尺寸大小,Concat是加和操作,将高层特征和底层特征按通道数相加,C3×3为卷积核大小为3的卷积算子;
c1
然后使用全局平均池化引导底层特征信息,设定高层特征为T4=[t1,t2,…tc1]∈R×h×w c2×h×w,底层特征为K3=[k1,k2,…kc2]∈R ,在高层特征T4上作全局平均池化操作获得全c1×1×1局信息,获得的全局信息表示为A∈R ,该过程表示为:式中,h,w分别表示为高层特征T4的长和宽,Ak全局信息中第k层的值,k=1、2…c1;
A经过1×1的卷积降维后得到长和宽都为1,通道数为C2的特征矩阵,通过Sigmoid激活C2×1×1函数将权重值划分在[0,1]之间生成权向量V∈R ,权向量和底层特征K3相乘,之后是1×1卷积运算,BN批量归一化和ReLU激活,该过程表示为:U3=ReLU(BN(C1×1(K3×V)))
式中,U3表示底层特征经过权向量乘积后的输出,C1×1为卷积核大小为1的卷积算子;
最后,在高层特征T4上执行上采样操作,使T4上的元素和U3一一对应,然后,执行上采样操作的高层特征T4和U3按对应像素直接相加得到P3,公式如下:P3=UP(T4)+U3
同理,输入高层特征P3和底层特征T2到第二个融合模块中得到高层特征P2,输入高层特征P2和底层特征T1到第三个融合模块中最终得到高层特征P1;
将融合后的高层特征P1输入预先构建的特征细化模块,
特征细化模块FRM:所述特征细化模块由1×1的卷积层和残差单元组成,使用1×1的卷积层降低通道数,残差单元3×3和5×5的卷积层相当于进行了两次感受野不同的细化操作,得到细化的输出特征。
4.根据权利要求3所述的基于多尺度融合注意力的遥感图像分割系统,其特征在于:对特征矩阵M1进行降维得到:
T1=ReLU(BN(C1×1(M1)))
对特征矩阵M2进行降维得到:
T2=ReLU(BN(C1×1(M2)))
对特征矩阵M3进行降维得到:
T3=ReLU(BN(C1×1(M3)))
对特征矩阵M4进行降维得到:
T4=ReLU(BN(C1×1(M4)))
式中,C1×1表示有卷积核大小为1的卷积运算;BN表示进一步的批量归一化,加快训练速度;ReLU表示非线性激活层。
5.一种存储一个或多个程序的计算机可读存储介质,其特征在于:所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至2所述的方法中的任一方法。
6.一种计算设备,其特征在于,包括:
一个或多个处理器、一个或多个存储器以及一个或多个程序,其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至2所述的方法中的任一方法的指令。