1.一种多尺度聚合的云和云阴影辨识方法,其特征在于,包括:获取待测图片;
将待测图片输入到预训练好的多尺度注意力特征聚合网络中,得到云和云阴影的掩膜图像,完成云和云阴影的辨识。
2.根据权利要求1所述的一种多尺度聚合的云和云阴影辨识方法,其特征在于,所述多尺度注意力特征聚合网络通过以下方法进行训练:获取训练数据;
对训练数据中的图像进行数据增强处理,然后将图像与对应的标签转化为张量;
将所述张量输入到多尺度注意力特征聚合网络中进行训练,得到训练好的多尺度注意力特征聚合网络。
3.根据权利要求1所述的一种多尺度聚合的云和云阴影辨识方法,其特征在于,所述多尺度注意力特征聚合网络包括多尺度条状池化注意力模块,由并行的4条带平均池化分支和一个自适应平均池化分支、两条并行的条状卷积支路、空间注意力模块、通道注意力模块组成,用于提取多尺度上下文信息和深层空间、通道信息;
4条带平均池化分支和一个自适应平均池化分支,用于并行提取和添加待测图片,得到多尺度特征图后恢复到待测图片大小,并在高度维度连接在一起,得到权重向量;
将权重向量分别输入到两条并行的条状卷积支路,第一条支路由卷积核1×7和卷积核
7×1组成,第二条支路由卷积核7×1和卷积核1×7组成,第一条支路提取出特征图后将其输入到空间注意力模块,提取出包含空间信息第一特征图,第二条支路提取出特征图后将其输入到通道注意力模块,提取出包含通道信息的第二特征图,然后连接交互后输出最终特征图;
所述通道注意力模块的计算过程如下:
分别用全局平均池化和全局最大池化提取特征:
其中,x表述输入的特征图, 和 分别表示全局最大池化分支和全局平均池化分支输出的第二权重向量和第三权重向量,Gmax和Gavg分别表示全局最大池化和全局平均池化,C2D1×1表示卷积核为1×1的二维卷积;
对全局平均池化和全局最大池化提取出的特征进行拼接:其中,CAT3代表在宽度维度进行拼接, 是在宽度维度拼接后的图像;
尺寸恢复、特征选择、重新加权:
其中,CA(x)表示通道注意力模块输出的第一特征图,DWC2D1×2表示卷积核为1×2的二维深度可分离卷积,DWC2D1×1表示卷积核为1×1的二维深度可分离卷积,σ表示非线性激活函数Sigmoid;
所述空间注意力模块的计算过程如下:
分别用全局平均池化和全局最大池化提取特征后沿通道维度连接,执行卷积运算,再经过非线性激活函数生成第二特征图:SA(x)=σ(C2D7×7(CAT1(MP(x),AP(x))))其中,SA(x)表示空间注意力模块输出的第二特征图,C2D7×7表示卷积核为7×7的二维卷积,CAT1表示在通道维度进行拼接,MP和AP分别表示最大池化和平均池化。
4.根据权利要求1所述的一种多尺度聚合的云和云阴影辨识方法,其特征在于,所述多尺度注意力特征聚合网络包括深度多头前馈转移注意力模块,用于促进多尺度注意力特征聚合网络中的主干网络相邻两层相互引导进行特征挖掘,融合从主干网络提取的相邻两层的特征图信息;
先对相邻两层输出的特征图进行层归一化操作生成第一层归一化张量和第二层归一化张量,由第一层归一化张量产生查询向量,由第二层归一化张量产生键向量和值向量,计算过程如下:其中,X是第一层归一化张量,Y是第二层归一化张量,Q是查询向量,K是键向量,V是值向量, 表示计算查询向量的卷积核为1×1的二维卷积, 表示计算查询向量的卷积核为3×3的二维深度可分离卷积, 表示计算键向量的卷积核为1×1的二维卷积, 表示计算键向量的卷积核为3×3的二维深度可分离卷积,表示计算值向量的卷积核为1×1的二维卷积, 表示计算值向量的卷积核为3×
3的二维深度可分离卷积;
重塑查询向量和键向量使它们的点积交互生成转置注意力图:Attention(Q′,K′,V′)=V′·Softmax(K′·V′/β)P′=C2D1×1Attention(Q′,K′,V′)+x+y其中,x和y分别表示浅层和深层输入的特征图,P′是输出的转置注意力特征图,Q′,K′,V′是从原始尺寸重塑张量后获得的三个矩阵,β是缩放参数,Attention(Q′,K′,V′)是注意力函数;
将转置注意力特征图输入到前馈网络,得到前馈特征图:Z1=DWC2D3×3((C2D1×1(Z))
Z2=δ(Z1)⊙Z1
Z′=C2D1×1(Z2)+Z
其中,Z是由转置注意力特征图进行层归一化得到的第三层归一化张量,C2D1×1是卷积核为1×1的二维卷积,DWC2D3×3是卷积核为3×3的二维深度可分离卷积,Z1是第一前馈中间图,⊙表示点乘,δ是Gelu非线性激活函数,Z2是第二前馈中间图,Z′是输出的前馈特征图。
5.根据权利要求1所述的一种多尺度聚合的云和云阴影辨识方法,其特征在于,所述多尺度注意力特征聚合网络包括双边特征融合模块,包括细节分支和上下文分支;
细节分支输出的特征图同时输入两个支路,得到两个特征映射后的细节输出值:其中,x_d是细节分支输出的特征图, 表示卷积核为3×3、扩张因子是2的二维深度可分离卷积,BN表示批量归一化,R表示Relu激活函数,AP表示平均池化,γ1和γ2分别表示两个特征映射后的细节输出值;
上下文支路输出的特征图同时输入两个支路,得到两个特征映射后的上下文输出值:y1=γ1·σ(x_cup)
其中,x_cup是上下文分支输出的特征图,σ表示非线性激活函数Sigmoid, 表示卷积核为3×3、扩张因子是2的二维卷积,DWC2D3×3表示卷积核为3×3二维深度可分离卷积,y1和y2分别表示两个特征映射后的上下文输出值;
将两个特征映射后的上下文输出值相加后经过一个二维深度可分离卷积,再加上批量归一化处理和激活处理,得到双边特征融合特征图:yout=R(BN(DWC2D3×3(y1+y2)))其中,yout是双边特征融合特征图。
6.根据权利要求1所述的一种多尺度聚合的云和云阴影辨识方法,其特征在于,所述多尺度注意力特征聚合网络包括边界细化助推模块,用于加强对云和云阴影复杂边缘信息的检测,边界细化助推模块的计算过程如下:x′=C2D3×3(C2D3×3(x))+x
y=drop(C2D3×3(x′))
y′=Up(C2D1×1(y))
其中,x和y′分别表示边界细化助推模块的输入值和输出值,C2D1×1表示卷积核为1×1的二维卷积,Up表示进行2倍上采样,C2D3×3表示卷积核为3×3的二维卷积,drop表示dropout算法,x′表示第一细化中间量,y表示第二细化中间量。
7.一种多尺度聚合的云和云阴影辨识系统,其特征在于,包括:图片获取模块:用于获取待测图片;
云和云阴影辨识模块:用于将待测图片输入到预训练好的多尺度注意力特征聚合网络中,得到云和云阴影的掩膜图像,完成云和云阴影的辨识。
8.一种多尺度聚合的云和云阴影辨识装置,其特征在于,包括处理器和存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~6任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~6任一项所述方法的步骤。