利索能及
我要发布
收藏
专利号: 2022100058505
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于超像素和图卷积的端到端极化SAR图像分类方法,其特征在于,包括以下步骤:步骤1,输入待分类的极化SAR图像并裁剪成统一大小;

步骤2,将剪裁后的图片按比例划分为训练集和测试集;

步骤3,对测试集和训练集的每张图像的每个像素点的复散射矩阵进行分解,生成极化相干矩阵并转换为行向量作为该像素点的极化特征;

步骤4,将极化特征拼接上该像素点的横纵坐标,拼接行向量作为像素点特征;

步骤5,搭建基于全卷积网络、图卷积网络和卷积神经网络的端到端网络;

步骤6,将训练集送入端到端网络中进行联合训练,将测试集送入到训练好的端到端网络中得到结果;

所述将训练集送入端到端网络中进行联合训练具体为:步骤6.1,初始化超像素;

初始化超像素,超像素初始化大小为高宽为16像素,那么长宽都为512像素的图像被分成了1024个超像素块;

步骤6.2,获取超像素与像素之间的软关联矩阵Q;

将训练集经步骤3步骤4得到的像素点特征送入全卷积网络中得到输出结果;

步骤6.3,通过超像素和像素软关联矩阵获取超像素块的邻接矩阵A、特征矩阵B、超像素与像素之间的转换矩阵C;

根据步骤6.2得到的超像素和像素软关联矩阵Q,将每个像素点以最高的概率分配给周边的超像素块来获得整张图像的超像素分割结果;根据超像素分割结果来获取每张图像的邻接矩阵A和特征矩阵B;

邻接矩阵A大小为(1024,1024),Ai,j表示邻接矩阵A第i行第j列的元素;

x

特征矩阵B大小为(1024,9),B表示第x个超像素块的特征; 表示超像素块x中第y个像素点特征,n表示第x个超像素块中像素点个数;

超像素和像素的转换矩阵C大小为(512×512,1024),Cp,q表示超像素和像素转换矩阵C第p行第q列的元素;

其中,

p代表图像的像素点下标,q代表图像的超像素块下标;p∈[1,512×512];q∈[1,

1024];

步骤6.4,图卷积得到图像的超像素特征;

将每张图像的邻接矩阵和特征矩阵输入到图卷积网络中,输入是该图像的邻接矩阵和特征矩阵;输出是二维张量H,为图像的超像素特征;

步骤6.5,将图像的超像素特征转换为像素特征;

Hgcn=C·H;

其中C代表步骤6.3求出的超像素与像素之间的转换矩阵,H代表图卷积网络的输出;

步骤6.6,卷积神经网络得到图像的像素级特征;

将训练集经步骤3得到的极化特征作为输入送入至卷积神经网络得到像素级特征;

步骤6.7,将步骤6.6得到的图像像素级特征和步骤6.5得到的经过超像素和像素的转换矩阵得到的像素级特征融合进行分类;

步骤6.8,计算总的损失函数并反向传递迭代更新网络直至收敛。

2.如权利要求1所述的基于超像素和图卷积的端到端极化SAR图像分类方法,其特征在于,所述步骤3的具体步骤为:对步骤2中剪裁后的每张图像的每个像素点的复散射矩阵进行分解,生成极化相干矩阵并将其转换为大小为1×9的行向量作为该像素点的极化特征;生成的极化相干矩阵T的表达式如下:将极化相干矩阵T记为 然后将极化相干矩阵转换为行向量得到特征矩阵:T′=[T11,T12,T13,T21,T22,T23,T31,T32,T33],并且该极化相干矩阵为复共轭矩阵,对此复共轭矩阵进行预处理:得到该像素点极化特征向量F:F=(T11,T22,T33,Re[T12],Re[T13],Re[T23],Im[T21],Im「T31],Im[T32])  (2)其中Re表示取复数的实数部分,Im表示取复数的虚数部分,而Tij表示极化相干矩阵的第i行第j列数据。

3.如权利要求1所述的基于超像素和图卷积的端到端极化SAR图像分类方法,其特征在于,所述步骤4具体的为:将步骤3生成的每个像素点的极化特征向量拼接上该像素点的的横纵坐标得到像素点特征。

4.如权利要求1所述的基于超像素和图卷积的端到端极化SAR图像分类方法,其特征在于,步骤5中所述全卷积网络的结构为一次连接的输入层、第一下采样层、第二下采样层、第三下采样层、第四下采样层、第五下采样层、第一上采样层、第二上采样层、第三上采样层、第四上采样层和softMax输出层,所述全卷积网络的损失函数为:其中Φ代表更新前的像素点特征, 代表更新后像素点的特征, 代表求两者之间的交叉熵损失函数;

所述图卷积神经网络的结构为依次连接的输入层、第一图卷积层、第二图卷积层、第三图卷积层和softmax输出层,每个图卷积层的激活函数为tanh函数;

所述卷积神经网络结构为依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层和softMax输出层,每个卷积层的激活函数是LeakyRelu函数。

5.如权利要求1所述的基于超像素和图卷积的端到端极化SAR图像分类方法,其特征在于,所述步骤6的具体步骤为:步骤6.1,将训练集和测试集初始化为超像素块;

步骤6.2,将训练集经步骤3步骤4得到的像素点特征送入全卷积网络中得到输出结果,输出矩阵Q为超像素和像素的软关联矩阵;

步骤6.3,通过超像素和像素软关联矩阵获取超像素块的邻接矩阵A、特征矩阵B、超像素与像素之间的转换矩阵C;

根据步骤6.2得到的超像素和像素软关联矩阵Q,将每个像素点以最高的概率分配给周边的超像素块来获得整张图像的超像素分割结果,根据超像素分割结果来获取每张图像的邻接矩阵A和特征矩阵B;

其中邻接矩阵A中Ai,j表示邻接矩阵A第i行第j列的元素:x

特征矩阵B中B表示第x个超像素块的特征; 表示超像素块x中第y个像素点特征,n表示第x个超像素块中像素点个数;

超像素和像素的转换矩阵为转换矩阵C;

步骤6.4,将每张图像的邻接矩阵和特征矩阵输入到图卷积网络中,输入是该图像的邻接矩阵和特征矩阵,输出是二维张量H为图像的超像素特征;

步骤6.5,将图像的超像素特征转换为像素特征:Hgcn=C·H     (14);

其中C代表转换矩阵,H代表图卷积网络的输出;Hgcn为图卷积网络输出的超像素特征经过超像素和像素的转换矩阵得到的像素特征;

步骤6.6,卷积神经网络得到图像的像素级特征;

将训练集经步骤3得到的极化特征作为输入送入至卷积神经网络得到像素级特征;

步骤6.7,将步骤6.6得到的图像像素级特征和步骤6.5得到的经过超像素和像素的转换矩阵得到的像素级特征融合进行分类;

步骤6.8,计算总的损失函数并反向传递迭代更新网络直至收敛;

端到端网络总的损失函数loss为:

loss=loss1+loss2     (15);

其中loss1为超像素分割的全卷积网络损失函数;loss2为分类损失函数;最后对网络进行迭代更新,直至网络收敛,则端到端网络模型训练完成;

步骤6.9,将测试集送入到训练好的端到端网络模型中得到分类结果。