利索能及
我要发布
收藏
专利号: 202110509659X
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于判决相关分析的遥感图像特征融合方法,其特征在于:包括以下步骤:步骤1:采用Lowe’s算法生成遥感图像的SIFT特征;

步骤2:利用IFK方法对SIFT特征进行编码,得到编码后的SIFT特征;

步骤3:采用经ImageNet数据集预训练的VGG‑VD‑16神经网络模型作为特征提取器,对fc.1 fc.2遥感图像进行提取,得到第一个全连接层特征Fi 和第二个全连接层特征Fi ;

fc.1

步骤4:将编码后的SIFT特征与第一个全连接层特征Fi 进行融合,得到中间特征Hm;

fc.2

采用DCA变换方法,对中间特征Hm和第二个全连接层特征Fi 进行DCA变换;将变换后的中fc.2间特征和第二个全连接层特征Fi 进行融合,得到融合结果;

步骤5:将融合结构输入至线性分类器,得到遥感图像分类结果;

所述步骤4具体为:

fc.1

将第一个全连接层特征Fi 与经IFK编码后的SIFT特征融合可得中间特征Hm,表示如下:fc.1 s

Hm=kFi +αHIFK(fi)          (4)其中,k和α表示特征融合时的第一个全连接层的权重系数和SIFT特征的权重系数;

fc.2

采用判别相关分析DCA变换方法对中间特征Hm和第二全连接层特征Fi 进行变换,变换后的两个特征分别表示为:*

DCA(Hm)=(Hm) =W1Hm             (5)fc.2 fc.2 * fc.2

DCA(Fi )=(Fi ) =W2Fi        (6)式中,W1、W2分别为两个特征的变换矩阵,分别表示为:其中,A是中间特征Hm集合的协方差对应的最大特征向量,B是第二个全连接层特征fc.2Fi 集合的协方差矩阵对应的最大特征向量;Λa是特征Hm集合的协方差对应的特征值构fc.2成的对角线矩阵,Λb为第二个全连接层特征Fi 集合的协方差矩阵对应的特征值构成的对角线矩阵;U和V是酉矩阵,∑为对角线矩阵,且U,V和∑为对中间特征Hm集合和第二个全fc.2连接层特征Fi 集合的协方差矩阵进行奇异值分解所得;

fc.2

将变换后的中间特征Hm和第二个全连接层特征Fi 进行融合,得到融合结果,表示为:fc.1 s fc.2

式中,Fi 为第一个全连接层特征,HIFK(fi)为经IFK编码后的SIFT特征,Fi 为第二个全连接层特征,k、α和β分别表示特征融合时的各特征的权重系数,*表示是经过DCA变换后的特征。

2.根据权利要求1所述的一种基于判决相关分析的遥感图像特征融合方法,其特征在于:所述编码后的SIFT特征,表示为:其中:

上式中, 为μi的T维梯度表示, 为σi的T维梯度表示,X为遥感图像的SIFT特征集合,表示为:X={xt,t=1,2...T};wi、μi、σi分别为第i个高斯混合模型的混合权重、均值和方差;T为SIFT特征的个数;γt(i)表示第t个SIFT特征由第i个高斯混合模型生成的概率,xt表示第t个SIFT特征。

3.一种基于判决相关分析的遥感图像特征融合系统,其特征在于:包括:SIFT特征生成模块,用于采用Lowe’s算法生成遥感图像的SIFT特征;

编码模块,用于利用IFK方法对SIFT特征进行编码,得到编码后的SIFT特征;

遥感图像特征提取模块,用于采用经ImageNet数据集预训练的VGG‑VD‑16神经网络模fc.1型作为特征提取器,对遥感图像进行提取,得到第一个全连接层特征Fi 和第二个全连接fc.2层特征Fi ;

fc.1

融合模块,用于将编码后的SIFT特征与第一个全连接层特征Fi 进行融合,得到中间fc.2特征;采用DCA变换方法,对中间特征和第二个全连接层特征Fi 进行DCA变换;将变换后的fc.2中间特征和第二个全连接层特征Fi 进行融合,得到融合结果;

分类器,用于将融合结构输入至线性分类器,得到遥感图像分类结果;

所述中间特征Hm,表示如下:

fc.1 s

Hm=kFi +αHIFK(fi)         (4)其中,k和α表示特征融合时的第一个全连接层的权重系数和SIFT特征的权重系数;

fc.2

所述变换后的中间特征Hm和第二全连接层特征Fi 进行变换,变换后的两个特征分别表示为:*

DCA(Hm)=(Hm) =W1Hm         (5)fc.2 fc.2 * fc.2

DCA(Fi )=(Fi ) =W2Fi      (6)式中,W1、W2分别为两个特征的变换矩阵,分别表示为:其中,A是中间特征Hm集合的协方差对应的最大特征向量,B是第二个全连接层特征fc.2Fi 集合的协方差矩阵对应的最大特征向量;Λa是特征Hm集合的协方差对应的特征值构fc.2成的对角线矩阵,Λb为第二个全连接层特征Fi 集合的协方差矩阵对应的特征值构成的对角线矩阵;U和V是酉矩阵,∑为对角线矩阵,且U,V和∑为对中间特征Hm集合和第二个全fc.2连接层特征Fi 集合的协方差矩阵进行奇异值分解所得;

所述融合结果,表示为:

fc.1 s fc.2

式中,Fi 为第一个全连接层特征,HIFK(fi)为经IFK编码后的SIFT特征,Fi 为第二个全连接层特征,k、α和β分别表示特征融合时的各特征的权重系数,*表示是经过DCA变换后的特征。

4.根据权利要求3所述的一种基于判决相关分析的遥感图像特征融合系统,其特征在于:所述分类器为libsvm中的线性分类器。

5.根据权利要求3所述的一种基于判决相关分析的遥感图像特征融合系统,其特征在于:所述编码后的SIFT特征,表示为:其中:

上式中, 为μi的T维梯度表示, 为σi的T维梯度表示,X为遥感图像的SIFT特征集合,表示为:X={xt,t=1,2...T};wi、μi、σi分别为第i个高斯混合模型的混合权重、均值和方差;T为SIFT特征的个数;γt(i)表示第t个SIFT特征由第i个高斯混合模型生成的概率,xt表示第t个SIFT特征。