利索能及
我要发布
收藏
专利号: 2023115857276
申请人: 烟台大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多视图图像聚类的目标跟踪方法,其特征在于,包括:获取多视图图像训练集,对每个样本下每个视图的图像提取潜在特征表示,并以此对每个视图进行重建,提取视图特定特征表示,将所有视图的潜在特征表示级联后得到全局潜在特征表示;

引入共享锚点,通过全局潜在特征表示与锚点执行元素乘法操作得到锚点与每个视图的图像间的二部图关系,并以此增强全局潜在特征表示,得到全局共识特征表示;

对全局共识特征表示计算不同视图的图像间的转移概率,对每个视图的视图特定特征表示计算其与全局共识特征表示之间的相似度,根据相似度和转移概率,以最小化不同样本的视图特定特征表示与全局共识特征表示间的相似度为目标,构建聚类对比损失函数,并结合重建损失训练得到多视图聚类网络;所述转移概率的优化函数为: ;

其中,和/>表示第i个多视图图像样本和第j个多视图图像样本的特征表示;表示/>和/>之间的距离,/>表示距离期望值;/>表示拉格朗日参数;N为样本总数;

通过引入拉格朗日乘子建立拉格朗日函数得到方程解: ;

上述方程的KKT条件如下:

优化解为;

设k个转移概率值是非零的,如果/>,那么就会有k个非零值;所述转移概率/>为: ;

其中,表示拉格朗日参数;/>是k个非零转移概率值中从小到大排序得到的距离,/>表示第k+1个多视图图像样本的特征表示;/>表示最大值函数;

对待分类的多视图图像集,采用多视图聚类网络,得到同一目标的多视图聚类结果,从而进行目标跟踪。

2.如权利要求1所述的一种多视图图像聚类的目标跟踪方法,其特征在于,引入共享的用于学习二部图关系的锚点和用于增强全局潜在特征表示的锚点/>,通过全局潜在特征表示与锚点/>执行元素乘法操作得到二部图关系,且二部图每一行之和为1,通过二部图关系和锚点/>执行元素乘法操作得到全局共识特征表示。

3.如权利要求1所述的一种多视图图像聚类的目标跟踪方法,其特征在于,所述聚类对比损失函数为: ;

其中,是转移概率,T表示温度参数;N为多视图图像样本数,V为视图数,C为相似度;为全局共识特征表示F的第i行向量;/>为视图特定表示/>第i行向量和第j行向量。

4.如权利要求3所述的一种多视图图像聚类的目标跟踪方法,其特征在于,所述重建损失为:/>;其中,/>为输入第v个视图的原图像,/>为重构多视图图像样本,V为视图数。

5.如权利要求4所述的一种多视图图像聚类的目标跟踪方法,其特征在于,多视图聚类网络的总损失为: ;

其中,为聚类对比损失函数的权重;/>为解码器参数,/>和/>均编码器参数;/>和/>均表示模型权重参数;/>为全局潜在特征表示;/>为全局共识特征表示,/>为视图特定特征表示。

6.一种多视图图像聚类的目标跟踪系统,其特征在于,包括:特征提取模块,被配置为获取多视图图像训练集,对每个样本下每个视图的图像提取潜在特征表示,并以此对每个视图进行重建,提取视图特定特征表示,将所有视图的潜在特征表示级联后得到全局潜在特征表示;

锚点共享特征聚合模块,被配置为引入共享锚点,通过全局潜在特征表示与锚点执行元素乘法操作得到锚点与每个视图的图像间的二部图关系,并以此增强全局潜在特征表示,得到全局共识特征表示;

聚类对比学习模块,被配置为对全局共识特征表示计算不同视图的图像间的转移概率,对每个视图的视图特定特征表示计算其与全局共识特征表示之间的相似度,根据相似度和转移概率,以最小化不同样本的视图特定特征表示与全局共识特征表示间的相似度为目标,构建聚类对比损失函数,并结合重建损失训练得到多视图聚类网络;所述转移概率的优化函数为: ;

其中,和/>表示第i个多视图图像样本和第j个多视图图像样本的特征表示;表示/>和/>之间的距离,/>表示距离期望值;/>表示拉格朗日参数;N为样本总数;

通过引入拉格朗日乘子建立拉格朗日函数得到方程解: ;

上述方程的KKT条件如下:

优化解为;

设k个转移概率值是非零的,如果/>,那么就会有k个非零值;所述转移概率/>为: ;

其中,表示拉格朗日参数;/>是k个非零转移概率值中从小到大排序得到的距离,/>表示第k+1个多视图图像样本的特征表示;/>表示最大值函数;

聚类模块,被配置为对待分类的多视图图像集,采用多视图聚类网络,得到同一目标的多视图聚类结果,从而进行目标跟踪。

7.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1-5任一项所述的方法。