利索能及
我要发布
收藏
专利号: 2024110747518
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.视音相关性特征融合策略的视频显著性预测方法,其特征在于,具体包括以下步骤:接收视频及音频数据,对视频数据进行预处理操作,得到连续的视频帧;

采用预训练后的S3D作为视觉编码器,结合空洞空间金字塔池化和局部重要性池化,根据视频帧提取得到多尺度视觉时空特征;

将多尺度视觉时空特征输入到多尺度特征协同模块中,通过在网络的不同层次提取和融合多尺度特征,得到增强特征,用于丰富其在对于不同大小物体的表征能力;

对音频数据预处理实现与视觉数据的时序同步,采用SoundNet作为音频编码器进行特征提取,得到音频特征;

构建相关性引导的视音特征融合模块,通过具有相关性感知的多头交叉注意力机制计算音频特征和具有最小空间尺度视频特征的语义相关性,并基于此相关性有选择地对视频特征与音频特征进行多模态融合,得到融合特征;

构建多尺度调节门控模块,筛选融合特征中的重要信息传递给其他视觉特征,用于提高对多尺度视频特征的利用程度;

根据损失函数对以上步骤构成的整体模型进行训练,直至达到预测精度要求,然后利用训练后的整体模型进行显著性预测;

将多尺度视觉时空特征输入到多尺度特征协同模块中,通过在网络的不同层次提取和融合多尺度特征,得到增强特征,具体如下:将多尺度视觉时空特征 与相邻尺度的特征交互,表示为:

式中 分别代表从分辨率高到低分辨率的相邻多尺度特征图; 是处理后的特征,多尺度特征协同模块映射MS(·)表示为:式中,代表3D卷积,代表上采样后跟随3D卷积,代表下采样后跟随3D卷积,h、m、l分别代表高、中、低三种不同的尺度, 表示当前正处于第j个处理阶段的尺度为i的特征; 以及 分别代表当前正在被处理某一种尺度下的特征,以及与其相邻的更低或更高尺度的特征;经过多尺度特征协同模块处理后,即可得到增强特征 ;构建相关性引导的视音特征融合模块,通过具有相关性感知的多头交叉注意力机制计算音频特征和具有最小空间尺度视频特征的语义相关性,并基于此相关性有选择地对视频特征与音频特征进行多模态融合,得到融合特征,具有相关性感知的多头交叉注意力机制表述如下:(1)对于视觉特征 和音频特征 使用六种不同的仿射变换 、 、 、 、 、 来生成视觉查询 、视觉键 、视觉值 、音频查询 、音频键 和音频值 ,则视觉对音频的注意力 以及音频对视觉的注意力 表述为:式中softmax(·)为激活函数, 表示所有查询、键、值向量的维度;

(2)引入了相关性加权估计模块,用以评估两种模态的综合特征,以生成动态调整不同头部影响的权重,则融合结果 可表述为:式中 表示学习得到的每个注意力头的权重,用于权衡不同注意力头的影响,增强融合的相关性导向特性;

构建多尺度调节门控模块,筛选融合特征中的重要信息传递给其他视觉特征,以提高对多尺度视频特征的利用程度,具体如下:接收多尺度的视觉特征 ,以及来自相关性引导的视音特征融合模块或前一阶段门控模块的融合特征 ,则有:

其中 表示经过上采样处理的前一阶段的融合特征, 表示连接操作, 表示3D卷积层, 表示sigmoid函数, 表示全局平均池化,门控值 用于对音视频特征 进行加权。

2.根据权利要求1所述的视音相关性特征融合策略的视频显著性预测方法,其特征在于,采用S3D作为视觉编码器,结合空洞空间金字塔池化和局部重要性池化,根据视频帧提取得到多尺度视觉时空特征,具体方法如下:(1)特征提取:S3D使用分离式3D卷积处理视频,分别针对视频的空间和时间维度进行优化处理,用于提高处理效率;采用多个Inception模块,通过不同分支的卷积和池化操作捕获多尺度特征,将各个层级的特征进行合并,形成综合丰富的视频特征表示;

(2)特征增强:采用空洞空间金字塔池化和局部重要性池化增强多尺度视觉特征,ASPP通过不同空洞率的并行空洞卷积扩展感受野,捕获更丰富的上下文信息,LIP根据区域重要性动态调整池化,优化特征表达。

3.根据权利要求2所述的视音相关性特征融合策略的视频显著性预测方法,其特征在于:所述对音频数据预处理实现与视觉数据的时序同步,具体如下:(1)根据视频帧率与音频采样率分割得到视频帧对应的音频片段;

(2)添加汉宁窗以减轻分割造成的边缘效应。

4.根据权利要求3所述的视音相关性特征融合策略的视频显著性预测方法,其特征在于,采用SoundNet作为音频编码器进行特征提取,得到音频特征,具体如下:(1)使用大卷积核的初始卷积层捕捉基础音频特征,并通过最大池化降低数据维度;

(2)通过一系列更深层的卷积网络,每层后接批量归一化和ReLU激活函数,逐步提取和精细化音频中的复杂特征。

5.根据权利要求1所述的视音相关性特征融合策略的视频显著性预测方法,其特征在于,关于损失函数,具体如下:将模型预测得到的显著性图记为 ,而真实显著性图记为 ,则总体损失函数的表达式如下:

式中 和 为超参数均设置为‑0.1,KL代表Kullback‑Leibler散度,CC代表线性相关系数,Sim代表相似性度量,具体计算方法如下:式中 是图像中的像素总数,是一个防止除以零的小正数, 和 分别是归一化的模型预测和真实值显著性图;

式中 和 是每个像素的归一化值:

式中 和 分别为 和 的均值。

6.视音相关性特征融合策略的视频显著性预测系统,用于实现权利要求1至5中任一项所述的视音相关性特征融合策略的视频显著性预测方法,其特征在于,包括:接收单元,用于接收视频及音频数据,对视频数据进行预处理,得到连续的视频帧;

视频特征提取单元,用于采用预训练后的S3D作为视觉编码器,结合空洞空间金字塔池化和局部重要性池化,根据视频帧提取得到多尺度视觉时空特征;

特征增强单元,用于将多尺度视觉时空特征输入到多尺度特征协同模块中,通过在网络的不同层次提取和融合多尺度特征,得到增强特征,用于丰富其在对于不同大小物体的表征能力;

音频特征提取单元,用于对音频数据预处理实现与视觉数据的时序同步,采用SoundNet作为音频编码器进行特征提取,得到音频特征;

融合单元,用于构建相关性引导的视音特征融合模块,通过具有相关性感知的多头交叉注意力机制计算音频特征和具有最小空间尺度视频特征的语义相关性,并基于此相关性有选择地对视频特征与音频特征进行多模态融合,得到融合特征;

平衡单元,用于构建多尺度调节门控模块,筛选融合特征中的重要信息传递给其他视觉特征,用于提高对多尺度视频特征的利用程度;

预测单元,用于根据损失函数对以上单元构成的整体模型进行训练,直至达到预测精度要求,然后利用训练后的整体模型进行显著性预测。

7.一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,其特征在于,所述存储器中存储有能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了权利要求1至5中任一项所述的视音相关性特征融合策略的视频显著性预测方法。