1.一种基于多数据集协作学习的视频显著性区域检测方法,其特征在于,包括如下步骤:
S1:获取多个带有标签的视频显著性数据集,其中,多个数据集的样本和标签分布不同;
S2:构建多数据集协作网络,利用多数据集的信息来获取输入视频的显著图;该网络由
3D卷积主干网络的编码器,特征融合模块,数据集特定单元,数据集对抗模块和解码器组成;其中,数据集特定单元包含数据集特定批归一化操作,数据集特定高斯先验图和数据集特定高斯光滑滤波器,用以建模每个数据集的统计特性;数据集批归一化操作是指,针对跨数据的批归一化参数分布不同的情况,为每个数据集学习特定的批归一化均值和方差;数据集特定高斯先验图是指,针对数据集之间高斯先验图不同,为每个数据集构建特定的二维高斯先验图,用以建模每个数据集的中心注视偏差;数据集特定高斯光滑滤波器是指,针对数据集之间的显著图清晰度不同,为每个数据集学习特定参数的高斯光滑滤波器来消除清晰度偏差;数据集对抗模块用以判断输入样本的数据集标签,产生分类损失 ,以对抗学习的形式促使网络学习具备显著性特征的共性;数据集特定单元和数据集对抗模块协同工作,可以建模多个数据集的统计特性与显著共性,共同来缓解多个数据集之间的分布差异问题;其具体流程为:首先通过3D卷积主干网络的编码器来捕捉多尺度时空特征,并采用特征融合模块对多尺度特征进行融合,然后传入具有数据集特定批归一化操作的卷积层来获取去除归一化偏差后的特征,该特征一方面被传入数据集对抗模块进行对抗学习,另一方面与数据集特定高斯先验图进行拼接,再通过编码器和数据集高斯光滑滤波器得到最终输出的显著图;
S3:针对域内场景,采用通用方式进行训练和测试;针对未给标签的目标域,采用领域自适应方式进行训练和测试;针对未知目标域,采用领域泛化方式进行训练和测试;并采用复合批次训练机制来辅助多数据集协作网络训练;复合批次训练机制是指,首先按照多个源域数据集的视频数量比例,将来自每个数据集的批次组合为复合批次,在前向传播时分别计算每个数据集批次的损失,当来自所有数据集批次的损失都计算完后再进行反向传播以更新梯度;该机制可促进训练过程协同优化,避免不同数据集切换带来的批次抖动。
2.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法,其特征在于,所述的数据集特定单元为每个数据集设置了相应的分支,根据输入数据集的标签,自动切换开关以激活相应的分支,从而建模数据集专属特征;其具体应用分为数据集特定批归一化操作,数据集特定高斯先验图和数据集特定高斯光滑滤波器。
3.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法,其特征在于,所述的数据集对抗模块是由梯度反转层和数据集分类器组成;数据集分类器由卷积层和全连接层组成,用于预测输入视频所属数据集,其损失函数 为多分类交叉熵损失;梯度反转层在正向传播中不进行数值变换,而在反向传播时自动反转梯度方向。
4.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法,其特征在于,所述的通用方式旨在利用来自多个数据集的信息来学习一个统一模型,用以提高模型在每个数据集上的表现;在训练阶段,前向传播每个数据集的批次,反向传播显著性预测损失 和数据集分类损失 ,在检测阶段,根据输入数据集的标签来选择相应的数据集特定单元分支,而不使用数据集对抗模块。
5.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法,其特征在于,所述的领域自适应方式旨在提高在无标签目标域上的性能;在训练阶段,前向传播来自每个源域数据集和一个无标签目标域的批次,对于每个源域数据集需要计算和反向传播显著性预测损失 和数据集分类损失 ,对于目标域则只计算和反向传播数据集分类损失;在测试阶段,对于源域数据集,根据所属数据集的标签来选择相应的数据集特定单元分支,而不使用数据集对抗模块,而对于目标域数据,选择数据量最多的源域数据集作为其数据集标签以确定对应特定单元分支。
6.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法,其特征在于,所述的领域泛化方式旨在尝试从多个源域数据集中学习泛化模型,而不使用目标域数据;由于目标域的缺失,其训练阶段与通用方式相同,而测试阶段与领域自适应方式相同。