1.一种基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法,其特征在于,包括:将源域数据集和目标域数据集的样本输入特征提取器网络;所述特征提取器网络包括权值弱共享的双链2D卷积网络和权值完全共享的双链3D卷积网络;其中,通过权值弱共享的双链2D卷积网络分别对所述源域数据集以及目标域数据集进行源域空间特征提取和目标域空间特征提取;通过权值完全共享的双链3D卷积网络分别对源域空间特征和目标域空间特征进行源域时空特征和目标域时空特征提取;
将源域时空特征和目标域时空特征分别输入双域鉴别器网络进行判别,通过特征提取器网络和双域鉴别器网络的对抗学习,优化特征提取器网络,获取具有域不变性的特征;
将源域时空特征输入分类器网络中,进行预测分类以实现视频交互动作识别;其中,所述双域鉴别器网络和分类器网络利用损失函数进行训练。
2.如权利要求1所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法,其特征在于,所述权值弱共享的双链2D卷积网络包括源域2D卷积网络和目标域2D卷积网络;所述源域2D卷积网络和目标域2D卷积网络均包括多个由卷积层、域条件归一化层和卷积层组成的三层结构;所述域条件归一化层由两个批归一化层并列组成,所述两个批归一化层分别为对源域样本进行归一化的源域批归一化层和对目标域样本进行归一化的目标域批归一化层;
其中,通过域条件归一化层对输入的样本进行判断;
若所输入的样本为源域样本,则将样本数据输入至源域批归一化层;
若所输入的样本为目标域样本,则将样本数据输入至目标域批归一化层。
3.如权利要求2所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法,其特征在于,所述域条件归一化层通过以下公式实现:其中,γd和βd表示特定于每个域d∈{S,T}的仿射参数, 表示属
于域标签d的每个通道上的激活值;μd表示激活值的均值, 表示激活值的方差。
4.如权利要求1所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法,其特征在于,在将源域数据集和目标域数据集的样本输入特征提取器网络之前,还包括利用Two‑Stream的下采样方法对源域数据集和目标域数据集中的动作视频进行下采样,方法包括:将源域数据集和目标域数据集中的每个动作样本的视频按照设定数值进行分段;
在每段动作视频中随机抽取一帧的帧图像;将设定数值的帧图像作为所述动作样本的表示。
5.如权利要求1中所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法,其特征在于,利用损失函数对双域鉴别器网络进行训练的方法,包括:对所述双域鉴别器网络的每个域鉴别器的权值进行随机初始化,且两个域鉴别器之间不共享权值;
对每个域鉴别器对源域样本和目标域样本的域鉴别损失进行不同的加权,以使两个域鉴别器对源域样本和目标域样本的鉴别产生不同的权重。
6.如权利要求5中所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法,其特征在于,单个域鉴别器对单个域样本的域鉴别损失通过以下公式实现:其中,yi表示第i个样本的域标签, 为域鉴别器对域d∈{S,T}第个i特征的预测值;
是对预测值 取对数操作。
7.如权利要求1中所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法,其特征在于,所述双域鉴别器网络和分类器网络利用损失函数进行训练中,所述损失函数通过以下公式实现:L=β(Ldis1+Ldis2)+γLcls
其中,Ldis1和Ldis2分别为双域鉴别器网络中每个鉴别器对所有域样本的鉴别损失;Lcls表示分类器网络的损失;β,γ表示损失函数超参数。
8.一种基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别系统,其特征在于,包括:特征提取单元,用于将源域数据集和目标域数据集的样本输入特征提取器网络;所述特征提取器网络包括权值弱共享的双链2D卷积网络和权值完全共享的双链3D卷积网络;其中,通过权值弱共享的双链2D卷积网络分别对所述源域数据集以及目标域数据集进行源域空间特征提取和目标域空间特征提取;通过权值完全共享的双链3D卷积网络分别对源域空间特征和目标域空间特征进行源域时空特征和目标域时空特征提取;
域适应优化单元,用于将源域时空特征和目标域时空特征分别输入双域鉴别器网络进行判别,通过特征提取器网络和双域鉴别器网络的对抗学习,优化特征提取器网络,获取具有域不变性的特征;
分类单元,用于将源域时空特征输入分类器网络中,进行预测分类以实现视频交互动作识别;其中,所述双域鉴别器网络和分类器网络利用损失函数进行训练。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法中的步骤。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法。