1.一种快速的全景视频显著性预测方法,其特征在于,包括以下步骤:步骤1,将全景视频处理为视频帧;
步骤2,将连续的视频帧作为输入,通过基础视觉特征提取模块提取每个视频帧的多尺度语义特征;
步骤3,构建时空解耦模块,分别提取连续帧的时间特征和空间特征;
步骤4,构建双分支注意力先验模块,生成赤道先验和空间语义集成先验来模拟全景视频观看行为中的视觉偏置现象;
步骤5,将时空特征和先验图输入到轻量化的时序关系建模模块中,生成最终的显著图;
步骤4包括:
所述双分支注意力先验模块包括全景赤道先验模块和空间语义集成先验模块,所述全景赤道先验模块用于生成针对全景视频或全景图像的赤道先验,全景赤道先验图的生成方式为: ,
其中y表示纵轴方向坐标位置, 表示y处的先验值, 与 分别代表沿纵轴方向的均值与方差;exp表示自然指数函数;
的计算公式为:
,
的计算公式为:
,
其中 ; ;
使用N个不同的方差生成对应的全景赤道先验图,然后使用两层卷积自适应组合N个先验图,生成最后的全景赤道先验特征 ;
所述空间语义集成先验模块用于生成空间语义集成先验图,对于时空解耦模块提取的时空特征 ,其中 、 、 分别表示时空特征 的通道数、宽和高;空间语义集成先验模块用于从整个批次的连续T帧中获取空间语义集成先验知识,并整合时间维度的信息获得先验特征,采用时间维度的加法进行时序信息整合,对于整合后的时空特征 采用两个卷积层提取语义信息,并使用双线性插值进行上采样获得最终的空间语义集成先验图,具体公式为: ,
其中 表示上采样操作, 与 表示卷积核,sum表示时间维度上的加法操作;
将 和 经过特征拼接与卷积操作生成最终的先验图 : ,
其中 表示卷积核。
2.根据权利要求1所述的方法,其特征在于,步骤1包括:首先对等距柱状投影ERP格式的全景视频进行解析处理,将全景视频转换为等距柱状投影ERP视频帧,采用双线性插值方法对等距柱状投影ERP视频帧进行下采样处理, 将等距柱状投影ERP视频帧的分辨率调整为W×H,其中W和H分别表示投影的宽和高。
3.根据权利要求2所述的方法,其特征在于,步骤2包括:所述基础视觉特征提取模块包括残差网络ResNet18、空洞卷积层、特征拼接操作,上采样层和卷积层。
4.根据权利要求3所述的方法,其特征在于,步骤2中,所述基础视觉特征提取模块执行如下操作:将T个连续视频帧{ , ,... }作为残差网络ResNet18的输入,其中 表示第T个视频帧,首先,获取残差网络ResNet18第3、4和5个卷积块的输出,分别表示为 和,对残差网络ResNet18第5个卷积块的输出 进行处理,其中 表示合并的批量和时间纬度, 的通道数 为512, 和 分别表示 的宽和高, 表示实数空间;利用m=4个空洞卷积层对 进行处理,获取多尺度语义信息,m个空洞卷积层对应的采样率r分别设定为r={ , , , },其中 表示第4个空洞卷积层对应的采样率;随后将多尺度语义信息在通道维度上进行特征拼接,并采用1×1卷积进行处理对通道维度的调整,获得处理后的特征 ,其中 、 、 分别表示特征 的通道数、宽和高: ,
,
其中 表示残差网络ResNet18第2个卷积块的输出, 、 和 分别表示残差网络ResNet18第3、4和5个卷积块, 表示采样率为 的空洞卷积核,表示特征拼接操作,dim表示操作的维度, 为卷积核;
分别使用两个1×1卷积调整残差网络ResNet18第3个卷积块的输出 和第4个卷积块的输出 的通道维度,然后使用双线性融合操作将经过处理的 和 上采样到 相同的维度大小,最后将 、 和 在通道维度上进行特征拼接,使用1×1卷积进行处理,获得视频帧的基本特征 : ,
其中 、 和 表示卷积核, 表示上采样层的上采样操作。
5.根据权利要求4所述的方法,其特征在于,步骤3包括:所述时空解耦模块包括维度分离操作、空间卷积层、批归一化层,激活层、时间卷积层和残差连接;
所述时空解耦模块执行如下操作:首先对视频帧的基本特征 进行维度变换并将批量维度和时间维度分离为两个维度获得变换后的特征, 、 、 分别表示基本特征 的通道数、宽和高;
然后使用2D卷积与1D卷积串行的结构提取时空特征:首先运用1×3×3的3D卷积表示
2D卷积操作构建空间卷积层,用于提取空间维度特征;随后,通过批归一化层对所述空间维度特征的分布实施标准化处理,并借助ReLU激活函数进一步增强其非线性表达能力;运用3×1×1的3D卷积表示1D卷积操作构建时间卷积层,沿时间维度对连续帧的时间特征进行聚合;最后,再次经由批归一化层和ReLU激活层处理,并使用残差连接获得时空特征 ,具体公式为: ,
其中BN表示批归一化操作, 表示1×3×3卷积核, 表示3×1×1卷积核。
6.根据权利要求5所述的方法,其特征在于,步骤5包括:将先验图 与时空特征 在通道维度进行特征拼接并经过卷积层获得时空先验特征: ,
其中 表示卷积核。
7.根据权利要求6所述的方法,其特征在于,步骤5还包括:对于T个连续视频帧{ ,,... }生成的时空先验特征 经过移动加权平均获得最终预测的显著图,公式为: ,
,
其中 表示sigmod函数,*表示卷积操作, 表示卷积核, 表示融合权重, 表示在第t个时间步的输入,对应 时间维度上的第t个特征; 表示在第t个时间步的输出;将每个时间步的输出在时间维度进行特征拼接,然后经过卷积与sigmod函数处理获得最终预测的显著图S: ,
其中 表示卷积核。
8.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
9.一种存储介质,其特征在于,存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,执行如权利要求1至7中任一项所述的方法的步骤。