1.一种视频裁剪方法,其特征是,包括:通过视频自动裁剪模型的显著性区域预测模块对原始视频进行显著性区域预测,生成中间结果显著图 ;
通过视频自动裁剪模型的输出模块对中间结果显著图 进行映射,预测出裁剪框的中心位置 ;
根据原始视频的宽高比 计算出裁剪框的尺寸 ; 和 分别为原始视频的宽度和高度;
根据裁剪框的中心位置 和裁剪框的尺寸 计算出裁剪框的左下角坐标 和右上角坐标 ;
根据裁剪框的中心位置 、裁剪框的尺寸 、裁剪框的左下角坐标 和右上角坐标输出裁剪后的视频;
其中,所述视频自动裁剪模型包括顺次连接的显著性区域预测模块和输出模块;
所述视频自动裁剪模型中的显著性区域预测模块为针对原UAVSal模型中先验知识建模模块进行改进得到的模块,具体改进为针对原UAVSal模型去掉观察先验模块和环境语义先验模块,保留高斯先验模块得到,利用高斯先验模块对中心偏向现象的建模能力提取显著性区域,完成显著性区域的预测;
所述对中间结果显著图 进行映射,预测出裁剪框的中心位置 包括:将中间结果显著图 通过视频自动裁剪模型的输出模块中的多个卷积层映射为一个值 ,并使用sigmod函数将值 映射为裁剪位置系数 ,所述裁剪位置系数 通过以下公式计算获得:,
根据裁剪方向将裁剪位置系数 与原始视频的宽度w或高度h相乘,得到裁剪框的中心位置 ,所述裁剪框的中心位置 通过以下公式计算获得:,
式中,为预先设置的视频裁剪框的宽高比,根据预先设置的视频裁剪框的宽高比 确定裁剪方向,若原始视频的宽高比 大于预先设置的视频裁剪框的宽高比 ,则裁剪框在水平方向裁剪,竖直方向高度保持不变,否则裁剪框在竖直方向裁剪,水平方向宽度保持不变;
所述裁剪框的尺寸 为原始视频在水平或者竖直方向的裁剪长度,所述裁剪框的尺寸通过以下公式计算获得:;
所述裁剪框的左下角坐标 和右上角坐标 分别通过以下公式计算获得:,
。
2.一种裁剪视频的质量评价方法,其特征是,通过权利要求1所述的视频裁剪方法获得裁剪后的视频,对裁剪后的视频进行质量评价包括如下步骤:基于裁剪后的视频进行内容完整性评估,得到内容完整性评分 ;
基于裁剪后的视频进行内容一致性评估,得到内容一致性评分 ;
基于裁剪后的视频进行时序稳定性评估,得到时序稳定性评分 ;
对内容完整性评分 、内容一致性评分 和时序稳定性评分 进行加权求和,得到最终的质量评价得分;
所述基于裁剪后的视频进行内容完整性评估,得到内容完整性评分 包括:通过对中间结果显著图 中的每一帧图像的显著值进行累加,得到第 帧图像的总体显著值 ;通过对裁剪框内每一帧图像的显著值进行累加,得到第 帧图像的裁剪框显著值 ;其中,所述显著值用于表示视频中每个像素值所在位置的显著性的强弱;
通过以下公式计算第 帧裁剪框内图像的显著值 占总体显著值 的占比 :;
式中, 表示 从 取到 , 表示从 取到 , 表示 行 列位置的显著值; 为裁剪后的视频总帧数;为视频图像中像素点的长度坐标;为视频图像中像素点的宽度坐标;
将所有图像帧的显著值占比 累加起来,然后除以图像帧的总数 得到平均显著性占比,作为内容完整性评分 ,所述内容完整性评分 通过以下公式计算获得:;
所述基于裁剪后的视频进行内容一致性评估,得到内容一致性评分 包括:对裁剪后的视频的每帧图像尺寸缩放至尺寸 ,再将缩放后的图像转换为灰度图 ,对灰度图 进行二维离散余弦变换,得到离散余弦变换DCT系数矩阵 ,所述离散余弦变换DCT系数矩阵 通过以下公式计算获得:;
其中, ;
上式中,c(u)、c(v) 为归一化系数, 为输入灰度图 中位置 的像素值, 为图像的尺寸,和 均为离散余弦变换后的频率索引;
令矩阵 ,提取DCT系数矩阵 左上角8×8子块 ,子块 包含了裁剪后视频图像的主要视觉特征,所述子块 表达式如下:,
通过以下公式计算子块 的均值 :,
式中, 表示求均值函数;
将子块 中第 行第m列的值 与均值 进行比较,得到第 帧图像第 行第m列的二进制哈希值 ,所述二进制哈希值 通过以下公式计算获得:;
将第 帧图像所有的二进制哈希值串联起来形成一个总长度为64位二进制哈希值,进而得到第 帧图像长度 处的二进制哈希值 ;
针对每一对相邻帧,通过以下公式计算相邻帧哈希值之间的汉明距离:,
根据相邻帧哈希值之间的汉明距离通过以下公式计算第 帧的相似度 :;
根据第 帧的相似度 通过以下公式计算内容一致性得分 :;
所述基于裁剪后的视频进行时序稳定性评估,得到时序稳定性评分 包括:计算每一帧裁剪框中心位置 的横坐标 得到裁剪框中心位置 的横坐标数组 ,,其中 表示第 帧的裁剪框中心位置 的横坐标;
通过离散差分法计算每一帧的裁剪框中心位置 的横坐标的二阶导数 ,公式为:,
上式中,i=1,2,……I;
通过计算每一帧的裁剪框中心位置 的横坐标的二阶导数 ,形成一个二阶导数组,所述二阶导数组 表达式如下:,
根据二阶导数组 通过以下公式计算二阶导数组 的标准差 :;
式中, 为二阶导数组 的平均值;
对标准差 使用sigmod函数进行归一化处理,并通过以下公式计算获得时序稳定性评分 :;
式中,为常数;
所述对内容完整性评分 、内容一致性评分 和时序稳定性评分 进行加权求和,得到最终的质量评价得分包括:对得到的内容完整性评分 、内容一致性评分 和时序稳定性评分 分别赋予权重 、 和 ,通过以下公式进行加权求和得到最终的质量评价得分 :。