1.一种基于自主选帧和边缘细化的视频目标分割方法,包括以下步骤:
(1) 获取视频数据集,并对视频数据集中的每一帧做视觉特征和语义特征提取;
(2) 自主地推荐关键帧;通过得到分割结果的均值和方差来比较推荐策略和随机选择策略的性能且拟设计出奖励函数,让自主选帧模块学习如何推荐关键帧,分析过程如下:(2‑1) 标记关键帧并给出初始分割结果;用户提供一个待分割视频,用户首先选取一个待分割目标,并选择包含该目标的一帧图像进行标注;接下来,使用通用的分割算法对用户提供的视频进行视频目标分割并得出分割结果;
(2‑2) 学习推荐帧;设计了一个基于双向长短期记忆的网络来自主学习,该网络的输入为状态,输出为连续的动作,代理的作用是推荐关键帧索引;选用分割结果的质量作为每帧的得分;此外,还考虑每帧历史推荐的次数;因此,状态 统计指标定义为公式(1): (1)
作为掩膜的代理,表示历史推荐,其中下标 是最大迭代次数; 表示连接运算;
(2‑3) 设置奖励函数;为实现最优的结果,根据待分割目标动作的时间序列所得到的性能设计一个目标奖励,直到达到定义的迭代次数;在交互式VOS中,计算每帧对于整体视频序列的价值是很困难的,所以根据动作序列达到的最终性能 设计了一个目标奖励,直到达到最大迭代次 ;学习到的策略比随机选取的平均性能要高;为了得到随机选择策略的性能 ,首先对每个训练视频序列使用随机选择策略进行 次实验;通过比较推荐策略和随机选择策略之间的性能,可以设计相应的奖励函数,所以,提出以下奖励函数公式(2): (2)
其中 表示到最大迭代次数后的奖励指标,表示性能,表示预期平均值,表示方差;
(2‑4) 优化奖励函数;当性能 大于随机选择策略当平均性能 时,公式(2)中的奖励为正,否则,奖励将是负的;在基于实际场景的实践中发现仅仅使性能优于随机选择策略当平均性能是不够的,只在性能 大于 + 时设置奖励为正,最后的奖励函数为公式(3): (3)
(2‑5) 分割质量评估;为了评估分割质量,使用一个质量评估模块来评估每帧的分割质量;首先根据分割概率映射计算分割目标的边界框;然后,将边界框扩大到 倍;为了忽略背景区域,根据放大的边界框裁剪RGB图像对应的概率映射;然后,将剪裁过的RGB图像和概率图串联起来作为分割质量评估模块的输入,得到每个感兴趣对象的分割质量估计;
(3) 优化关键帧的边缘;在通过以上步骤完成关键帧的推荐后,在对此关键帧的掩膜进行边缘优化;有两个关键问题导致低质量的边界分割,首先是输出的低空间分辨率,其次是对象边界周围的像素只占整个图像的一小部分,很难分类;通过细化网络以及提取边缘图像块改善了这两个问题,分析过程如下:(3‑1) 提取边缘图像块;给定一个由自主选帧模块选择出的关键帧的实例掩膜,然后对这个掩膜的边缘进行细化;使用滑动窗口式的方法提取到边缘处的一系列图像块,在掩码边界处密集的分配了一组正方形的边界框,这些边界框的中心区域应覆盖边界像素;因为得到的框仍然包含重叠和冗余,所以进行过滤;接下来将提取到的边缘图像块和掩码块都重塑到同一尺寸,一起放入细化网络;
(3‑2) 细化网络;沿着预测的目标掩膜的边界提取并细化了一系列小的边界图像块;
细化是通过一个更高分辨率的边界图像块细化网络来完成的;细化网络为每一个提取出来的边界图像块单独地做语义分割;细化网络将各种等级的特征做融合,提高高分辨率的性能;通过增加输入尺寸,边界图像块就可以得到比之前方法更高的分辨率;的边缘细化模块首先沿着预测的目标边界提取一系列小的图像块;在与掩膜融合后,将边界图像块放入细化网络中,细化网络执行语义分割以细化粗糙的边界;随后,将经过优化的掩膜重新组装成一个更高质量的目标掩膜;
(3‑3) 重组目标掩膜;在对每个图像块细化以后,需要将它们重组到目标掩膜上面;相邻的图像块会存在重叠的情况,取其平均值作为最终的结果,判断某个像素属于待分割目标还是背景;
(4) 迭代地优化预测的掩码,并将每一次迭代的结果展示在可视化分析系统中;自定义迭代的次数,每次迭代都将进行一次自主选帧,然后将系统推荐得到的关键帧放入边缘细化模块;完成一次迭代后,将每次迭代的特征值,每一帧的得分,每次迭代的平均得分,输入可视分析系统中,通过热力图、柱状图、折线面积图以及视频的逐帧展示模块中,将每次迭代的结果清晰的展现出来。
2.如权利要求1所述的一种基于自主选帧和边缘细化的视频目标分割方法,其特征在于:步骤(2‑3)中 设置为10到20之间。
3.如权利要求1所述的一种基于自主选帧和边缘细化的视频目标分割方法,其特征在于:步骤(2‑5)中 设置为2到5之间。
4.如权利要求1所述的一种基于自主选帧和边缘细化的视频目标分割方法,其特征在于:步骤(3‑1) 中采用Yes‑Net算法进行过滤。
5.如权利要求1所述的一种基于自主选帧和边缘细化的视频目标分割方法,其特征在于:步骤(3‑2)中的细化网络采用multi‑HRNet网络。
6.一种基于自主选帧和边缘细化的视频目标分割系统,用于实现权利要求1‑5任意一项所述的一种基于自主选帧和边缘细化的视频目标分割方法,其特征在于:包括:视频数据集获取模块,用于获取视频数据集,并对视频数据集中的每一帧做视觉特征和语义特征提取;
关键帧自主推荐模块,用于自主地推荐关键帧;通过得到分割结果的均值和方差来比较推荐策略和随机选择策略的性能且拟设计出奖励函数,让自主选帧模块学习如何推荐关键帧,关键帧优化模块,用于优化关键帧的边缘;对关键帧的掩膜进行边缘优化;有两个关键问题导致低质量的边界分割,首先是输出的低空间分辨率,其次是对象边界周围的像素只占整个图像的一小部分,很难分类;通过细化网络以及提取边缘图像块改善了这两个问题,掩码迭代优化模块,用于迭代地优化预测的掩码,并将每一次迭代的结果展示在可视化分析系统中;自定义迭代的次数,每次迭代都将进行一次自主选帧,然后将系统推荐得到的关键帧放入边缘细化模块;完成一次迭代后,将每次迭代的特征值,每一帧的得分,每次迭代的平均得分,输入可视分析系统中,通过热力图、柱状图、折线面积图以及视频的逐帧展示模块中,将每次迭代的结果清晰的展现出来。