利索能及
我要发布
收藏
专利号: 2025104809418
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于RAFT光流的视频风格迁移方法,其特征在于,包括以下步骤:

通过RAFT光流网络逐帧计算视频中相邻帧的像素位移,生成包含每个像素运动方向和大小的光流场;

根据光流场中像素的位移量生成动态权重图,每个区域的权重值与位移量成反比;

通过滤波将视频帧分解为低频结构层和高频细节层,对低频结构层进行全局风格迁移,替换颜色分布与笔触特征;对高频细节层结合动态权重图进行局部风格化;

融合处理后的低频结构层和高频细节层,生成单帧风格化图像;根据光流场将当前帧的风格化结果与相邻帧进行运动对齐,通过反向投影和插值补偿调整像素位置;

将对齐后的多帧结果进行时序平滑滤波,输出连贯的风格化视频。

2.根据权利要求1所述的一种基于RAFT光流的视频风格迁移方法,其特征在于,所述动态权重图的生成过程包括:基于光流场的整体位移分布设定动态判定阈值,超过动态判定阈值的区域标记为高动态区域;对高动态区域的权重值进行非线性衰减,衰减程度随位移量增加逐步增强;

对权重图的边界区域进行形态学扩展操作,平滑低权重区域与高权重区域的过渡边界;所述形态学扩展操作通过膨胀算法扩展低权重区域的覆盖范围,避免运动边界处出现权重跳变;

采用自适应高斯核平滑权重图,高斯核的半径根据局部位移变化的剧烈程度动态调整,确保权重分布的自然过渡;所述自适应高斯核的半径计算方式为:根据光流场中局部区域的位移标准差,标准差越大则高斯核半径越大,标准差越小则半径越小。

3.根据权利要求1所述的一种基于RAFT光流的视频风格迁移方法,其特征在于,低频结构层和高频细节层的分解过程具体为:通过高斯滤波器对原始帧进行模糊处理,提取低频结构层;将原始帧与低频结构层相减得到高频细节层,并对高频细节层的负值区域进行截断与补偿;所述截断与补偿操作将高频细节层的负值置零后叠加原始细节的固定比例强度;

对高频细节层进行对比度拉伸,所述对比度拉伸通过线性映射将高频细节层的像素值分布扩展至预设范围,提升纹理的可编辑性,拉伸范围根据细节层的像素分布自适应调整;

在低频结构层的全局风格迁移中保留原始几何结构,仅替换颜色与笔触特征。

4.根据权利要求3所述的一种基于RAFT光流的视频风格迁移方法,其特征在于,所述高频细节层的局部风格化包括:基于预设的权重阈值,将视频帧中的区域划分为低权重区域、中权重区域和高权重区域,对低权重区域的高频细节,限制风格化操作至亮度通道,保持色度通道的原始值;对中权重区域的高频细节,采用多尺度融合策略,分别叠加粗粒度笔触与细粒度纹理;对高权重区域的高频细节,完全应用风格纹理,并通过边缘保留算法维持轮廓锐利度;

所述多尺度融合策略通过构建不同尺度的风格特征金字塔,从粗到细逐层叠加风格纹理;

所述边缘保留算法通过检测高频细节层的梯度信息,在风格化过程中保留梯度高于设定值的区域原始轮廓。

5.根据权利要求1所述的一种基于RAFT光流的视频风格迁移方法,其特征在于,低频结构层和高频细节层的融合过程包括:根据光流场的运动信息动态调整低频结构层与高频细节层之间的特征融合比例,对光流场中位移量超过动态判定阈值的区域,增加高频细节层在融合中的权重比例至设定比例;对位移量低于动态判定阈值的区域,提升低频结构层的融合权重比例至设定比例;

构建跨层特征关联图,通过光流场计算相邻帧低频结构层和高频细节层之间的运动相关性,关联图中高相关性区域采用相同融合比例;

对融合后的结果进行跨帧一致性验证,将当前帧的融合比例沿光流场投影至相邻帧,确保多帧间高低频特征的过渡。

6.根据权利要求1所述的一种基于RAFT光流的视频风格迁移方法,其特征在于,所述运动对齐具体包括:对光流场进行双向一致性校验,通过计算前向光流与后向光流的循环误差,误差超过预设阈值的区域标记为不可靠区域,反之为可靠区域;对不可靠区域的风格化特征采用相邻帧的加权融合填充,权重由光流场的局部平滑度决定;对可靠区域的风格化特征进行亚像素级对齐,通过光流场的小数位移值调整插值权重;

所述亚像素级对齐通过双线性插值算法,根据光流场的小数位移值调整特征插值权重,使投影结果与目标帧的像素网格匹配。

7.根据权利要求1所述的一种基于RAFT光流的视频风格迁移方法,其特征在于,还包括静态区域优化:检测视频中连续多帧位移量低于动态判定阈值的区域,标记为静态区域;反之为动态区域,对静态区域的首帧进行高精度风格迁移,后续帧复用首帧结果并通过光流场进行微调;所述微调操作根据光流场的位移量调整复用区域的像素位置,补偿摄像机抖动或光照变化;

在静态区域与动态区域的接合部进行渐变混合,通过透明度叠加过渡风格化强度;所述渐变混合通过alpha通道的线性过渡,在接合部形成风格化强度变化。

8.根据权利要求1所述的一种基于RAFT光流的视频风格迁移方法,其特征在于,还包括通过预训练模型识别视频中的关键目标区域;对关键目标区域的运动部分设置权重下限,限制风格化强度;对关键目标区域的静态部分设置权重上限,保留局部细节;

所述预训练模型采用基于卷积神经网络的语义分割算法,输出像素级的目标类别标签;所述权重下限与上限的设定根据目标类别的重要性动态调整,所述目标类别的重要性基于预设目标映射表格获取。