利索能及
我要发布
收藏
专利号: 2023106061046
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种低照度视频增强方法,应用于低照度视频增强系统,其特征在于,包括:

S101:获取不同类别的初始视频,从所述初始视频中提取正常光视频帧序列,并通过所述正常光视频帧序列生成低照度视频帧序列,其中,所述类别包括场景、时间、曝光强度;

S102:将所述正常光视频帧序列和所述与所述正常光视频帧序列对应的低照度视频帧序列作为一组对比视频帧序列,构造包含多组对比视频帧序列的低照度视频数据集,并将所述低照度视频数据集按照预设比例划分为训练集、验证集和测试集;

S103:结合自注意力机制和卷积原理,构造低照度视频增强网络模型,其中,所述低照度视频增强网络模型包括第一卷积层、第二卷积层、步长为2的第三卷积层、自适应特征提取模块和depth_to_space层,其中,所述自适应特征提取模块包括依次连接的第一自适应特征提取模块至第七自适应特征提取模块,每个所述自适应特征提取模块由局部特征提取模块、自注意力模块和特征融合模块依次连接组成,同时,局部特征提取模块和特征融合模块之间建立一个残差连接,其中,所述第一自适应特征提取模块和所述第五自适应特征提取模块、所述第二自适应特征提取模块和所述第六自适应特征提取模块、所述第三自适应特征提取模块和所述第七自适应特征提取模块均为跳跃连接,所述第三卷积层与所述第一自适应特征提取模块的局部特征提取模块连接,所述第七自适应特征提取模块的特征融合模块与所述depth_to_space层连接;

S104:从所述训练集中选取所述对比视频帧序列,采用孪生网络结构,将所述低照度视频帧序列中的第N‑1、N、N+1和N‑2、N、N+2帧图像作为输入图像分别输入至两个相同且共享权重的所述低照度视频增强网络模型,对所述低照度视频增强网络模型进行训练,训练中使用所述正常光视频帧序列的第N帧作为标准视频帧,训练时的损失函数使用一致性损失、重构损失、SSIM损失和颜色损失;

S105:将所述测试集中的对比视频帧序列输入至训练后得到的低照度视频增强网络模型,得到增强视频帧序列。

2.根据权利要求1所述的低照度视频增强方法,其特征在于,所述S101具体包括:S1011:拍摄不同类别的所述初始视频并转化成对应的初始视频帧序列;

S1012:从所述初始视频帧序列中抽取多个视频帧,计算各所述视频帧的像素亮度和颜色熵的平均值;

S1013:从所述初始视频帧序列中选择符合预设亮度阈值和预设颜色熵阈值的正常光视频帧序列;

S1014:调整所述正常光视频帧序列的大小;

S1015:将调整后得到的视频帧序列进行数据增强处理,获得第一预设数量的视频帧序列,其中,每个所述视频帧序列包括第二预设数量的帧数;

S1016:对数据增强后得到的所述视频帧序列进行调暗处理,获取与所述视频帧序列相对应的低照度视频帧序列。

3.根据权利要求2所述的低照度视频增强方法,其特征在于,所述S1016具体包括:S1016A:通过自适应阈值法确定含有过曝光区域的视频帧序列的过曝光区域阈值;

S1016B:根据所述过曝光区域阈值生成过曝光区域的蒙版,利用所述蒙版提取出每一视频帧的过曝光区域;

S1016C:通过自适应直方图均衡方法降低所述过曝光区域的过曝光程度,最后将处理后的过曝光区域重新赋值回原视频帧中,减弱其过曝光效果,得到处理后的含有过曝光区域的视频帧序列;

S1016D:添加高斯、椒盐噪声模拟所述低照度视频中的噪声,通过gamma变换同时对所述处理后的含有过曝光区域的视频帧序列和均匀曝光视频帧序列进行调暗。

4.根据权利要求1所述的低照度视频增强方法,其特征在于,所述S102具体包括:S1021:将调整后的低照度视频帧序列和所述正常光视频帧序列进行配对,得到低照度视频增强数据集;

S1022:将所述低照度视频增强数据集按7:2:1的比例划分为所述训练集、所述验证集和所述测试集。

5.根据权利要求1所述的低照度视频增强方法,其特征在于,所述特征融合模块由归一化层、第一1×1卷积模块、第一卷积残差模块、第二1×1卷积模块、第二卷积残差模块和第三1×1卷积模块依次连接组成。

6.一种低照度视频增强系统,其特征在于,包括:

获取模块,用于获取不同类别的初始视频,从所述初始视频中提取正常光视频帧序列,并生成与所述正常光视频帧序列对应的低照度视频帧序列,其中,所述类别包括场景、时间、曝光强度;

第一构造模块,用于将所述正常光视频帧序列和所述与所述正常光视频帧序列对应的低照度视频帧序列作为一组对比视频帧序列,构造包含多组对比视频帧序列的低照度视频数据集,并将所述低照度视频数据集按照预设比例划分为训练集、验证集和测试集;

第二构造模块,用于结合自注意力机制和卷积原理,构造低照度视频增强网络模型,其中,所述低照度视频增强网络模型包括第一卷积层、第二卷积层、步长为2的第三卷积层、自适应特征提取模块和depth_to_space层,其中,所述自适应特征提取模块包括依次连接的第一自适应特征提取模块至第七自适应特征提取模块,每个所述自适应特征提取模块由局部特征提取模块、自注意力模块和特征融合模块依次连接组成,同时,局部特征提取模块和特征融合模块之间建立残差连接,其中,所述第一自适应特征提取模块和所述第五自适应特征提取模块、所述第二自适应特征提取模块和所述第六自适应特征提取模块、所述第三自适应特征提取模块和所述第七自适应特征提取模块均为跳跃连接,所述第三卷积层与所述第一自适应特征提取模块的局部特征提取模块连接,所述第七自适应特征提取模块的特征融合模块与所述depth_to_space层连接;

训练模块,用于从所述训练集中选取所述低照度视频帧序列,采用孪生网络结构,将所述低照度视频帧序列中的同一张图像作为输入图像分别输入至两个相同的所述低照度视频增强网络模型,对所述低照度视频增强网络模型进行训练,训练时的损失函数使用一致性损失、重构损失、SSIM损失和颜色损失;

输入模块,用于将所述测试集中的对比视频帧序列输入至训练后得到的低照度视频增强网络模型,得到增强视频帧序列。

7.根据权利要求6所述的低照度视频增强系统,其特征在于,所述获取模块具体包括:拍摄子模块,用于拍摄不同类别的所述初始视频并转化成初始视频序列帧;

计算子模块,用于从所述初始视频序列帧中抽取多个视频帧,计算各所述视频帧的像素亮度和颜色熵并求平均值;

选择子模块,用于从所述初始视频中选择符合预设亮度阈值和预设颜色熵阈值的正常光视频帧序列;

第一调整子模块,用于调整所述正常光视频帧序列的大小;

处理子模块,用于将分解得到的视频帧序列进行数据增强处理,获得第一预设数量的视频帧序列,其中,每个所述视频帧序列包括第二预设数量的帧数;

获取子模块,用于对数据增强后得到的所述视频帧序列进行调暗处理,获取与所述视频帧序列相对应的低照度视频帧序列。

8.根据权利要求7所述的低照度视频增强系统,其特征在于,所述获取子模块具体包括:第一处理单元,用于通过自适应阈值法确定含有过曝光区域的视频帧序列的过曝光区域阈值;

第二处理单元,用于生成过曝光区域的蒙版,利用所述蒙版提取出每一视频帧的过曝光区域;

第三处理单元,用于通过自适应直方图均衡方法降低过曝光区域的过曝光程度,最后将处理后的过曝光区域重新赋值回原视频帧中,减弱其过曝光效果,得到处理后的含有过曝光区域的视频帧序列;

第四处理单元,用于通过gamma变换同时对所述处理后的含有过曝光区域的视频帧序列和均匀曝光视频帧序列进行调暗,并添加高斯、椒盐噪声模拟低照度视频中的噪声。

9.根据权利要求6所述的低照度视频增强系统,其特征在于,所述第一构造模块具体包括:配对子模块,用于将调整后的低照度视频帧序列和所述正常光视频帧序列进行配对,得到低照度视频增强数据集;

划分子模块,用于将所述低照度视频增强数据集按7:2:1的比例划分为所述训练集、所述验证集和所述测试集。

10.根据权利要求6所述的低照度视频增强系统,其特征在于,所述特征融合模块由归一化层、第一1×1卷积模块、第一卷积残差模块、第二1×1卷积模块、第二卷积残差模块和第三1×1卷积模块依次连接组成。