1.基于RWKV的低光RAW图像增强方法,其特征在于,包括以下步骤:S1、采用数据增强技术调整RAW图像大小和状态,扩充训练数据集;使用原始数据,作为原始数据输入为测试集;对测试集中的输入图像采样,转换为多通道输入;
S2、通过卷积嵌入层提取多通道输入局部特征,采用激活函数增加模型的非线性;
S3、构建CRF模块,包括并行的卷积分支和RWKV分支,整合两个分支结果,通过两个卷积层和一个激活层输出得到的特征图;
所述S3中的卷积分支用于获取图像的局部特征;
RWKV分支结构包括Spatial Mix和Channel Mix两个部分;
所述Spatial Mix部分采用Layer Norm,对局部特征归一化处理;
所述Spatial Mix采用全向令牌移位层调整空间位置信息,全向令牌移位层对来自各个方向的令牌进行移位和融合;不同分支负责不同上下文范围的令牌移位;
S4、构建基于CRF的多级编码器‑解码器,生成相应的特征图;
S5、构建输出模块,应用卷积层和混洗操作,输出增强的RGB图像。
2.根据权利要求1所述的基于RWKV的低光RAW图像增强方法,其特征在于:S1中对图像采样的表达式如下:感知低光照RAW图像 ,RAW图像 对应的尺寸 ,和 分别为RAW图像 的高度和宽度;设定 为输出通道图像,输出通道图像的尺寸为 ,则计算公式为: ;其中 为输出图像坐标,为输入通道索引;
表示 RAW 图像 中,坐标为 ,通道索引为0的像素值。
3.根据权利要求1所述的基于RWKV的低光RAW图像增强方法,其特征在于:S2中的卷积嵌入层通过 的卷积核 在通道图像上滑动,覆盖通道图像 的局部区域,而后将卷积核中的每个元素与对应位置的图像像素值相乘,再将乘积相加,得到数据,而后在通道图像的每个位置重复上述操作,得到局部特征。
4.根据权利要求3所述的基于RWKV的低光RAW图像增强方法,其特征在于:所述S2中增加模型非线性的表达式为: ;
其中 为集合函数;具体的为; 时, ,函数以正常
斜率进行线性激活,保留强信号特征; 时, ,为斜率且为正数,以斜率 激活,对暗部特征以斜率 放大。
5.根据权利要求1所述的基于RWKV的低光RAW图像增强方法,其特征在于:所述S3中的卷积分支用于获取图像的局部特征,对应的表达式为: ;
RWKV分支结构包括Spatial Mix和Channel Mix两个部分;
所述Spatial Mix部分采用Layer Norm,对局部特征归一化处理,具体将局部特征的均值归一化为0,方差归一化为1,对应的表达式为:感知输入特征矩阵为 ,其中 为样本数量,为特征维度;通过计算公式: ,进行归一化计算;其中局部特征在维度 的均值 ;局部特征在维度 的方差为 ;
为常数;和 为可学习的参数; 为特征矩阵 中第 行第 列的元素。
6.根据权利要求5所述的基于RWKV的低光RAW图像增强方法,其特征在于:所述全向令牌移位层通过结合不同大小的卷积操作以及输入本身,对特征进行加权组合,其对应的表达式为:;
其中 为Layer Norm的输出,即归一化处理后的局部特征; 为权重系数,用于控制不同尺度卷积操作和输入本身在全向令牌移位层中的贡献比例;
分别表示为 的卷积操作。
7.根据权利要求6所述的基于RWKV的低光RAW图像增强方法,其特征在于:所述全向令牌移位层生成 三个分支,从不同尺度上提取和调整空间位置信息,其中;
其中 为三个线性投影层,通过线性投影层对 进行线性变换,分别得到三个分支;
全向令牌移位层操作后,将 和 输入至Re ‑ WKV,通过Re ‑ WKV注意力机制得到输出,对应的表达式为: ; ;
其中 为综合了所有局部图像特征单元信息的数据, 表示为 中第 个局部图像特征单元对应的注意力权重值,表示局部图像特征单元总数;为用于遍历1至 局部图像特征单元信息的索引变量; 为 中第 个局部图像特征单元对应的键值, 为与 相关的特征表示可学习参数,参与注意力权重的计算,和其他参数共同作用以确定最终的注意力权重; 均表示为可学习参数。
8.根据权利要求7所述的基于RWKV的低光RAW图像增强方法,其特征在于:所述Re‑WKV注意力机制还通过循环注意力机制沿水平扫描和垂直扫描不同扫描方向循环应用双向注意力,具体公式为: ;
其中 表示第 次循环计算得到的注意力结果; 为第 次的双向WKV注意力计算操作; 为改变方向操作, 为对键值 方向改变操作后的结果;
为将第 次循环得到的注意力结果 进行方向改变操作;
初始值 的输入为 ;经过M次循环后,最终得到Re‑WKV注意力结果;
并将wkv与 经过Sigmoid处理后的结果经过元素级乘法得到输出 ;具体的Sigmoid将 映射到0‑1之间对注意力结果进行权重调整;而后通过元素级乘法,将注意力结果与调整后的 相结合,得到最终的输出 ;并将 与输入特征进行残差连接,引入了缩放因子;
所述Channel Mix部分同样先通过Layer Norm和全向令牌移位层进行处理,生成 和两分支,再将 通过Squared ReLU进行激活,得到输出 ,随后将其与 经过Sigmoid处理后的结果经过元素级乘法得到输出 ;引入残差块将 与输入特征进行残差连接,引入了缩放因子。
9.根据权利要求2所述的基于RWKV的低光RAW图像增强方法,其特征在于:所述S4中多级编码器‑解码器中,每个编码器CRF由一个下采样层和一个用于解码器的CRF的上采样层级联;
编码器中的下采样层由一个3×3卷积层和一个混洗操作组成;解码器中的上采样层是一个转置卷积;将编码器同层级特征与解码器上采样特征拼接,输入至CTF块进行特征融合,恢复特征图的尺寸。
10.根据权利要求9所述的基于RWKV的低光RAW图像增强方法,其特征在于:所述S5在解码器末端特征图经3×3卷积层将 映射到 ,在卷积层后面使用LeakyReLU激活函数: ,然后进行混洗,渲染增强的RGB图像 。