1.一种基于扩散模型的轻量图像超分辨率学习方法,其特征在于,包括以下步骤:S1.正向过程:输入低分辨率图像LR、放大因子s以及对应的高分辨率图像x0,通过T次累积对x0添加噪声,直到变成完全的噪声xT,用于后续的噪声预测;
S2.预测噪声:首先,将对应的时间t以及加了噪声的图像共同输入到Unet中,Unet对输入的时间步信息与图像特征进行深度分析与融合,接着进行噪声的预测,得到单个时间步的噪声图Z;
S3.稀疏动量:在模型训练之前,将模型添加到mask中进行掩码操作,经过剪枝操作、跨层权重配置以及权重再生进行权重的稀疏化;
S4.训练过程:首先计算对应时间步的噪声,然后进行损失计算,通过不断调整模型参数,使损失逐渐减小,重复上述步骤直至模型达到满意的性能指标以及预设的训练次数;
S5.反向过程:从一个与高分辨率图像x0形状相同的随机生成的噪声张量y开始通过Unet网络进行噪声预测,在所述Unet网络中,设置每e个时间步为一个周期,共设定F个周期,通过跳步与并行的方法来一次生成e个时间步的噪声图,之后进行去噪,最终输出超分辨率图像。
2.根据权利要求1所述的一种基于扩散模型的轻量图像超分辨率学习方法,其特征在于,步骤S1所述正向过程具体包括:输入低分辨率图像LR、放大因子s以及对应的高分辨率图像x0,低分辨率图像LR经过深度残差网络EDSR提取抽象特征,形成特征图f,并生成一个与LR形状相符的随机噪声张量y,将上述特征图f与噪声张量y进行拼接,得到复合特征表示c,计算公式如下:,
,
,
,
其中,xt表示在时间步t时的数据状态,是时间步t的噪声方差, 表示高分辨率图像,EDSR(.)表示深度残差网络,条件概率分布 表示在给定前一时间步的数据状态的情况下,当前时间步的数据状态 的分布,它服从正态分布 ,均值为 ,方差为 ,其中 是单位矩阵,联合概率分布 表示从初始状态 开始,经过T个时间步的整个扩散过程的分布, 表示拼接操作,得到复合特征表示c之后,随机选择一个时间步长,将噪声y添加到x0中,生成噪声图像xnoise。
3.根据权利要求1所述的一种基于扩散模型的轻量图像超分辨率学习方法,其特征在于,步骤S2所述预测噪声具体包括:将所述噪声图像xnoise与对应的时间步tn输入到Unet中,传入的时间步tn经过一个MLP被映射为对应的噪声强度的大小 ,将xnoise先进行下采样,经过一个由两个残差块组成的中间层B,再进行上采样得到f(1),最后经过一个Block卷积块,卷积块首先对输入进行组归一化Group Normalization,接着应用Swish激活函数,最后通过一个3x3卷积层,得到预测的一个时间步的噪声Z,计算公式如下:,
,
,
其中,xnoise表示噪声图像,f(1)表示经过下采样和上采样后得到的特征图,Z表示对f(1)经过组归一化和Swish激活函数后得到的噪声的特征图,Up(.)表示上采样操作,Down(.)表示下采样操作,表示噪声强度大小,tn表示对应的时间步,MLP(.)是一个多层感知机。
4.根据权利要求1所述的一种基于扩散模型的轻量图像超分辨率学习方法,其特征在于,步骤S3所述稀疏动量具体包括:S31.平滑梯度:输入图像,初始化网络权重,计算每层的权重,并使用指数平滑来加速收敛,计算公式如下:,
其中,α是平滑因子, 表示第i层中权重 的动量, 表示第p次迭代的损失函数,p表示迭代次数, 表示第p次迭代时,权重 的动量值, 初始化为0,这是损失函数 关于权重 在第p次迭代时的偏导数,即梯度;
S32.动量贡献:取每层的非零值的权重的动量的和,比上总的层的权值动量和,然后进行归一化,得到每一层的动量贡献大小,公式表示如下:,
其中, 是第i层的权重总数,L表示网络的总层数, 是第i层中第j个权重的动量,表示动量对第i层的贡献大小, 是第k层中第j个权重的动量, 表示第k层的权重总数;
S33.权重初始化:初始化剪枝率、剪枝模式、再生长模式、剪枝率衰减速度、权重分配策略,为模型的每个参数设置一个掩码张量,1表示权重应该被保留,0表示权重应该被去掉,通过基于权重幅度的剪枝,决定权重是否保留;
S34.跨层权重配置:识别出所有非零的权重参数,通过SGD优化器获取这些非零权重对应的动量向量,计算每一层非零权重动量的平均值,基于每层的动量贡献大小即贡献率,将贡献率进行排序得到权重绝对值列表,低贡献率的层是排在权重绝对值列表中后85%的权重绝对值,从低贡献率的层中移除85%的权重,并将这些权重按照Ci重新分配到其他层,跨层权重配置过程公式如下:,
,
表示分配给第i层用于再生长的新权重数量,Ai表示第i层的平均动量值,Ci表示第i层的动量贡献平均值,R表示需要再生长的权重总数, 表示所有层的动量贡献平均值之和;
S35.权重再生:被剪枝的权重位置中动量贡献率最大的位置再生新的权重,新的权重在动量指示的最有潜力减少误差的位置上被重新激活,再生的权重数量根据整个网络中被剪枝的总权重数量以及各层的动量贡献比例决定,每个层再生的权重数量等于该层的动量贡献比例乘以需要再生长的权重总数,然后根据每一层的动量贡献,与被移除的权重的数量,确定重新增长出来的权重,权重再生的过程计算公式如下:,
,
,
表示预计的在第i层上新分配的权重数量, 表示实际在第i层上新分配的权重数量, 表示稀疏度, 表示取稀疏度 与 的最小值,L表示网络中的总层数,Rallocated是按照空位限制实际分配出去的总权重数量,Rexcess是超出可分配空位的总权重数量,即超额权重,经过上述步骤,动态调整权重分布。
5.根据权利要求1所述的一种基于扩散模型的轻量图像超分辨率学习方法,其特征在于,步骤S4所述训练过程具体包括:将 和对应的时间步tn输入到Unet中进行去噪处理得到 ,计算 与y之间的损失,公式如下:,
其中,n是样本数量,表示取绝对值操作,是第i个时间步加入的随机噪声,是第i个时间步经过Unet处理后估计的 的噪声。
6.根据权利要求1所述的一种基于扩散模型的轻量图像超分辨率学习方法,其特征在于,所述步骤S5具体包括:S51.传递时间步:在扩散模型的反向推理过程中,Unet中设置模型的总的时间步为T个时间步,其中设置e个时间步为一个周期,并选择周期内的第一个时间步 为关键时间步,其余时间步为非关键时间步,为Unet设置一个时间步属性,在扩散模型的反向扩散的循环采样步骤中,将每个周期的时间步存储为一个列表,然后将每个周期的关键时间步动态地传递给Unet,改变Unet的时间步的属性值;
S52.跳步:将Unet网络训练过程中通过卷积神经网络得到的特征图在关键时间步内保存,判断当前时间步是否为关键时间步,在关键时间步内进行编码器E的编码操作,在非关键时间步内不进行编码器E的编码操作,解码器D复用当前周期的关键时间步的编码器E的特征,在跳跃编码器优化模型JSEO中,在关键时间步 ,执行完整的编码操作,即使用编码器 ,包括下采样操作 ,2,E3,对特征进行编码,并通过一个具有两个残差块的中间层B将特征传递给解码器 ,解码器D有上采样操作 1,2,D3,进行上采样操作,在非关键时间步 ,复用上一个关键时间步 的编码器 的特征,即的特征;
S53.并行:将输入的 沿着批次维度复制一个周期,从复制后的张量中选择关键的时间步将所述关键时间步放到一个列表里,将列表中的每个时间步转换成张量,将得到的每个时间步张量在批次维度上复制,复制的次数是周期的一半,然后将得到的时间步张量在批次维度上拼接成一个张量,最后再在批次维度上进行复制,得到一个周期的噪声集合,计算过程公式如下:,
其中, 表示噪声图像,作为初始数据张量,⊕代表张量的拼接操作, 为关键时间步的集合, 表示选取关键时间步k的操作, 指示在特定维度上复制周期长度一半的变换;
所述噪声集合 依据预设的周期数为F,每个周期被分割成e个批次,其中每个批次分别对应一个时间步的噪声,对y进行噪声预测得到e个时间步的噪声图,取出y和最后一个噪声图,利用下述公式进行去噪操作,得到 时刻的特征图xT‑1,重复去噪过程,直至 ,最后得到超分辨率图像 ,具体公式如下:,
,
其中,表示总的时间步, 表示计算一个周期的时间步的个数, 表示向上取整操作,xt表示在时间步t下x0的扩散状态, 表示与时间步t相关的一个系数,与噪声方差有关,是在时间步t下的噪声方差系数, 是 的累乘, 是Unet模型根据当前扩散状态 和时间步t预测的噪声, 是调整预测噪声的系数, 是系数 的逆平方根,用于调整 的比例,重复这个步骤,最终得到超分辨率图像 。