1.一种基于最优时间步序列搜索与知识蒸馏的扩散模型推理加速方法,其特征在于,包括如下步骤:步骤1、基于扩散模型的生成式视觉任务,建立固定的预训练扩散生成模型及对应的采样器,在保持预训练扩散生成模型参数不变的前提下,基于原始扩散过程的离散时间步集合,引入对应的推理模型架构配置,构建涵盖时间步序列与对应推理模型架构配置的统一搜索空间;
步骤2、在所述统一搜索空间内,以生成式图像推理阶段的采样效率与生成质量为优化目标,在固定长度时间步条件下,采用神经网络架构搜索满足约束条件的最优时间步序列;
步骤3、基于最优时间步序列,构建针对时间步子空间的知识蒸馏训练过程,采用预训练扩散生成模型作为教师模型,采用待训练扩散生成模型作为学生模型,在保持教师模型参数冻结的前提下,对学生模型进行显式蒸馏训练;并引入相邻时间步一致性损失,缓解非均匀时间步跨度引入的离散误差;
步骤4、在推理阶段,冻结教师模型,使用蒸馏训练后的学生扩散生成模型并结合高效扩散采样器ACDMS在最优时间步序列上执行有限步采样,实现生成质量保持下的推理加速;
所述扩散采样器ACDMS以UniPC的高阶积分更新为主干,并引入基于流匹配的分布校正器,以缓解少步采样条件下的分布偏移;
将时间步子序列按从大到小排序为 ,在排序后的序列上进行扩散积分更新,在固定采样步数约束下实现高质量图像生成与推理加速,ACDMS的更新过程表示为:;
式中, 为时间步 对应的带噪潜在表示,为相邻时间步差, 为学生模型在时间步 的噪声预测,为阶数, 为UniPC产生的第 阶修正项, 为Flow Matching校正向量场, 为采用UniPC预测—校正机制在时间步 处得到的中间预测结果,为校正强度系数。
2.根据权利要求1所述的扩散模型推理加速方法,其特征在于,所述步骤1包括:步骤1.1、将预训练扩散生成模型的完整扩散时间步集合表示为 其中,表示扩散过程中的总离散时间步数;
将前向扩散过程采用标准参数化形式表示为:
;
式中, 为累计衰减因子; 表示原始干净样本;表示与 维度一致的高斯噪声向量; 表示在第 个扩散时间步下得到的带噪样本;为单位矩阵, 为表示均值为0、协方差为单位矩阵 的多维高斯分布;
步骤1.2、设定搜索的时间步序列长度为固定值 ,将一次扩散推理过程中时间步的选择过程抽象为由 个离散决策变量组成的时间步序列编码,定义为:;
式中,表示时间步子序列,由 个离散时间步 构成, ;
对时间步序列施加如下约束条件:
;
步骤1.3、在时间步序列搜索的基础上,引入与各时间步对应的推理模型架构配置,将扩散推理过程中噪声预测网络在不同时间步处的子网络结构作为可搜索对象,得到统一搜索空间;
对于时间步序列中的每一时间步 ,定义对应的推理模型架构,配置为:;
式中, 表示在时间步 处选取的噪声预测网络子结构,表示各层结构,上标表示对应时间步处启用的网络层数,且 不超过预训练噪声预测网络的总层数;
将一次扩散推理过程中的候选架构表示为:
;
式中, 表示一次扩散推理过程中的候选架构。
3.根据权利要求2所述的扩散模型推理加速方法,其特征在于,所述步骤2包括:步骤2.1、将预训练扩散生成模型采用的完整扩散时间步集合 作为初始时间步集合;在搜索过程中不改变时间步序列长度,仅对时间步取值及组合进行优化;
步骤2.2、基于多目标指标 对不同时间步子序列 进行评价,所述多目标指标至少包括用于表征生成质量的FID、用于表征采样效率的采样步数以及用于表征推理速度的推理时延;
步骤2.3、将时间步子序列 作为结构变量输入神经网络架构搜索框架,通过多目标优化得到满足预设收敛条件的最优时间步序列 。
4.根据权利要求3所述的扩散模型推理加速方法,其特征在于,所述多目标指标 ,表示为:;
为基于时间步子序列 生成样本所得的生成质量指标,用于衡量生成样本与真实样本分布之间的差异程度:;
式中, 函数表示Fréchet Inception Distance评价函数,用于衡量生成样本分布与真实样本分布在特征空间中的统计距离; 表示在时间步子序列 约束下,第 次扩散推理过程中由扩散生成模型输出的最终生成图像样本; 表示由真实图像数据构成的参考数据集,用于作为生成质量评价的真实分布基准;
为采用时间步子序列 时的总采样步数,用于表征采样效率:;
为在时间步子序列 下完成一次完整采样过程的平均推理时延,用于表征推理速度:;
式中, 函数表示在固定计算硬件平台上,按时间步序列 完成扩散推理生成的实际推理时间;表示对多次独立推理过程所得推理时延的统计平均。
5.根据权利要求3所述的扩散模型推理加速方法,其特征在于,所述步骤3包括:步骤3.1、按照预设的时间步采样策略,从最优时间步序列 中均匀随机采样单个时间步 ,并将所述时间步 作为当前训练迭代中采用的扩散时间步;
步骤3.2、在相同噪声和时间步条件下,分别通过教师模型和学生模型获得噪声预测以及中间去噪结果,构建主蒸馏损失,约束学生模型的噪声预测逼近教师模型的噪声预测,并引入对高频噪点进行抑制的梯度感知正则项;
步骤3.3、从已排序的最优时间步序列 中连续采样两个索引相邻的时间步,使用相同的噪声条件构造对应的带噪潜在表示,计算学生模型在相邻时间步 和 的重建结果,构建一致性损失 ,约束重建结果在时间域上保持一致性;
步骤3.4、将主蒸馏损失与一致性损失按预设权重进行加权求和,作为学生模型的总蒸馏损失 ,对学生扩散生成模型执行反向传播与参数更新。
6.根据权利要求5所述的扩散模型推理加速方法,其特征在于,所述主蒸馏损失的均方误差项为:;
式中, 表示基于噪声预测一致性的蒸馏损失值,用于度量学生扩散模型在给定时间步上的预测结果与教师扩散模型预测结果之间的差异程度; 表示对时间步 以及噪声随机变量 的数学期望; 为由向扩散过程得到的带噪样本; 与 分别为教师模型与学生模型在时间步 的噪声预测。
7.根据权利要求6所述的扩散模型推理加速方法,其特征在于,所述梯度感知正则项,通过计算噪声预测特征图的梯度差异实现,所述教师模型与学生模型中,噪声预测对输入的梯度分别为:;
梯度感知正则项 定义为:
;
式中, 表示对输入带噪样本 求偏导的梯度计算算子,反映噪声预测结果对输入样本变化的敏感程度; 表示教师模型在时间步 处输出的噪声预测结果相对于输入带噪样本 的梯度特征; 表示学生模型在时间步 处输出的噪声预测结果相对于输入带噪样本的梯度特征。
8.根据权利要求7所述的扩散模型推理加速方法,其特征在于,所述一致性损失 ,用于提升在整个时间域上的生成稳定性,构建方法如下:设 ,对于索引相邻的时间步对 ,在相同噪声条件下,构造对应的带噪潜在表示 :
;
;
式中, 和 分别表示在时间步 和 处对应的累计噪声衰减因子;
基于学生模型的重建估计定义一致性损失,定义每步的重建估计结果为 :;
将一致性损失表示为:
;
式中, 表示最优时间步序列 中索引相邻时间步对以及不同噪声样本条件下一致性损失的统计平均, 为学生模型在时间步 的重建结果。
9.根据权利要求8所述的扩散模型推理加速方法,其特征在于,所述主蒸馏损失,表示为:;
式中, 与 为用于平衡不同蒸馏约束项贡献的权重系数,满足 ;
所述学生模型的总蒸馏损失为主蒸馏损失与一致性损失的加权和:;
式中, 为一致性损失的权重系数,基于总蒸馏损失对学生模型参数执行反向传播与参数更新,蒸馏训练过程中教师模型参数始终保持冻结,仅更新学生模型的参数。