利索能及
我要发布
收藏
专利号: 2025103702485
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于扩散进化算法的神经架构搜索方法,其特征在于,包括如下步骤:步骤1,构建超网,该超网包括 个子网,每个子网通过连续编码为每条连接边上的每个操作赋予权重,编码形式为M×N的矩阵,其中M表示超网内连接边的数量,N表示每条连接边上设置的N种候选操作;

步骤2,获取不同类别的图片构建成数据集,按比例划分为训练数据集和验证数据集;

步骤3,对超网权重和子网编码进行交替优化,直至满足约束条件时停止优化,得到最优子网编码,进而得到神经网络架构;其中利用训练数据集及其标签对超网权重进行训练优化,利用扩散进化算法对子网编码进行优化;

利用扩散进化算法对子网编码进行优化包括如下步骤:步骤301,从正态分布中采样初始化种群个体,种群表示为,其中,表示 维的单位矩阵, 表示编码维度,T表示总迭代次数, 表示种群中个体,每个个体包括子网编码和伸缩因子,每个个体的编码维度满足: ,t表示当前迭代次数,表示实数集,将第t时间步的第i个个体的编码方式表示为 ,Q表示转置,表示第t时间步第i个个体的第M条连接边的编码方式,表示第t时间步第i个个体的编码信息中,第N个位置对应第N种候选操作的取值, 表示第t时间步、第i个个体编码中对应第N种候选操作取值的下限, 表示第t时间步、第i个个体编码中对应第N种候选操作取值的上限; 表示第t时间步第i个个体的伸缩因子, 为0至1之间的随机数;

步骤302,利用反向去噪过程更新种群个体,更新公式为:,

式中, 表示余弦调度, 表示噪声方差, 表示噪声注入;

步骤303,使用验证数据集计算每个个体的适应度值,计算公式为:,

式中,B表示验证数据集中的批次数量, 表示第b个样本对应第c类别的真实标签,表示模型基于参数 对验证数据集中的第b个样本 预测为类别c的概率,C表示总类别数;

步骤304,比较第t时间步第i个个体和更新后个体的适应度值,较高者保存到下一代种群内,表示为:,

式中, 表示保存到下一代的个体,包括子网编码和伸缩因子, 表示第t时间步中第i个个体, 表示与当前遍历的个体 对应的经扩散演化算子处理得到的个体,表示个体  内的子网编码  的适应度值, 表示个体 内的子网编码  的适应度;

步骤305,通过概率表示函数将个体的适应度值转换为选择概率,利用选择概率引导种群个体的更新;

步骤306,更新当前迭代时间步  ,跳转至步骤302,直至达到最大迭代次数时停止迭代;

噪声注入的赋值规则为:

式中, 表示种群均值。

2.根据权利要求1所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,噪声注入比例的设置规则为:在早期阶段即 时,设置噪声注入比例大于等于 ;

在后期阶段即  时,设置噪声注入比例小于等于 。

3.根据权利要求2所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,概率表示函数类型包括均匀映射、核密度估计或高斯混合模型;

其中,均匀映射时的概率表示函数表示为:,

核密度估计时的概率表示函数表示为:

式中,h表示带宽, 表示种群中第j个个体, 表示欧几里得范数的平方;

高斯混合模型时的概率表示函数表示为:,

式中, 表示第  k 个高斯分量在混合模型中的权重, 表示协方差矩阵,参数, 表示属于第K组个体索引的集合, 表示该集合的元素个数。

4.根据权利要求3所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,步骤3中的约束条件表示为:服从约束 ,

式中,表示子网编码, 表示最高适应度的个体对应的子网编码, 表示超网权重,表示在给定权重系数 的情况下,超网经过训练后得到的最优权重, 表示验证数据集, 表示损失函数值最低时权重W的取值, 表示分类任务中最小化交叉熵损失函数, 表示训练数据集。

5.根据权利要求4所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,将编码矩阵记为 ,其中 表示连接边m上候选操作n的权重系数,公式为:,

式中, 表示连接边的编号, 表示候选操作的编号, 用于计算连接边m上候选操作n权重系数的基础变量;优化结束后,令 ,对得到的子网编码进行离散化处理,即每条连接边上仅保留优化后得到的编码数值最大者,离散化后的编码方式转换为0‑1编码,每条连接边上保留的操作对应的编码为1,其余为0,公式表示为:。