1.一种基于扩散进化算法的神经架构搜索方法,其特征在于,包括如下步骤:步骤1,构建超网,该超网包括 个子网,每个子网通过连续编码为每条连接边上的每个操作赋予权重,编码形式为M×N的矩阵,其中M表示超网内连接边的数量,N表示每条连接边上设置的N种候选操作;
步骤2,获取不同类别的图片构建成数据集,按比例划分为训练数据集和验证数据集;
步骤3,对超网权重和子网编码进行交替优化,直至满足约束条件时停止优化,得到最优子网编码,进而得到神经网络架构;其中利用训练数据集及其标签对超网权重进行训练优化,利用扩散进化算法对子网编码进行优化;
利用扩散进化算法对子网编码进行优化包括如下步骤:步骤301,从正态分布中采样初始化种群个体,种群表示为,其中,表示 维的单位矩阵, 表示编码维度,T表示总迭代次数, 表示种群中个体,每个个体包括子网编码和伸缩因子,每个个体的编码维度满足: ,t表示当前迭代次数,表示实数集,将第t时间步的第i个个体的编码方式表示为 ,Q表示转置,表示第t时间步第i个个体的第M条连接边的编码方式,表示第t时间步第i个个体的编码信息中,第N个位置对应第N种候选操作的取值, 表示第t时间步、第i个个体编码中对应第N种候选操作取值的下限, 表示第t时间步、第i个个体编码中对应第N种候选操作取值的上限; 表示第t时间步第i个个体的伸缩因子, 为0至1之间的随机数;
步骤302,利用反向去噪过程更新种群个体,更新公式为:,
式中, 表示余弦调度, 表示噪声方差, 表示噪声注入;
步骤303,使用验证数据集计算每个个体的适应度值,计算公式为:,
式中,B表示验证数据集中的批次数量, 表示第b个样本对应第c类别的真实标签,表示模型基于参数 对验证数据集中的第b个样本 预测为类别c的概率,C表示总类别数;
步骤304,比较第t时间步第i个个体和更新后个体的适应度值,较高者保存到下一代种群内,表示为:,
式中, 表示保存到下一代的个体,包括子网编码和伸缩因子, 表示第t时间步中第i个个体, 表示与当前遍历的个体 对应的经扩散演化算子处理得到的个体,表示个体 内的子网编码 的适应度值, 表示个体 内的子网编码 的适应度;
步骤305,通过概率表示函数将个体的适应度值转换为选择概率,利用选择概率引导种群个体的更新;
步骤306,更新当前迭代时间步 ,跳转至步骤302,直至达到最大迭代次数时停止迭代;
噪声注入的赋值规则为:
,
式中, 表示种群均值。
2.根据权利要求1所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,噪声注入比例的设置规则为:在早期阶段即 时,设置噪声注入比例大于等于 ;
在后期阶段即 时,设置噪声注入比例小于等于 。
3.根据权利要求2所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,概率表示函数类型包括均匀映射、核密度估计或高斯混合模型;
其中,均匀映射时的概率表示函数表示为:,
核密度估计时的概率表示函数表示为:
,
式中,h表示带宽, 表示种群中第j个个体, 表示欧几里得范数的平方;
高斯混合模型时的概率表示函数表示为:,
式中, 表示第 k 个高斯分量在混合模型中的权重, 表示协方差矩阵,参数, 表示属于第K组个体索引的集合, 表示该集合的元素个数。
4.根据权利要求3所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,步骤3中的约束条件表示为:服从约束 ,
式中,表示子网编码, 表示最高适应度的个体对应的子网编码, 表示超网权重,表示在给定权重系数 的情况下,超网经过训练后得到的最优权重, 表示验证数据集, 表示损失函数值最低时权重W的取值, 表示分类任务中最小化交叉熵损失函数, 表示训练数据集。
5.根据权利要求4所述的一种基于扩散进化算法的神经架构搜索方法,其特征在于,将编码矩阵记为 ,其中 表示连接边m上候选操作n的权重系数,公式为:,
式中, 表示连接边的编号, 表示候选操作的编号, 用于计算连接边m上候选操作n权重系数的基础变量;优化结束后,令 ,对得到的子网编码进行离散化处理,即每条连接边上仅保留优化后得到的编码数值最大者,离散化后的编码方式转换为0‑1编码,每条连接边上保留的操作对应的编码为1,其余为0,公式表示为:。