1.基于差分进化算法的神经架构搜索方法,其特征在于,包括:步骤1,构建一个包含M条连接边和N个操作的超网,每个子网使用到范围内的连续数值为每条连接边上的每个操作赋予一个权重,所述权重作为编码来唯一地表示一个种群内的个体;
步骤2,使用训练数据及其标签训练超网的网络权重;所述训练数据来源于医学领域,具体指:根据皮肤影像判断皮肤疾病类型时,需要赋予已有图像确定的疾病类型作为标签,凭现有图像搜索到的神经网络经训练后能够对新产生的医学图像做医学辅助处理,新图像在判断结束后添加到图像库用以更新网络架构和参数,经过这样的处理,神经网络反向传播更新算法得以覆盖整个网络架构内的所有候选操作,从而实现对超网内所有操作权重的优化;
步骤3,使用差分进化算法对子网编码进行优化;
步骤4,交替执行步骤2和步骤3,直至种群内网络架构错误率收敛;
步骤2中,超网初始化时,为了确保一条连接边上的所有候选操作的数值之和为1,并且每个操作同等重要,矩阵内的每一个元素值为 ,后续优化过程中,在生成子网编码后,将子网内较优个体的编码赋值给超网,来引导超网优化网络权重,具体包括:在优化超网时,不同连接边上的特征图信息在汇聚到同一个节点时,将在通道维度上进行拼接,表示为,其中,concat代表拼接函数,它对输入的不同特征图 和 实现通道维度上的拼接,每条连接边上的特征图均由候选操作对输入数据处理后得到的特征图混合而成,表示为 ,其中, 表示第i个操作对应的架构权重,input表示输入数据, 则表示第i个操作提取输入信息特征的过程;
步骤3包括:
步骤3.1,初始化种群个体,包括子网编码和伸缩因子;
步骤3.2,使用演化算子更新伸缩因子;
步骤3.3,使用包含自适应因子的演化算子更新子网编码;
步骤3.4,执行环境选择确定新一代的子网编码和伸缩因子。
2.根据权利要求1所述的方法,其特征在于,步骤1中,所述超网中的每条连接边上含有N种候选操作,N取值为自然数;M和超网中设置的内部节点对应,设定内部节点是H个,则;
所述超网包括X个子网,X的值为 ,子网表示所有连接边上仅有一个候选操作的网络。
3.根据权利要求2所述的方法,其特征在于,步骤3.1包括:步骤3.1.1,按照每条连接边N个候选操作的定义,规定第g代种群内第n个个体的第j条连接边的编码方式为 , 表示一条连接边矢量形式的编码, 表示向量编码内处于第N个位置的数值;
步骤3.1.2,按照一个超网共有M条连接边的设置,规定第g代种群内第n个个体的编码方式为 ,其中, 表示对步骤3.1.1中第M条连接边的编码做转置处理得到的结果, 表示第g代种群内第n个个体矩阵形式的编码;
步骤3.1.3,根据连续数值的上限和下限,对子网个体内的每一部分实现随机初始化, 表示取0 1之间的随机数,~
代表第g代种群内第n个个体的连接边上第N个位置上取得的最小值, 代表第g代种群内第n个个体的连接边上第N个位置上取得的最大值;
步骤3.1.4,将第g代种群内第n个个体的伸缩因子 作为一种从矢量编码差获取信息的参数,初始时被设置为0 1之间的随机数: 。
~
4.根据权利要求3所述的方法,其特征在于,步骤3.2包括:步骤3.2.1,遍历种群内个体,每次遍历时从第g代种群内随机选择个不重复的个体,分别是 , 和 ,3个不重复的个体的伸缩因子编码分别为 、和 ,3个不重复的个体的子网编码分别为 、 和 ;对于演化算子,其中一个个体的编码作为基向量,另外两个计算编码之间的差异;
步骤3.2.2,从随机选择的3个个体中挑选2个个体的伸缩因子编码计算矢量信息差;
步骤3.2.3,将计算得到的矢量编码差乘以第g代第n个个体的伸缩因子,表示为,其中 表示第g代种群遍历过程中变异后的伸缩因子。
5.根据权利要求4所述的方法,其特征在于,步骤3.3包括:步骤3.3.1,从步骤3.2.1随机选择的3个个体中挑选对应的子网编码计算矢量信息差;
步骤3.3.2,用剩余一个未参与计算矢量信息差的随机子网编码加上 ,然后得到变异后的子网编码,表述为 ,其中 代表第g代种群遍历过程中经过变异算子得到的新子网编码;
步骤3.3.3,对当前遍历个体和步骤3.3.2中得到的变异个体执行交叉,得到第j部分的编码信息 。
6.根据权利要求5所述的方法,其特征在于,步骤3.4包括:步骤3.4.1,按照子网编码的数值大小做离散化处理:每条连接边上仅保留优化后得到的编码数值最大者,离散化后的编码方式转换为0‑1编码,即每条连接边上保留下的操作对应的编码为1,其余皆为0,公式表示为 ;
步骤3.4.2,计算当前种群内遍历第g代种群中第n个个体的适应度 和经由演化算子处理后得到的第n个个体的适应度 :用混淆矩阵C来衡量分类模型中的预测结果和真实标签之间的关系,设定面对一个包含L个类别的图像分类任务,混淆矩阵的行表示模型的预测类别,列表示图像的真实类别;设定总样本数为 ,正确分类的样本数为 ,计算公式为:,
其中, 表示混淆矩阵C中第k行第k列的元素值;
,
其中, 表示混淆矩阵中第k行第l列的元素值,k和l均代表索引序号;正确率即适应度Fitness的计算公式为:;
步骤3.4.3,比较第g代种群内第n个个体 对应的变异后的个体 的适应度值,较高者保存到下一代种群内:,
其中, 表示保存到下一代的个体,它包括子网编码和伸缩因子,如果经过演化算子得到的个体适应度函数较高,则将演化得到的种群内第n个个体 的子网编码和伸缩因子均保存下来,否则保留原第g代种群中第n个个体 的子网编码和伸缩因子;
表示演化得到的种群内第n个个体 内的子网编码 的适应度,表示原第g代种群中第n个个体 内的子网编码 的适应度。
7.根据权利要求6所述的方法,其特征在于,步骤4中,采取了网络权重和子网编码交替优化的方式,直至种群内网络架构错误率收敛,用公式表示为:服从于
,
其中 表示子网编码, 代表最高适应度的个体对应的子网编码, 表示适应度计算函数,W表示超网内的权重, 表示损失函数值最低时权重W的取值,表示返回括号内的值取最大时的 , 表示返回括号内的值取最小时的W,将训练数据集均分为两份,分别记为 和 ,其中数据集 中的数据用于训练超网网络权重,数据集 中的数据用于在优化子网编码过程中评估子网性能,Loss表示分类任务中常用的交叉熵损失函数。
8.根据权利要求1 7任一项所述的基于差分进化算法的神经架构搜索方法的系统,其~特征在于,包括:
编码模块,用于构建一个包含M条连接边和N个操作的超网,每个子网使用0到1范围内的连续数值为每条连接边上的每个操作赋予一个权重,所述权重作为编码来唯一地表示一个种群内的个体;
训练模块,用于使用训练数据及其标签训练超网的网络权重;
优化模块,用于使用差分进化算法对子网编码进行优化。