1.一种基于优势分类器辅助的多目标混合演化神经架构搜索方法,其特征在于,包括以下步骤:步骤1,设计并训练一个基于对比学习的自编码器,用于提取网络架构的特征,将无序的搜索空间映射至一个依据性能优劣有序分布的连续编码空间中;包括:设计自编码器:所述自编码器包括编码器和解码器,所述自编码器的工作流程包括:将向量编码X作为输入,经编码器处理后输出潜在向量 ,其中 表示以X为输入时编码器的输出;随后,经过局部搜索优化得到的新的潜在向量被重新解码为具有实际含义的离散编码,用于表示一个真实存在的架构,采用解码器对潜在向量进行解码,输出重构向量,其中 表示以L作为输入时解码器的输出;
步骤2,设计并训练一个端到端的基于架构性能优劣比较的优势分类器,所述优势分类器能够从候选架构中选择在两个以上评估指标上均表现优秀的神经架构;包括:首先,为优势分类器构建成对的训练样本 并获得标签, ;其中,表示第 个成对样本, 表示第 个架构 的向量编码 经过编码器得到的潜在特征, 表示第 个架构 的向量编码 经过编码器得到的潜在特征, 表示样本对的标签,当 时, ;否则, ;
步骤3,通过随机采样从搜索空间中初始化一个架构种群,并对种群中的个体进行全面训练以实现真实评估;
步骤4,将当前种群作为父代,生成候选架构,利用自编码器对候选架构进行特征提取,并将提取到的潜在特征向量输入至优势分类器中,对候选架构的适应度值进行预测;根据预测得到的适应度值选择具有潜力的架构作为子代架构,并对子代架构进行真实评估;随后,合并子代架构与父代架构,通过环境选择策略选择最优的架构以更新种群;
步骤5,通过投影与聚类方法对新种群进行多样性评估,如果种群多样性优秀,则对种群中的个体进行局部搜索优化;否则,激活多样性增强模块,从合并的子代架构与父代架构中重新选择多样化的个体以更新种群;
步骤6,重复步骤4 步骤5直至种群性能收敛,最终输出一组全局最优架构;所述全局最~优架构指的是在多目标优化中形成的帕累托前沿架构集合;在大规模图像识别场景中,所得到的全局最优架构直接部署于CIFAR‑10数据集的图像分类任务中,输入一张自然图像,架构自动提取图像特征并输出对应的类别标签。
2.根据权利要求1所述的方法,其特征在于,步骤1具体包括如下步骤:步骤1.1,将架构转化为向量编码:采用NASNet搜索空间,NASNet搜索空间仅搜索最优的基本单元,通过堆叠最优的基本单元来构建网络架构;在NASNet搜索空间中,每个单元由两个输入节点、五个中间节点和一个输出节点组成;
用 表示预定义操作空间中的第s种操作,节点0和1表示输入节点,节点7表示输出节点,对于NASNet搜索空间,仅需要对五个中间节点进行编码;每个中间节点由一个长度为4的向量表示,向量的前两个元素表示节点的两个前驱节点的编号,向量的后两个元素表示两个前驱节点与节点连接的边对应的操作类型;随后,将五个中间节点的向量依次拼接,得到一维的向量编码X,用于初步表示架构 ;
步骤1.2,设计自编码器;
步骤1.3,构造训练样本:为自编码器构造训练集 ,其中 表示第i个三元组样本, 为第i个三元组样本中的锚点样本,为第i个三元组样本中的正样本, 为第i个三元组样本中的负样本, 是全部三元组样本的数量;
步骤1.4,训练自编码器:计算由锚点样本 得到的潜在向量 与由正样本 得到的潜在向量 之间的欧几里得距离 ,计算潜在向量 与由负样本 得到的潜在向量 之间的欧几里得距离 ;优化的目标为最小化 并最大化 ,采用如下三元组损失函数 优化自编码器:,
其中,m是用于控制距离的超参数;
采用如下重构损失函数 训练自编码器:
,
其中, 表示向量编码的长度, 和 则分别表示锚点样本 的第 个位置上的元素值和解码器重构后的向量编码 第 个位置上的元素值;
最后,通过设定参数 调节两种损失函数 和 的贡献平衡,在训练过程中采用联合损失函数 计算损失值,并通过反向传播更新自编码器的可训练参数,重复迭代训练直至模型收敛。
3.根据权利要求2所述的方法,其特征在于,步骤1.3包括:首先,通过随机采样策略从搜索空间中选取 个架构,将架构对应的向量编码加入架构池中,其中 表示架构池中的第 个样本;其次,从架构池中随机选择一个样本作为锚点样本;接着,再通过随机抽样,从架构池中抽取一个样本,计算样本与锚点样本对应架构的性能相似度,对于任意两个样本 和 ,性能相似度 计算公式为:,
其中, 和 分别表示样本 对应的架构 的真实性能值和样本 对应的架构 的真实性能值,e表示自然常数;如果 大于阈值 ,表示两个样本性能相近,则将当前抽取的样本作为锚点样本的正样本 ;否则表示两个样本性能不相近,将当前抽取的样本作为锚点样本的负样本 ;随后,继续从架构池中随机抽取样本,直至为当前锚点样本找到一个正样本和一个负样本,构造成一个三元组样本 ;循环重复步骤1.3共次,得到 个三元组样本。
4.根据权利要求3所述的方法,其特征在于,步骤2中,采用如下二元交叉熵损失函数对模型进行训练与优化:,
其中, 表示 优于 的概率;
提出一种成对排名损失函数作为训练的惩罚项 :
,
其中exp是自然指数函数, 是一个符号函数,定义为:,
最后,通过设定参数 控制惩罚项 对模型训练的影响,在训练过程中采用联合损失函数 计算损失值。
5.根据权利要求4所述的方法,其特征在于,步骤3中,通过随机采样,从搜索空间中选取N个神经网络架构作为初始种群 ,其中,N 表示种群的大小;随后,对种群中的个体进行全面训练以实现真实评估;全面训练是指在目标数据集上,对网络架构进行完整的训练,并在验证集上评估最终性能。
6.根据权利要求5所述的方法,其特征在于,步骤4包括:步骤4.1,首先每次都通过锦标赛选择策略从当前种群 中选择两个父代架构,对所述两个父代架构进行交叉、变异操作产生子代,重复步骤4.1直至生成 个候选架构;其中,表示演化进行到第 代时的种群;
步骤4.2,使用优势分类器预测候选架构的适应度得分:先将每个候选架构的分数初始化为0, 表示当优势分类器的权重为 时,第 个架构 的预测得分为 ;随后,采用自编码器获得每个候选架构的潜在向量,优势分类器基于所述潜在向量,对每个架构与其他候选架构之间的相对优劣关系进行预测;对于搜索空间中的任意两个架构 和 ,如果优势分类器输出的 优于 的概率为 ,则:,
其中,参数 用于控制概率 对得分的贡献;随后,将得分 作为第一目标,并进行非支配排序和拥挤度距离计算,选择前 个表现最好的架构作为当前的子代架构 ,并进一步通过全面训练对子代架构 进行真实评估;
最后,合并父代架构 和子代架构 ,并使用非支配排序遗传算法对合并后的种群进行环境选择,选择在两个以上评估指标上均表现优秀的 个架构用于更新种群 。
7.根据权利要求6所述的方法,其特征在于,步骤5具体包括如下步骤:步骤5.1,种群多样性评估:
通过超平面投影的方法对步骤4中得到的新种群 进行聚类,并采用聚类质量指标评估种群多样性,首先,定义单位向量 以归一化目标尺度:,
其中,是优化目标的数量, 表示新种群中个体的目标值, 表示新种群中个体在第 个优化目标上的目标值, , 表示新种群中个体在第 个目标上的最大值;
构造超平面 :
,
其中, 是常数项; 是 和 的点积,表示 在 方向上的投影;
计算个体的目标值 在超平面 上的正交投影 :
,
其中, 表示向量 的范数平方;
将种群种 的所有个体投影到超平面后得到投影种群 , 由所有个体的正交投影 组成;
对投影种群进行聚类,以评估种群的多样性:采用K族聚类方法,将投影种群 划分为 个子种群 ,其中 ; 表示聚类后得到的第 个投影子种群,每个投影子种群代表一组在目标空间中相似的个体;
随后,采用聚类质量指数Q作为评价种群多样性的指标:,
其中, 表示第k个投影子种群 中个体的数量, 表示第k个投影子种群中的第 个正交投影, 表示第k个投影子种群 的聚类中心, 表示正交投影 到聚类中心 的欧几里得距离;
最后,设定多样性阈值 ,当 时,表明当前种群 多样性优秀,执行步骤5.2;否则,执行步骤5.3;
步骤5.2,局部搜索优化:从新种群 中随机选择一半的架构进行局部优化,对于第个待优化的架构 ,以 的目标向量 设定参考点 ,并计算归一化权重向量 ;其次,采用编码器提取架构 的潜在向量 ;随后,采用成就标量化函数作为目标函数 :
,
其中, 表示潜在向量 对应的架构的目标向量, 是一个正数,表示对待优化全部架构的 值进行求和;
接着,在潜在空间上采用序列二次规划对目标函数 进行梯度优化:,
其中,潜在向量 会在优化过程中被迭代更新,最终得到优化后的潜在向量 ;
对于优化后的潜在向量 ,采用步骤1中的解码器进行重构,得到解码后的架构 ,通过全面训练对 进行真实评估,并比较 与 的支配关系,如果 支配 ,则在当前种群 中用 替换 ;否则保持种群不变;最后,对优化更新后的新种群重新计算非支配排序和拥挤度距离;
步骤5.3,激活多样性增强模块,进行种群多样性增强:从合并的父代架构 和子代架构 的集合 中重新选择个体以重新构建种群,首先,对合并后的架构进行投影与聚类,得到K个子种群 ;其次,对每个子种群内部执行非支配排序,第k个子种群的第j层非支配解为 ,用 记录每个子种群的多层帕累托前沿,随后,构造一个空集 作为多样性优化后的新种群,按前沿的层级顺序依次遍历,选择个体填充 ,直至 中个体的数量达到种群大小N;最后,用 替换当前种群 ,并重新计算新种群的非支配排序和拥挤度距离。
8.根据权利要求1 7任一项所述的方法实现的基于优势分类器辅助的多目标混合演化~神经架构搜索系统,其特征在于,包括:
基于对比学习的自编码器:用于将无序的搜索空间映射至依据性能优劣有序分布的低维编码空间中,还用于对局部优化后的编码向量进行重构,得到解码后的架构;
基于架构性能优劣比较的优势分类器:用于预测架构之间的优劣关系,并计算架构的适应度得分,选择表现优秀的神经架构;
混合演化优化模块:用于评估每一代种群的多样性,并对多样性优秀的种群进行局部搜索优化,对种群进行多样性增强。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
10.一种存储介质,其特征在于,存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,执行如权利要求1至7中任一项所述的方法的步骤。