1.一种基于分层‑反馈机制和TEG引导的可微神经架构搜索方法,其特征在于,包括以下步骤:步骤一,分层搜索阶段:基于可微分架构搜索方法进行神经架构搜索,可微分架构搜索方法包括搜索步骤和评估步骤,搜索步骤中包含多个搜索阶段,每个搜索阶段对应一个搜索网络,且随着搜索阶段的增加,对应的搜索网络的单元的数量随之增加,并逐渐接近评估步骤使用的评估网络中的单元的数量;
在每个搜索阶段开始时,计算当前搜索阶段的搜索网络的TEG指标,并使用TEG指标引导优化当前搜索阶段的搜索网络参数ωS和架构权重α,步骤二,反馈搜索阶段:
评估网络由最后一个搜索阶段的搜索网络扩充而来,将搜索网络与评估网络整合,并以循环的方式联合训练最后一个搜索阶段的搜索网络和评估网络;
在联合训练的过程中,对每条可选边逐步递减对应的可选操作,直到仅剩下两个权重最高的操作,最后在训练集上取识别成功率最高的一组操作形成最终所需要的网络。
2.根据权利要求1所述的基于分层‑反馈机制和TEG引导的可微神经架构搜索方法,其特征在于,搜索步骤包括三个搜索阶段,三个搜索阶段对应的搜索网络中的单元数量分别为5、8、11;评估步骤使用的评估网络中的单元的数量为20。
3.根据权利要求1所述的基于分层‑反馈机制和TEG引导的可微神经架构搜索方法,其特征在于,步骤一中,使用TEG指标引导优化当前搜索阶段的搜索网络参数ωS和架构权重α时,对应的双层优化问题为:TEG
其中,r 为当前搜索阶段的搜索网络的TEG指标;λω与λα是权重参数,用于平衡损失和TEG指标在总损失中的权重; 与 分别表示验证损失函数与训练损失函数,表示网络参数。
4.根据权利要求1所述的基于分层‑反馈机制和TEG引导的可微神经架构搜索方法,其特征在于,所述将搜索网络与评估网络整合,以循环的方式联合训练最后一个搜索阶段的搜索网络和评估网络,具体包括:将体系架构搜索建模为搜索网络与评估网络的联合优化问题,联合优化问题的目标函数为:其中ωE与 为评估网络的参数,ωS与 是搜索网络的参数; 与 分别表TEG
示验证损失函数与训练损失函数, 表示相应的权重参数,r 为当前搜索阶段的搜索网络的TEG指标;
采用单独学习和联合学习两个阶段优化联合优化问题的目标函数;在单独训练阶段,采用权重共享策略来更新ωE,根据搜索网络的架构权重更新评估网络的结构;评估网络的权重通过搜索网络的参数进行初始化;
在联合学习阶段,搜索算法通过内省蒸馏,利用评价网络的特征反馈更新架构权重α;
所述联合优化问题的目标函数进一步表述为:
其中, 表示使用固定的权重 来优化搜索网络中的架构权重α, 表示使用固定的架构权重α来优化评估网络中的权重ωE, 表示内省蒸馏过程,用于将知识从评估网络转移到搜索网络,且使用从评估网络中得到的特征作为监督信号来引导搜索网络中架构权重α的更新。