利索能及
我要发布
收藏
专利号: 2024113795551
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于性能层级代理辅助的演化神经架构搜索方法,其特征在于,所述方法用于语音处理,包括以下步骤:步骤1,初始化一个架构种群,演化数代并真实评估种群内的所有架构个体,获得真实性能,并记录现有的架构性能数据;

步骤2,根据真实性能划分架构的性能层级,打上层级标签作为训练数据,使用训练数据训练一个代理模型,所述代理模型建立架构到性能层级这一映射关系,能够预测未知架构的性能层级;

步骤3,通过基于简单路径的交叉算子和变异算子,产生架构个体,并利用代理模型预测架构个体的性能层级,高层级的架构保留,低层级的架构直接淘汰;

步骤4,高层级的架构继续参与一次选择过程,评估最终保留下来的架构的真实性能,并加入现有架构性能数据;如果满足条件,则使用最新架构性能数据更新代理模型,优化模型的性能以适应不同搜索阶段;

步骤5,将被评估的高层级架构与当前种群合并,进行环境选择,采取锦标赛选择产生新的种群;

步骤6,重复步骤3至步骤5,直至满足停止条件,输出全局最优架构;

步骤1中,初始化一个架构种群P后,演化G代,评估每一个架构在任务数据集上的性能,并保存在记录中,其中(Archi,yi)表示一个架构性能对,Archi是记录里的第i个架构,yi是第i个架构对应的性能,N是记录Archive中的架构总数;

步骤2包括:

步骤2.1,划分架构的性能层级,制作训练数据集:

对于记录Archive中的架构,按性能yi从大到小排序,设置性能层级为K,划分的结果为:Data为代理模型Model的训练数据集,用于对模型的有监督训练; 代表划分出的第K层级,NK是这个层级内架构的数量,K标识了架构Archi的层级;

步骤2.2,设计代理模型的结构:

代理模型Model包括架构特征提取器和层级划分器,架构特征提取器和层级划分器相互耦合,共同训练和完成架构特征提取和层级划分的任务;

所述架构特征提取器包括图卷积层,所述架构特征提取器基于节点间信息的传输和聚合完成对神经网络架构特征的提取,获得架构表示;

所述层级划分器包括全连接层,所述层级划分器基于架构表示的学习完成对神经网络架构性能层级的预测,并将对应的架构划分到所属的性能层级;

在每一层图卷积中,每个节点的特征向量通过邻居节点的特征向量进行更新,描述为:其中,σ是激活函数;是加入自环的图的邻接矩阵;D是所有节点组成的度矩阵,计算方法为: 是度矩阵D中第a行第a列的元素, 是邻接矩阵 中第a行第b列的元素;

(l) (l)

W 是架构特征提取器第l层的可训练权重矩阵;H 是架构特征提取器第l层的节点特(0) (0)征向量,并且H =X,表示整个架构特征提取器的输入H 就是初始的节点特征向量X;通过图卷积层提取到的节点特征信息,再经过一个全局池化层结合所有特征信息得到一个架构在隐空间中的表示;

接着,架构表示将被输入到层级划分器中,预测对应架构所属的性能层级;

步骤2.3,设计损失函数,指导代理模型的训练过程:

设计代理模型的损失函数,表示为:

L=L2+λL1,

其中,L1为交叉熵损失函数,m是输入数据的批量大小,是代理模型预测的批量中第i个架构的层级,ti是第i个架构对应的真实性能层级;L2为设计的特征损失函数,其中,函数ψ(x)=max(x,0),F(xi,xj)表示架构表示xi和架构表示xj之间的欧氏距离;xi和xj是层级划分器的输入,即架构特征提取器的输出;当ti=tj时,中间参数yij=1,否则中间参数yij=0;

margin是控制不同层级架构之间特征距离的临界值参数;λ是控制两个不同损失函数之间重要性的超参数;采用总损失函数L指导代理模型的训练,直至收敛;

步骤3包括:

步骤3.1,采用基于简单路径的交叉算子产生新的架构;

步骤3.2,利用代理模型预测新生成的架构的性能层级;

步骤3.1包括:

步骤3.1.1,选择两个需要交叉的父架构,将架构视为有向图,对所有节点编号,具体包括:根据种群中所有架构个体的适应度值,赋予高性能的架构更高的选中概率,赋予低性能的架构更低的选中概率,然后按轮盘赌算法从种群中选择出两个父架构,进行交叉操作,将两个父架构视为两个有向图,对每个图中的节点,从输入节点到输出节点按顺序编号;

步骤3.1.2,解构两个有向图,获得它们的所有简单路径,组成简单路径候选池,具体包括:对于每个有向图,找出它的所有简单路径,即从输入节点到输出节点之间无重复的节点顺序,将所有的简单路径组合成一个路径候选池,节点序号和操作都保留;

步骤3.1.3,随机选择数条简单路径,重构出子架构的有向图,具体包括:路径候选池中的路径数量为M,从[1,M]中随机生成一个路径数量L,然后再次从路径候选池中随机选择L条简单路径,由L条简单路径重构子代架构图;对于序号相同的节点合并为新图的一个节点,不同序号的节点作为新生成的节点;

步骤3.1.4,根据不同的节点,用不同的方式继承操作,具体包括:由父架构继承而来的节点,操作直接保留,合并产生的新节点,随机从两个父架构的节点操作中保留一个;经过两个父架构的交叉,一个新的子架构产生;

步骤3.1.5,重复步骤3.1.1~步骤3.1.4,直至产生设定数量的新架构;

步骤3.2包括:

通过构造的预测架构性能层级的代理模型,使用代理模型对新生成的架构进行性能层级预测:对于已设定的性能层级K,新生成的架构将被划分到K个层级中,表示为:其中,Archi表示预测的第i个架构, 是预测的第i个架构的性能层级。

2.根据权利要求1所述基于性能层级代理辅助的演化神经架构搜索方法,其特征在于,步骤4包括:步骤4.1,使用代理模型中的架构特征提取器获得训练数据的所有特征表示,然后计算性能层级的层级中心;

步骤4.2,使用代理模型中的架构特征提取器获得高层级中每一个架构的特征表示,计算特征表示与最高性能层级中心的距离,选择出最靠近中心的架构进行性能评估;

步骤4.3,如果满足代理模型的更新条件,则使用最新的架构性能数据更新代理模型,在线对代理模型进行迭代更新。

3.根据权利要求2所述基于性能层级代理辅助的演化神经架构搜索方法,其特征在于,步骤4.1包括:对于m个架构,采用代理模型对训练数据集Data中的所有架构提取特征表示,表示为:其中,Xi表示提取的第i个架构Archi的特征表示;

按性能层级,分别计算K个层级的中心C,依次提取出每个层级架构 计算出层级的中心C,表示为:

t t

其中,C表示第t个层级的层级中心,m表示第t个层级的架构数量, 表示第t个层级中第i个架构的特征表示。

4.根据权利要求3所述基于性能层级代理辅助的演化神经架构搜索方法,其特征在于,步骤4.2包括:在代理模型预测的结果中,获得最高层级中的每一个架构的特征表示,计算特征表示与最高层级中心的距离,选择距离最小的V个架构,所述V个架构是最值得使用数据集完整训练的网络架构,以获得V个架构在任务数据集上的性能,并将结果存入记录Archive中;

步骤4.3包括:

如果代理模型演化达到了设定的代数,则使用最新的记录Archive,沿用层级划分方法,制作最新的训练数据集Data,使用训练数据集Data更新代理模型。

5.根据权利要求1~4任一项所述基于性能层级代理辅助的演化神经架构搜索方法实现的基于性能层级代理辅助的演化神经架构搜索系统,其特征在于,包括:基于简单路径的演化算子模块:用于产生新的神经网络架构,推动种群演化过程的进行;

基于图神经网络的架构特征提取模块:用于提取网络架构的拓扑信息和操作信息,获得网络架构的向量表示;

基于性能层级划分的代理模型:用于建立架构表示到性能层级的映射关系,预测神经网络架构的性能层级。