1.一种基于多种群协同进化的生成对抗网络架构搜索方法,其特征在于,包括以下步骤:步骤1,定义用于搜索生成器和鉴别器的搜索空间,并使用二进制编码;
步骤2,随机生成生成器和鉴别器的基因群;
步骤3,激活所有候选操作,进行初始化训练;
步骤4,利用一种协同架构搜索方法搜索生成对抗网络的架构参数和网络权重;
步骤5,利用一种多种群协同优化方法对生成器和鉴别器的基因群进行优化和更新;
步骤6,循环执行步骤3 步骤4,交替优化生成器和鉴别器的架构,直至网络性能无法再~被提升;
步骤7,将搜索出的生成对抗网络用于零样本学习中的未见样本的生成;
步骤1中,生成器G表示为有向无环图 ,判别器D表示为有向无环图,其中, 和 分别表示生成器和鉴别器的节点集合, 和 分别表示生成器和鉴别器的连接操作,S表示生成器和鉴别器通用的通道注意力模块;
步骤1中,通道注意力模块S被设计放置在每个中间节点前,用于处理第i个中间节点的前驱节点 的输出,中间节点 的输入 公式为: ,
其中, 表示连接节点 到节点 的操作, 代表第j个中间节点 的输入, 代表拼接操作;
通道注意力模块S通过计算不同节点特征之间的关联权重构建注意力矩阵衡量各通道之间的重要性分布,并引入可学习的聚合参数对特征维度进行压缩,从而提取更具判别性的特征表示,最终,将压缩后的特征作为节点的输入,数学表达式为: ,
其中, 表示输入特征矩阵, 表示实数空间,c为通道数,f为特征维度, 为第i个通道的通道注意力系数, 为可学习的第i个通道的聚合权重;
步骤4包括:
步骤4.1,评估并选择最优的鉴别器或生成器基因,并将最优的鉴别器或生成器基因固定为架构参数;
步骤4.2,从未被固定的生成器或鉴别器基因群中随机选取一个基因A1,基因A1代表当前批次训练时未被固定的生成器或鉴别器的架构参数;
步骤4.3,利用一种基于Wasserstein距离的自适应训练方式训练生成器和鉴别器的网络权重;
步骤4.4,循环执行步骤4.2 步骤4.3,直到训练完一轮数据;
~
步骤4.1中,评估最优的鉴别器和生成器的方法为:对于生成器种群 ,直接使用当前固定的鉴别器进行评估,公式为: ,
其中 表示当前固定的鉴别器, 表示第i个生成器基因代表的生成器 的适应度,表示在噪声的概率分布 下的期望值;i取值为1 n;
~
对于鉴别器种群 ,使用Wasserstein距离作为其性能评估值: ,
其中, 表示第i个鉴别器基因代表的鉴别器 的适应度, 表示在真实数据的概率分布 下的期望值,表示当前固定的生成器;
步骤5包括:
步骤5.1,使用适应度对架构进行评估排序并过滤掉低适应度基因;
步骤5.2,选择未被分配的具备最优适应度的基因作为一个子种群的领导者L;
步骤5.3,遍历集合中剩下的待选基因g将满足相似度 高于设定值 的基因看作与领导者L处于同一子种群;
步骤5.4,循环执行步骤5.2 步骤5.3,直到所有基因被分配到子种群;
~
步骤5.5,选取排名前 的子种群中排名前 的基因作为父代;
步骤5.6,使用交叉和变异和随机注入操作生成子代个体;
步骤5.1中,使用动态阈值 对基因进行过滤,通过如下公式计算阈值 : ,
其中,为第i个基因的适应度函数, ,为设定的适应度阈值参数;
步骤5.3中,相似度计算公式为:
,
其中, 为领导者L的基因矩阵中第i行j列的元素, 为待选基因g的基因矩阵中第i行j列的元素。
2.根据权利要求1所述的方法,其特征在于,步骤1中,生成器和鉴别器的节点集合包括:输入节点、中间节点和输出节点。
3.根据权利要求2所述的方法,其特征在于,步骤1中,生成器和鉴别器的连接操作 和代表着生成器和鉴别器中各节点间连接的操作,具体使用的操作将通过模型训练从候选操作集合E中进行搜索,并使用one‑hot编码表示边的状态。
4.根据权利要求3所述的方法,其特征在于,步骤2中,随机生成生成器和鉴别器的基因群:生成器和鉴别器的基因由数值为0和1的25×5的矩阵组成,其中25行代表生成器或鉴别器网络的25条连接边,5列代表连接边上的5个候选操作,0表示不激活,1表示激活,每条边随机一个候选操作生效。
5.根据权利要求4所述的方法,其特征在于,步骤4.3中,利用Wasserstein距离作为判别器训练的依据,通过监测判别器对真实样本与生成样本的Wasserstein距离,自适应终止判别器更新,Wasserstein距离计算公式为:,
生成器架构搜索的优化目标表述为:
,
,
,
其中, 表示当前评估到的最优生成器架构参数, 表示第i个生成器基因代表的生成器 的架构参数, 表示训练后的生成器权重, 表示训练后的鉴别器权重, 表示固定的鉴别器架构参数, 表示约束条件, 表示生成器权重, 表示鉴别器权重; 表示生成器的适应度函数;
鉴别器架构搜索的优化目标表述为:
,
,
,
其中, 表示当前评估到的最优鉴别器架构参数, 表示第i个生成器基因代表的生成器 的架构参数, 表示固定的生成器架构参数, 表示鉴别器的适应度函数。