1.基于混合卷积操作的生成对抗网络架构搜索方法,其特征在于,包括以下步骤:步骤1,设计生成对抗网络架构搜索的搜索空间,定义候选操作,所述候选操作包括普通候选操作和上采样候选操作两种类型,确定架构搜索的范围;
步骤2,根据步骤1中设计的搜索空间构建一个包含所有候选架构的生成对抗网络超网,并使用0到1范围内的连续数值随机为每个候选操作赋予一个架构参数,来表示每个候选操作被选中的概率;
步骤3,在超网的普通候选操作所在边中加入部分通道注意力机制,以计算不同通道的注意力权重;
步骤4,根据每个候选操作的特征图输出和计算得到的通道注意力权重,加权调整特征图中的重要通道和特征,使得不同操作的输出更加突出重要特征,从而动态地调整和优化候选操作的架构参数;
步骤5,使用梯度下降方法训练生成对抗网络超网,根据梯度信息优化超网架构参数与权重参数;
步骤6,交替执行步骤4和步骤5,直至达到预先设置的最大循环次数,选择超网每条边中架构参数权重最大的候选操作,得到最优网络架构;所述最优网络架构用于语音合成。
2.根据权利要求1所述的方法,其特征在于,步骤1中,所述搜索空间包括N个相互连接与跳连接的单元,每个单元被看作一个由M个节点组成的有向无环图,单元内包含D个上采样候选操作节点和E个普通候选操作节点,其中M=D+E,N、M、D、E均为自然数;
在普通候选操作中加入了混合卷积操作;所述混合卷积操作同时结合了卷积操作与自注意力操作,使输入特征图通过三个共享的1×1卷积进行投影,从而生成三份中间特征图,再将投影后的特征图分别用于卷积路径和自注意力路径;在自注意力路径中,每份中间特征图被分为h组,每组包含来自每个1×1卷积的三个特征图,分别作为查询、键和值,进行多头注意力计算;在卷积核大小为k的卷积路径中,通过轻量级的全连接层生成k2个特征图,并通过平移和聚合操作处理输入特征图;最终,来自卷积路径和自注意力路径的输出按权重加和,得到最终输出y:y=αxconv+βxatt,
其中α与β表示混合卷积操作权重。
3.根据权利要求2所述的方法,其特征在于,步骤2中,所述生成对抗网络超网共有条边,其中 条为跳连接的边,N×D条为上采样候选操作所在边,N×E条为普通候选操作所在边;跳连接与上采样候选操作具有T个操作选择,普通候选操作具有Y个操作选择;
所述超网包括S个子网,其中S为自然数, 子网表示所有连接
边上仅有一个操作的网络;
超网初始化时,将会对每条边上的候选操作的架构参数采用随机分布赋值,数值大小表示候选操作被选中的概率。
4.根据权利要求3所述的方法,其特征在于,步骤3中,将部分通道注意力机制加入到每个普通卷积操作节点之后,在提升搜索效率的同时减少计算资源消耗,具体包括:在计算特征图时,首先使输入特征图分别通过一个平均池化层与一个最大池化层,得到两份不同的特征图并实现通道数的压缩与重要特征的提取;然后将得到的特征图通过两个全连接层FC1与FC2来进一步对池化后的特征进行线性变化,其中第一全连接层FC1将通道数减少至原通道数的 并通过ReLU激活函数引入非线性,再通过第二全连接层FC2将通道数恢复到原大小;最后将来自平均池化和最大池化的输出相加,并对获得的输出进行归一化,使得所有通道的权重和为1,得到不同通道的注意力权重。
5.根据权利要求4所述的方法,其特征在于,步骤4中,首先对部分通道注意力机制中每个通道的注意力权重求和,得到一个表示每个通道权重的总向量,所述总向量的每个元素表示对应通道的重要性;然后从所述总向量中选择权重排在前 的通道参与加权操作计算,其中q表示部分通道注意力机制选取的比例系数,最后再将加权操作计算过的 通道与原特征图中对应的位置进行更新,形成新的输出特征图,设定输入特征图为X,部分通道注意力机制的注意力权重为A,Ai表示第i个通道的具体权重大小,通道数为C,每个候选操作的架构参数权重为W,Wj表示第j个操作的架构参数权重,操作列表为O,Oj表示第j个操作,ChannelAttention(X)为部分通道注意力机制的计算,topq()为通道选择操作,X′、indices、Xtemp、X′temp均为中间变量,则步骤4具体包括如下步骤:步骤4.1,计算部分通道注意力机制的注意力权重:
A=ChannelAttention(X);
步骤4.2,加权输入特征图:
X′=X×A;
步骤4.3,计算总权重向量Sa:
步骤4.4,根据每个通道的权重大小选择位于前 的通道,因通道数为C,所以通道选择内的参数为步骤4.5,提取重要通道数据,indices参数指定要提取的通道索引:Xtemp=X′[:,indices,:.:];
其中第一个符号:表示选择所有样本,符号:.:表示在数据提取时保留indices指定通道中的所有特征;
步骤4.6,对重要通道进行加权操作:
步骤4.7,将计算得到的重要通道与原本通道进行拼接,indices参数指定要更新的通道索引:X[:,indices,:.:]=Xt′emp,
其中第一个符号:表示选择所有样本,符号:.:表示在数据更新时保留由indices指定的前 通道中的所有特征。
6.根据权利要求5所述的方法,其特征在于,步骤5包括:
步骤5.1,初始化训练参数,所述训练参数包括生成器与鉴别器的学习率lrG,lrD与网络参数权重wG,wD、优化器参数、混合卷积操作权重α、β和固定噪声向量;
步骤5.2,对生成器和鉴别器展开对抗性训练,并根据生成器生成的图像和真实图像,通过鉴别器计算损失;
步骤5.3,使用鉴别器与生成器损失进行反向传播,更新鉴别器与生成器权重,优化候选操作的架构参数;
步骤5.4,根据训练过程中生成的图像和鉴别器的反馈,调整混合卷积操作的权重α、β。
7.根据权利要求6所述的方法,其特征在于,步骤5.2包括:
步骤5.2.1,生成器从噪声分布中随机采样一个噪声向量z,并通过生成器来生成假图像G(z);生成对抗网络由生成器和鉴别器组成,生成器是用来生成图像的,是生成对抗网络的一个组件;
步骤5.2.2,鉴别器接收真实图像x和假图像G(z),并通过前向传播计算输出D(x)和D(G(z)),D(x)和D(G(z))分别表示对真实图像的判别结果和对假图像的判别结果,取值均为[0,1];
步骤5.2.3,进行鉴别器损失函数计算,其中鉴别器的损失函数使用对数损失函数LD,公式为:损失函数LD取值范围为[0,+∞),其中E表示期望,x~pdata(x)表示真实图像x服从真实数据分布pdata(x),z~pz(z)表示随机噪声z服从噪声分布pz(z);鉴别器的目标是最小化损失函数LD的值,即最大化对真实数据的识别率和对生成数据的拒绝率;
步骤5.2.4,进行生成器损失函数计算,其中生成器的损失函数使用对数损失函数LG,公式为:该损失函数LG取值范围为[0,+∞),生成器的目标是最小化损失函数LG的值,即最大化生成图像被鉴别器认为是真实图像的概率。
8.根据权利要求7所述的方法,其特征在于,步骤5.3包括:
步骤5.3.1,固定生成器的网络参数权重wG,保持生成器不变,根据鉴别器的损失函数LD,使用反向传播方法计算梯度 并通过梯度下降方法根据鉴别器学习率lrD更新鉴别器的权重参数wD,计算公式为:然后完成一次权重更新,并根据鉴别器更新频率ncritic的设置,重复以上操作ncritic次;
步骤5.3.2,固定鉴别器的网络参数权重wD,保持鉴别器不变,根据生成器的损失函数LG使用反向传播方法计算梯度 并使用梯度下降方法根据生成器学习率lrG更新生成器的权重wG,计算公式为:然后完成一次权重更新;
步骤5.3.3,优化候选操作架构参数权重W,每个候选操作的输出Output的计算公式为:其中X为输入特征图,tol为候选操作总数,Wi为第i个操作的架构参数权重,Oi(x)为第i个操作的输出;
使用链式法则计算损失函数L对每个候选操作权重Wi的梯度 使用梯度下降法更新候选操作架构参数权重:最终完成候选操作架构参数的优化;
步骤5.3.4,根据优化器设置,使用自适应矩估计算法对鉴别器和生成器的学习率进行动态调整:通过计算一阶矩和二阶矩的移动平均来更新参数,更新公式为:
其中θt代表当前的时间步需要更新的权重参数,lr是包括lrG、lrD、lrw的预设学习率,mt是当前梯度的指数加权移动平均,vt是当前梯度平方的指数加权移动平均,∈是常数;
步骤5.3.5,监控和记录训练过程中的感知相似度指数IS与弗雷歇距离FID,其中,IS用于评估生成图像的多样性和类间分离度,衡量生成图像的质量和多样性,FID衡量生成图像与真实图像在特征空间的相似度。
9.根据权利要求8所述的方法,其特征在于,步骤6中,采用梯度下降方式不断优化与调整网络权重参数和架构参数,使超网逐渐逼近最优性能;最终,根据架构参数权重的分布情况,选择权重最大的候选操作,构建出最优网络架构。
10.根据权利要求1~9任一项所述的方法实现的基于混合卷积操作的生成对抗网络架构搜索系统,其特征在于,包括:构建模块,用于构建生成对抗网络超网,并用0到1范围内的随机连续数值为超网内的每个操作赋予重要性权重,所述权重用于表示每个操作被选择作为最优操作的概率;
混合卷积模块,用于集成普通卷积操作与自注意力机制,获得一种同时融合了二者优点的新操作;
训练模块,用于使用训练数据及其标签训练超网的网络权重;
优化模块,用于使用梯度下降方法对超网架构参数进行优化。