1.一种局部生成人脸定位方法,其特征在于,所述方法包括:获取待定位人脸图像;
将所述待定位人脸图像输入至训练好的局部生成人脸图像定位网络中,对所述待定位人脸图像的局部生成区域进行定位分析,输出所述待定位人脸图像的第一定位预测结果;
所述局部生成人脸图像定位网络的训练方式,包括:
获取局部生成人脸图像样本集,所述局部生成人脸图像样本集中的局部生成人脸图像样本包括:包含局部生成区域的人脸图像和对应的二值化的真实标签图像;
将所述局部生成人脸图像集划分为训练图像集和测试图像集;
初始化融合了RRU‑Net和去噪操作模块的局部生成人脸定位网络,并按照正态分布随机初始化所述局部生成人脸定位网络中的参数;
利用所述训练图像集对所述局部生成人脸定位网络进行训练操作,获得初步训练好的局部生成人脸图像定位网络;
利用所述测试图像集对所述初步训练好的局部生成人脸图像定位网络中进行测试,当所述初步训练好的局部生成人脸图像定位网络满足预设要求时,获得训练好的局部生成人脸图像定位网络;
所述初始化融合了RRU‑Net和去噪操作模块的局部生成人脸定位网络依次包括:第一卷积组、第二卷积组、第三卷积组、第四卷积组、第五卷积组、第一反卷积组、第二反卷积组、第三反卷积组和第四反卷积组;
所述第一卷积组、所述第二卷积组、所述第三卷积组和所述第四卷积组的输出,分别与所述第一反卷积组、所述第二反卷积组、所述第三反卷积组、所述第四反卷积组的输入融合,形成跳跃结构;
所述第三卷积组、所述第四卷积组、所述第五卷积组、所述第一反卷积组和所述第二反卷积组的组与组之间,设置了去噪操作模块;
所述局部生成人脸定位网络的执行过程包括:
输入待预测图像,使用所述第一卷积组中的环状残差块对输入的所述待预测图像进行卷积,得到第一特征图;
所述第一特征图经过池化窗口为2×2的最大池化层池化,得到第二特征图;
将所述第二特征图输入所述第二卷积组中的环状残差块进行卷积,得到第三特征图;
所述第三特征图经过池化窗口为2×2的最大池化层池化,得到第四特征图;
将所述第四特征图输入所述第三卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块对进行噪声操作,得到第五特征图;
所述第五特征图经过池化窗口为2×2的最大池化层池化,得到第六特征图;
将所述第六特征图输入所述第四卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作,得到第七特征图;
所述第七特征图经过池化窗口为2×2的最大池化层池化,得到第八特征图;
将所述第八特征图输入所述第五卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作,得到第八特征图;
对所述第八特征图进行反卷积后,并与所述第六特征图进行特征融合,获得第九特征图;
所述第九特征图通过所述第一反卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作,得到第十特征图;
对所述第十特征图进行反卷积后,与所述第四特征图进行特征图融合,得到第十一特征图;
所述第十一特征图通过所述第二反卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作得到第十二特征图;
对所述第十二特征图进行反卷积后,与所述第二特征图进行特征图融合,得到第十三特征图;
所述第十三特征图通过所述第三反卷积组中的环状残差块进行卷积,得到第十四特征图;
对所述第十四特征图进行反卷积后,与所述待预测图像进行特征图融合,得到第十五特征图;
所述第十五特征图通过所述第四反卷积组中的环状残差块进行卷积后,输出所述待预测图像的每个像素点的局部生成人脸定位预测结果;
所述环状残差块包括残差传播块和反馈块;
所述残差传播块表示为:
*
vf=f(z,{wi})+wszp
其中,zp为所建立残差传播块的输入,vf为所建立残差传播块的输出,f(z,{wi})为卷积操作,wi为所述残差传播块的第i层卷积的权重,表示学习的残差图,i∈1、2……n,n为所述残差传播块中卷积层的总层数,ws为一个线性变换,使前后两项维度相匹配;
在所述反馈块中,添加了注意力机制来学习不同特征通道之间的交互作用,所述反馈块表示为:zb=(s(G(v))+1)*zq
其中,zq为所建立反馈块的输入,v为残差传播块的输出,zb为增强后的输入,G为一个线性映射,用于网络维度的统一,s为门控制激活函数。
2.根据权利要求1所述的方法,其特征在于,所述利用所述训练图像集对所述局部生成人脸定位网络进行训练操作,获得初步训练好的局部生成人脸图像定位网络的步骤,包括:将所述训练图像集中包含局部生成区域的人脸图像,输入至所述局部生成人脸定位网络进行局部生成区域定位预测,输出第二定位预测结果;
对所述第二定位预测结果与所述训练图像集中的真实标签图像之间的误差进行计算,获得第一误差值;
根据所述第一误差值判断所述局部生成人脸定位网络是否满足精度要求;
当所述局部生成人脸定位网络不满足精度要求时,调整所述局部生成人脸定位网络的参数,返回根据预设的训练过程,将所述训练图像集中包含局部生成区域的人脸图像,输入至所述局部生成人脸定位网络进行局部生成区域定位预测,输出第二定位预测结果的步骤;
当所述局部生成人脸定位网络满足精度要求时,获得初步训练好的局部生成人脸图像定位网络。
3.根据权利要求1所述的方法,其特征在于,所述利用所述测试图像集对所述初步训练好的局部生成人脸图像定位网络中进行测试,当所述初步训练好的局部生成人脸图像定位网络满足预设要求时,获得训练好的局部生成人脸图像定位网络的步骤,包括:将所述测试图像集中包含局部生成区域的人脸图像,输入至所述初步训练好的局部生成人脸定位网络进行局部生成区域定位预测,输出第三定位预测结果;
对所述第三定位预测结果与所述测试图像集中的真实标签图像之间的误差进行计算,获得第二误差值;
根据所述第二误差值判断所述初步训练好的局部生成人脸定位网络是否满足预设要求;
当所述初步训练好的局部生成人脸定位网络不满足预设要求时,返回根据预设的训练过程,利用所述训练图像集对所述局部生成人脸定位网络进行训练操作,获得初步训练好的局部生成人脸图像定位网络的步骤;
当所述初步训练好的局部生成人脸定位网络满足预设要求时,获得训练好的局部生成人脸图像定位网络。
4.根据权利要求1所述的方法,其特征在于,所述噪声操作模块包括具有去噪操作功能的Non‑local均值,对所有空间位置的特征进行加权平均,得到去噪后的特征图,所述Non‑local均值的公式表示为:其中,x为待去噪操作的特征图,x={x1,x2,…,xm},Γ={1,2,...,m},m为待去噪操作的特征图的像素位总数,f(xk,xj)为特征加权函数,C(x)为归一化函数,xk为待去噪操作的特征图的第k个像素位对应的值,xj为待去噪操作的特征图的第j个像素位对应的值,yk为待去噪操作的特征图的第k个像素位对应的值进行去噪操作后的值;
f(xk,xj)为高斯函数:
其中,θ(xk)是xk乘以权值后的嵌入版本,φ(xj)是xj乘以权值后的嵌入版本,通过1×1卷积获取,d是通道数,e为自然对数的底数,是一个无限不循环小数。
5.一种局部生成人脸定位装置,其特征在于,所述装置包括:图像获取模块,用于获取待定位人脸图像;
定位预测模块,用于将所述待定位人脸图像输入至训练好的局部生成人脸图像定位网络中,对所述待定位人脸图像的局部生成区域进行定位分析,输出所述待定位人脸图像的第一定位预测结果;
所述局部生成人脸图像定位网络的训练方式,包括:
获取局部生成人脸图像样本集,所述局部生成人脸图像样本集中的局部生成人脸图像样本包括:包含局部生成区域的人脸图像和对应的二值化的真实标签图像;
将所述局部生成人脸图像集划分为训练图像集和测试图像集;
初始化融合了RRU‑Net和去噪操作模块的局部生成人脸定位网络,并按照正态分布随机初始化所述局部生成人脸定位网络中的参数;
利用所述训练图像集对所述局部生成人脸定位网络进行训练操作,获得初步训练好的局部生成人脸图像定位网络;
利用所述测试图像集对所述初步训练好的局部生成人脸图像定位网络中进行测试,当所述初步训练好的局部生成人脸图像定位网络满足预设要求时,获得训练好的局部生成人脸图像定位网络;
所述初始化融合了RRU‑Net和去噪操作模块的局部生成人脸定位网络依次包括:第一卷积组、第二卷积组、第三卷积组、第四卷积组、第五卷积组、第一反卷积组、第二反卷积组、第三反卷积组和第四反卷积组;
所述第一卷积组、所述第二卷积组、所述第三卷积组和所述第四卷积组的输出,分别与所述第一反卷积组、所述第二反卷积组、所述第三反卷积组、所述第四反卷积组的输入融合,形成跳跃结构;
所述第三卷积组、所述第四卷积组、所述第五卷积组、所述第一反卷积组和所述第二反卷积组的组与组之间,设置了去噪操作模块;
所述局部生成人脸定位网络的执行过程包括:
输入待预测图像,使用所述第一卷积组中的环状残差块对输入的所述待预测图像进行卷积,得到第一特征图;
所述第一特征图经过池化窗口为2×2的最大池化层池化,得到第二特征图;
将所述第二特征图输入所述第二卷积组中的环状残差块进行卷积,得到第三特征图;
所述第三特征图经过池化窗口为2×2的最大池化层池化,得到第四特征图;
将所述第四特征图输入所述第三卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块对进行噪声操作,得到第五特征图;
所述第五特征图经过池化窗口为2×2的最大池化层池化,得到第六特征图;
将所述第六特征图输入所述第四卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作,得到第七特征图;
所述第七特征图经过池化窗口为2×2的最大池化层池化,得到第八特征图;
将所述第八特征图输入所述第五卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作,得到第八特征图;
对所述第八特征图进行反卷积后,并与所述第六特征图进行特征融合,获得第九特征图;
所述第九特征图通过所述第一反卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作,得到第十特征图;
对所述第十特征图进行反卷积后,与所述第四特征图进行特征图融合,得到第十一特征图;
所述第十一特征图通过所述第二反卷积组中的环状残差块进行卷积后,输出至对应的噪声操作模块进行噪声操作得到第十二特征图;
对所述第十二特征图进行反卷积后,与所述第二特征图进行特征图融合,得到第十三特征图;
所述第十三特征图通过所述第三反卷积组中的环状残差块进行卷积,得到第十四特征图;
对所述第十四特征图进行反卷积后,与所述待预测图像进行特征图融合,得到第十五特征图;
所述第十五特征图通过所述第四反卷积组中的环状残差块进行卷积后,输出所述待预测图像的每个像素点的局部生成人脸定位预测结果;
所述环状残差块包括残差传播块和反馈块;
所述残差传播块表示为:
vf=f(z,{wi})+ws*zp
其中,zp为所建立残差传播块的输入,vf为所建立残差传播块的输出,f(z,{wi})为卷积操作,wi为所述残差传播块的第i层卷积的权重,表示学习的残差图,i∈1、2……n,n为所述残差传播块中卷积层的总层数,ws为一个线性变换,使前后两项维度相匹配;
在所述反馈块中,添加了注意力机制来学习不同特征通道之间的交互作用,所述反馈块表示为:zb=(s(G(v))+1)*zq
其中,zq为所建立反馈块的输入,v为残差传播块的输出,zb为增强后的输入,G为一个线性映射,用于网络维度的统一,s为门控制激活函数。
6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。