利索能及
我要发布
收藏
专利号: 2021111570865
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,包括:获取待处理人脸图像,并将所述待处理人脸图像切割为多个图像块;

确定所述待处理人脸图像中各图像块的重要性信息;

获取预设的视觉转换模型的剪枝率;

将所述多个图像块输入至所述视觉转换模型,并根据所述剪枝率和所述各图像块的重要性信息,对所述视觉转换模型之中每层网络的输入进行剪枝处理,获得所述视觉转换模型的输出结果;

根据所述视觉转换模型的输出结果,确定所述待处理人脸图像的特征向量。

2.根据权利要求1所述的方法,其中,所述确定所述待处理人脸图像中各图像块的重要性信息,包括:

将多张人脸图像样本输入至所述视觉转换模型,得到各层网络输出的每张人脸图像样本对应的注意力矩阵;

将得到的所有注意力矩阵进行合并,获得各图像块样本的权重;

根据所述各图像块样本的权重,确定所述待处理人脸图像中各图像块的重要性信息。

3.根据权利要求1所述的方法,其中,所述根据所述剪枝率和所述各图像块的重要性信息,对所述视觉转换模型之中每层网络的输入进行剪枝处理,包括:根据所述剪枝率,确定每层网络的图像块剪枝数量;

根据所述各图像块的重要性信息和所述每层网络的图像块剪枝数量,确定所述多个图像块中在每层网络的待剪枝图像块;

针对每层网络的输入特征,对所述输入特征中的待剪枝图像块的特征进行裁剪,并将所述裁剪后得到的特征输入至当前层网络。

4.根据权利要求1所述的方法,其中,所述将所述多个图像块输入至所述视觉转换模型,并根据所述剪枝率和所述各图像块的重要性信息,对所述视觉转换模型之中每层网络的输入进行剪枝处理,包括:

根据所述各图像块的重要性信息,对所述各图像块进行排序;

将所述各图像块及所述各图像块的排序结果输入至所述视觉转换模型;

根据所述剪枝率,确定每层网络的图像块剪枝数量;

针对每层网络的输入特征,根据所述各图像块的排序结果,在所述输入特征中裁剪掉所述图像块剪枝数量的图像块对应的特征,并将所述裁剪后得到的特征输入至当前层网络。

5.根据权利要求1所述的方法,其中,所述视觉转换模型包括N层网络,所述N为大于1的整数;所述根据所述剪枝率和所述各图像块的重要性信息,对所述视觉转换模型之中每层网络的输入进行剪枝处理,包括:根据所述剪枝率,确定第i层网络的图像块剪枝数量;其中,所述i大于0且小于或等于N‑1的整数;

根据所述各图像块的重要性信息和所述第i层网络的图像块剪枝数量,确定所述多个图像块中在所述第i层网络的待剪枝图像块;

针对第i层网络的输入特征,对所述输入特征中的待剪枝图像块的特征进行裁剪,并将所述裁剪后得到的特征输入至第i层网络;

针对第N层网络的输入特征,将所述输入特征与所有被裁剪掉的图像块的特征进行拼接,并将拼接处理后得到的特征输入至第N层网络。

6.一种人脸识别模型训练方法,所述人脸识别模型中包括视觉转换模型,所述方法包括:

获取人脸图像样本,并将所述人脸图像样本切割为多个图像块;

确定所述人脸图像样本中各图像块的重要性信息;

获取所述视觉转换模型的剪枝率;

将所述多个图像块输入至所述视觉转换模型,并根据所述剪枝率和所述各图像块的重要性信息,对所述视觉转换模型之中每层网络的输入进行剪枝处理,获得所述视觉转换模型的输出结果;

根据所述视觉转换模型的输出结果,确定所述人脸图像样本的特征向量,并根据所述特征向量获取人脸识别结果;

根据所述人脸识别结果训练所述人脸识别模型。

7.一种图像处理装置,包括:第一获取模块,用于获取待处理人脸图像,并将所述待处理人脸图像切割为多个图像块;

第一确定模块,用于确定所述待处理人脸图像中各图像块的重要性信息;

第二获取模块,用于获取视觉转换模型的剪枝率;

剪枝模块,用于将所述多个图像块输入至所述视觉转换模型,并根据所述剪枝率和所述各图像块的重要性信息,对所述视觉转换模型之中每层网络的输入进行剪枝处理,获得所述视觉转换模型的输出结果;

第二确定模块,用于根据所述视觉转换模型的输出结果,确定所述待处理人脸图像的特征向量。

8.根据权利要求7所述的装置,其中,所述第一确定模块具体用于:将多张人脸图像样本输入至所述视觉转换模型,得到各层网络输出的每张人脸图像样本对应的注意力矩阵;

将得到的所有注意力矩阵进行合并,获得各图像块样本的权重;

根据所述各图像块样本的权重,确定所述待处理人脸图像中各图像块的重要性信息。

9.根据权利要求7所述的装置,其中,所述剪枝模块具体用于:根据所述剪枝率,确定每层网络的图像块剪枝数量;

根据所述各图像块的重要性信息和所述每层网络的图像块剪枝数量,确定所述多个图像块中在每层网络的待剪枝图像块;

针对每层网络的输入特征,对所述输入特征中的待剪枝图像块的特征进行裁剪,并将所述裁剪后得到的特征输入至当前层网络。

10.根据权利要求7所述的装置,其中,所述剪枝模块具体用于:根据所述各图像块的重要性信息,对所述各图像块进行排序;

将所述各图像块及所述各图像块的排序结果输入至所述视觉转换模型;

根据所述剪枝率,确定每层网络的图像块剪枝数量;

针对每层网络的输入特征,根据所述各图像块的排序结果,在所述输入特征中裁剪掉所述图像块剪枝数量的图像块对应的特征,并将所述裁剪后得到的特征输入至当前层网络。

11.根据权利要求7所述的装置,其中,所述视觉转换模型包括N层网络,所述N为大于1的整数;所述剪枝模块具体用于:根据所述剪枝率,确定第i层网络的图像块剪枝数量;其中,所述i大于0且小于或等于N‑1的整数;

根据所述各图像块的重要性信息和所述第i层网络的图像块剪枝数量,确定所述多个图像块中在所述第i层网络的待剪枝图像块;

针对第i层网络的输入特征,对所述输入特征中的待剪枝图像块的特征进行裁剪,并将所述裁剪后得到的特征输入至第i层网络;

针对第N层网络的输入特征,将所述输入特征与所有被裁剪掉的图像块的特征进行拼接,并将拼接处理后得到的特征输入至所述第N层网络。

12.一种人脸识别模型的训练装置,所述人脸识别模型包括视觉转换模型包括:第一获取模块,用于获取人脸图像样本,并将所述人脸图像样本切割为多个图像块;

第一确定模块,用于确定所述人脸图像样本中各图像块的重要性信息;

第二获取模块,用于获取所述视觉转换模型的剪枝率;

剪枝模块,用于将所述多个图像块输入至所述视觉转换模型,并根据所述剪枝率和所述各图像块的重要性信息,对所述视觉转换模型之中每层网络的输入进行剪枝处理,获得所述视觉转换模型的输出结果;

第二确定模块,用于根据所述视觉转换模型的输出结果,确定所述人脸图像样本的特征向量,并根据所述特征向量获取人脸识别结果;

训练模块,用于根据所述人脸识别结果训练所述人脸识别模型。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5中任一项所述的方法,和/或,执行权利要求6所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑5中任一项所述的方法,和/或,执行权利要求6所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑5中任一项所述的方法,和/或,实现权利要求6所述的方法。