利索能及
我要发布
收藏
专利号: 2021107182496
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,所述方法包括:获取内容图像以及参考图像;

将所述内容图像以及参考图像输入目标深度学习模型进行处理,得到目标图像,其中,所述目标图像的内容与所述内容图像的内容匹配,所述目标图像与所述参考图像的风格匹配;

其中,所述目标深度学习模型依次包括编码模型、空洞空间卷积池化金字塔ASPP、注意力模型以及解码模型,所述编码模型的输入包括所述内容图像以及所述参考图像,所述解码模型的输出为所述目标图像。

2.根据权利要求1所述的方法,其中,所述将所述内容图像以及参考图像输入目标深度学习模型进行处理,得到目标图像,包括:将所述内容图像以及参考图像输入所述编码模型进行编码,得到所述内容图像的第一特征图以及所述参考图像的第二特征图;

通过所述ASPP分别对所述第一特征图以及所述第二特征图进行处理,得到所述内容图像的N个第三特征图以及所述参考图像的N个第四特征图,N为大于1的整数,且所述N个第三特征图与所述N个第四特征图对应;

将所述N个第三特征图以及所述N个第四特征图输入所述注意力模型进行融合处理,得到融合特征图;

将所述融合特征图输入所述解码模型进行解码,得到所述目标图像。

3.根据权利要求2所述的方法,其中,所述注意力模型包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、逻辑回归层、第一拼接层、第二拼接层、第一矩阵点乘层、第二矩阵点乘层和第三矩阵点乘层;

其中,所述第一卷积层的输入包括所述N个第三特征图,所述第二卷积层的输入包括所述N个第三特征图,所述第三卷积层的输入包括所述N个第四特征图,所述第四卷积层的输入包括所述N个第四特征图,所述第一矩阵点乘层的输入包括所述第二卷积层的输出和第三卷积层的输出,所述逻辑回归层的输入包括所述第一矩阵点乘层的输出,所述第二矩阵点乘层的输入包括所述第一卷积层的输出以及所述逻辑回归层的输出,所述第三矩阵点乘层的输入包括所述第四卷积层的输出以及所述逻辑回归层的输出,所述第一拼接层的输入包括所述第二矩阵点乘层的输出以及所述第三矩阵点乘层的输出,所述第二拼接层的输入包括所述第一拼接层的N个输出,所述第二拼接层的输出包括所述融合特征图,所述解码模型的输入包括所述第二拼接层的输出,所述N个输出与所述N个第三特征图以及所述N个第四特征图对应。

4.根据权利要求3所述的方法,其中,所述N个第三特征图包括第一子特征图、M个第二子特征图和第三子特征图,所述N个第四特征图包括第四子特征图、M个第五子特征图和第六子特征图,所述N为所述M与2之和,所述M为正整数;

所述通过所述空洞空间卷积池化金字塔分别对所述第一特征图以及所述第二特征图进行处理,得到所述内容图像的N个第三特征图以及所述参考图像的N个第四特征图,包括:通过第一卷积核分别对所述第一特征图以及所述第二特征图进行卷积处理,得到所述第一子特征图以及所述第四子特征图,其中,所述第一子特征图以及所述第四子特征图输入所述注意力模型后得到所述N个输出中的一个输出;

通过M个空洞卷积核分别对所述第一特征图以及所述第二特征图进行卷积处理,得到所述M个第二子特征图以及所述M个第五子特征图,其中,所述M个空洞卷积核的采样率不同,任一第二子特征图与对应的第五子特征图输入所述注意力模型后得到所述N个输出中的一个输出;

对所述第一特征图以及所述第二特征图分别进行池化处理,得到第一池化图和第二池化图,并分别对所述第一池化层和所述第二池化层进行上采样处理,得到所述第三子特征图以及所述第六子特征图,其中,所述第三子特征图以及所述第六子特征图输入所述注意力模型后得到所述N个输出中的一个输出。

5.根据权利要求1所述的方法,其中,所述目标深度学习模型通过以下方式训练得到:获取内容训练图像集以及参考训练图像集;

根据所述内容训练图像集、所述参考训练图像集、所述内容训练图像集相关的内容损失函数以及所述参考训练图像集相关的参考损失函数对初始深度学习模型进行训练,得到所述目标深度学习模型。

6.一种图像处理装置,所述装置包括:获取模块,用于获取内容图像以及参考图像;

目标图像确定模块,用于将所述内容图像以及参考图像输入目标深度学习模型进行处理,得到目标图像,其中,所述目标图像的内容与所述内容图像的内容匹配,所述目标图像与所述参考图像的风格匹配;

其中,所述目标深度学习模型依次包括编码模型、空洞空间卷积池化金字塔ASPP、注意力模型以及解码模型,所述编码模型的输入包括所述内容图像以及所述参考图像,所述解码模型的输出为所述目标图像。

7.根据权利要求6所述的装置,其中,所述目标图像确定模块,包括:编码模块,将所述内容图像以及参考图像输入所述编码模型进行编码,得到所述内容图像的第一特征图以及所述参考图像的第二特征图;

特征图确定模块,用于通过所述ASPP分别对所述第一特征图以及所述第二特征图进行处理,得到所述内容图像的N个第三特征图以及所述参考图像的N个第四特征图,N为大于1的整数,且所述N个第三特征图与所述N个第四特征图对应;

融合模块,用于将所述N个第三特征图以及所述N个第四特征图输入所述注意力模型进行融合处理,得到融合特征图;

解码模块,用于将所述融合特征图输入所述解码模型进行解码,得到所述目标图像。

8.根据权利要求7所述的装置,其中,所述注意力模型包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、逻辑回归层、第一拼接层、第二拼接层、第一矩阵点乘层、第二矩阵点乘层和第三矩阵点乘层;

其中,所述第一卷积层的输入包括所述N个第三特征图,所述第二卷积层的输入包括所述N个第三特征图,所述第三卷积层的输入包括所述N个第四特征图,所述第四卷积层的输入包括所述N个第四特征图,所述第一矩阵点乘层的输入包括所述第二卷积层的输出和第三卷积层的输出,所述逻辑回归层的输入包括所述第一矩阵点乘层的输出,所述第二矩阵点乘层的输入包括所述第一卷积层的输出以及所述逻辑回归层的输出,所述第三矩阵点乘层的输入包括所述第四卷积层的输出以及所述逻辑回归层的输出,所述第一拼接层的输入包括所述第二矩阵点乘层的输出以及所述第三矩阵点乘层的输出,所述第二拼接层的输入包括所述第一拼接层的N个输出,所述第二拼接层的输出包括所述融合特征图,所述解码模型的输入包括所述第二拼接层的输出,所述N个输出与所述N个第三特征图以及所述N个第四特征图对应。

9.根据权利要求8所述的装置,其中,所述N个第三特征图包括第一子特征图、M个第二子特征图和第三子特征图,所述N个第四特征图包括第四子特征图、M个第五子特征图和第六子特征图,所述N为所述M与2之和,所述M为正整数;

所述特征图确定模块,包括:

第一卷积模块,用于通过第一卷积核分别对所述第一特征图以及所述第二特征图进行卷积处理,得到所述第一子特征图以及所述第四子特征图,其中,所述第一子特征图以及所述第四子特征图输入所述注意力模型后得到所述N个输出中的一个输出;

第二卷积模块,用于通过M个空洞卷积核分别对所述第一特征图以及所述第二特征图进行卷积处理,得到所述M个第二子特征图以及所述M个第五子特征图,其中,所述M个空洞卷积核的采样率不同,任一第二子特征图与对应的第五子特征图输入所述注意力模型后得到所述N个输出中的一个输出;

池化模块,用于对所述第一特征图以及所述第二特征图分别进行池化处理,得到第一池化图和第二池化图,并分别对所述第一池化层和所述第二池化层进行上采样处理,得到所述第三子特征图以及所述第六子特征图,其中,所述第三子特征图以及所述第六子特征图输入所述注意力模型后得到所述N个输出中的一个输出。

10.根据权利要求6所述的装置,其中,所述目标深度学习模型通过以下方式训练得到:获取内容训练图像集以及参考训练图像集;

根据所述内容训练图像集、所述参考训练图像集、所述内容训练图像集相关的内容损失函数以及所述参考训练图像集相关的参考损失函数对初始深度学习模型进行训练,得到所述目标深度学习模型。

11.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5任一所述的图像处理方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑5任一所述的图像处理方法。

13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑5中任一所述的图像处理方法。