利索能及
我要发布
收藏
专利号: 2018112505467
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种跨光谱图像匹配方法,其特征在于,所述方法包括:将光谱不同的两个待匹配图像输入对抗学习模型进行处理,生成与对方光谱相同的两个转换图像;

将同光谱的待匹配图像和转换图像组合,得到图像对;

将所述图像对输入视差检测模型进行处理,得到各所述待匹配图像的视差,根据各所述待匹配图像的视差进行所述两个待匹配图像之间的匹配。

2.根据权利要求1所述的方法,其特征在于,所述对抗学习模型包括图像生成子模型,图像生成子模型包括特征空间子模块、第一转换子模块和第二转换子模块,所述将光谱不同的两个待匹配图像输入对抗学习模型进行处理,生成与对方光谱相同的两个转换图像,包括:

将第一待匹配图像和第二待匹配图像输入所述特征空间子模块,得到所述第一待匹配图像的第一特征和所述第二待匹配图像的第二特征,所述第一待匹配图像和所述第二待匹配图像的光谱不同;

将所述第一特征输入所述第一转换子模块,得到所述第一待匹配图像的第一转换图像,将所述第二特征输入所述第二转换子模块,得到所述第二待匹配图像的第二转换图像,所述第一转换图像与所述第二待匹配图像的光谱相同,所述第二转换图像与所述第一待匹配图像的光谱相同。

3.根据权利要求2所述的方法,其特征在于,所述对抗学习模型还包括分类子模型,所述对抗学习模型和所述视差检测模型的训练过程包括:将样本图像输入所述图像生成子模型得到第一输出结果,将所述样本图像和所述第一输出结果输入所述分类子模型得到第二输出结果,根据所述第二输出结果和所述样本图像完成所述分类子模型的训练;

将所述样本图像输入图像生成子模型得到第三输出结果,将所述第三输出结果输入完成训练的所述分类子模型得到第四输出结果,根据所述第四输出结果完成所述图像生成子模型的第一次训练;

将所述样本图像输入完成第一次训练的所述图像生成子模型得到第五输出结果,将所述样本图像和所述第五输出结果输入所述视差检测模型得到第六输出结果,根据所述第六输出结果和所述样本图像完成所述视差检测模型的训练;

将所述样本图像输入完成第一次训练的所述图像生成子模型得到第七输出结果,将所述样本图像和所述第七输出结果输入完成训练的所述视差检测模型得到第八输出结果,根据所述第八输出结果和所述样本图像完成所述图像生成子模型的第二次训练。

4.根据权利要求3所述的方法,其特征在于,所述图像生成子模型的第一次训练过程包括:

将第一样本图像和第二样本图像输入图像生成子模型,生成所述第一样本图像的第一循环图像、所述第一样本图像的第一重构图像,所述第一样本图像的第一样本转换图像、所述第二样本图像的第二循环图像、所述第二样本图像的第二重构图像和所述第二样本图像的第二样本转换图像;

将所述第一样本转换图像和所述第二样本转换图像输入分类子模型进行处理,得到第一样本转换图像的分类结果和第二样本转换图像的分类结果;

根据第一样本图像、第二样本图像、第一循环图像和第二循环图像确定循环一致性损失;根据第一样本图像、第二样本图像、第一重构图像和第二重构图像确定重构损失;根据第一样本图像、第二样本图像、第一样本转换图像的分类结果和第二样本转换图像的分类结果确定生成分类损失;

根据所述循环一致性损失、所述重构损失和所述生成分类损失得到图像生成损失;

向所述特征空间子模块、第一转换子模块和第二转换子模块反向传播所述图像生成损失的梯度,调整所述特征空间子模块、第一转换子模块和第二转换子模块的参数。

5.根据权利要求4所述的方法,其特征在于,所述将所述第一样本图像和第二样本图像输入图像生成子模型,生成所述第一样本图像的第一循环图像、所述第一样本图像的第一重构图像,所述第一样本图像的第一样本转换图像、所述第二样本图像的第二循环图像、所述第二样本图像的第二重构图像和所述第二样本图像的第二样本转换图像,包括:将第一样本图像和第二样本图像输入所述特征空间子模块,得到所述第一样本图像的第一光谱样本特征和所述第二样本图像的第二光谱样本特征;

将所述第一光谱样本特征输入所述第一转换子模块得到第一样本转换图像,将所述第二光谱样本特征输入第二转换子模块得到第二样本转换图像,将所述第一光谱样本特征输入所述第二转换子模块得到第一重构图像,将所述第二光谱样本特征输入第一转换子模块得到第二重构图像;

将所述第一样本转换图像和所述第二样本转换图像输入所述特征空间子模块,得到所述第一样本转换图像的第一光谱转换特征,和所述第二样本转换图像的第二光谱转换特征;

将所述第一光谱转换特征输入所述第二转换子模块得到第一循环图像,将所述第二光谱转换特征输入第一转换子模块得到第二循环图像。

6.根据权利要求4所述的方法,其特征在于,所述图像生成子模型的第二次训练过程包括:

根据所述第一样本图像和所述第一样本图像的视差生成第一辅助图像,根据所述第二样本图像和所述第二样本图像的视差生成第二辅助图像,根据第一辅助图像、第二辅助图像、第一样本转换图像和第二样本转换图像,确定辅助损失;

向所述图像生成子模型反向传播所述辅助损失的梯度,调整所述图像生成子模型的参数。

7.根据权利要求1‑6任一项所述的方法,其特征在于,所述光谱不同的两个待匹配图像为由双目摄像装置获取的两张光谱不同的人脸图像;

所述根据各所述待匹配图像的视差进行所述两个待匹配图像之间的匹配之后,还包括:

根据匹配结果进行人脸识别。

8.根据权利要求1‑6任一项所述的方法,其特征在于,所述光谱不同的两个待匹配图像为由行驶装置上配置的双目摄像装置获取的两张光谱不同的外部环境图像,所述外部环境图像为所述行驶装置的外部环境图像;

所述根据各所述待匹配图像的视差进行所述两个待匹配图像之间的匹配之后,还包括:

根据匹配结果进行所述行驶装置的自动驾驶。

9.一种跨光谱图像匹配装置,其特征在于,所述装置包括:转换图像生成模块,用于将光谱不同的两个待匹配图像输入对抗学习模型进行处理,生成与对方光谱相同的两个转换图像;

图像对生成模块,用于将同光谱的待匹配图像和转换图像组合,得到图像对;

图像匹配模块,用于将所述图像对输入视差检测模型进行处理,得到各所述待匹配图像的视差,根据各所述待匹配图像的视差进行所述两个待匹配图像之间的匹配。

10.根据权利要求9所述的装置,其特征在于,所述对抗学习模型包括图像生成子模型,图像生成子模型包括特征空间子模块、第一转换子模块和第二转换子模块,所述转换图像生成模块,包括:

特征提取子模块,用于将第一待匹配图像和第二待匹配图像输入所述特征空间子模块,得到所述第一待匹配图像的第一特征和所述第二待匹配图像的第二特征,所述第一待匹配图像和所述第二待匹配图像的光谱不同;

转换子模块,用于将所述第一特征输入所述第一转换子模块,得到所述第一待匹配图像的第一转换图像,将所述第二特征输入所述第二转换子模块,得到所述第二待匹配图像的第二转换图像,所述第一转换图像与所述第二待匹配图像的光谱相同,所述第二转换图像与所述第一待匹配图像的光谱相同。

11.根据权利要求10所述的装置,其特征在于,所述对抗学习模型还包括分类子模型,所述装置还包括训练模块,所述训练模块用于对所述对抗学习模型和所述视差检测模型进行训练,所述训练模块包括:

第一训练子模块,用于将样本图像输入所述图像生成子模型得到第一输出结果,将所述样本图像和所述第一输出结果输入所述分类子模型得到第二输出结果,根据所述第二输出结果和所述样本图像完成所述分类子模型的训练;

第二训练子模块,用于将所述样本图像输入图像生成子模型得到第三输出结果,将所述第三输出结果输入完成训练的所述分类子模型得到第四输出结果,根据所述第四输出结果完成所述图像生成子模型的第一次训练;

第三训练子模块,用于将所述样本图像输入完成第一次训练的所述图像生成子模型得到第五输出结果,将所述样本图像和所述第五输出结果输入所述视差检测模型得到第六输出结果,根据所述第六输出结果和所述样本图像完成所述视差检测模型的训练;

第四训练子模块,用于将所述样本图像输入完成第一次训练的所述图像生成子模型得到第七输出结果,将所述样本图像和所述第七输出结果输入完成训练的所述视差检测模型得到第八输出结果,根据所述第八输出结果和所述样本图像完成所述图像生成子模型的第二次训练。

12.根据权利要求11所述的装置,其特征在于,所述第二训练子模块,包括:图像生成子模块,用于将第一样本图像和第二样本图像输入图像生成子模型,生成所述第一样本图像的第一循环图像、所述第一样本图像的第一重构图像,所述第一样本图像的第一样本转换图像、所述第二样本图像的第二循环图像、所述第二样本图像的第二重构图像和所述第二样本图像的第二样本转换图像;

分类处理子模块,用于将所述第一样本转换图像和所述第二样本转换图像输入分类子模型进行处理,得到第一样本转换图像的分类结果和第二样本转换图像的分类结果;

第一损失子模块,用于根据第一样本图像、第二样本图像、第一循环图像和第二循环图像确定循环一致性损失;根据第一样本图像、第二样本图像、第一重构图像和第二重构图像确定重构损失;根据第一样本图像、第二样本图像、第一样本转换图像的分类结果和第二样本转换图像的分类结果确定生成分类损失;

第二损失子模块,用于根据所述循环一致性损失、所述重构损失和所述生成分类损失得到图像生成损失;

第一反向传播子模块,用于向所述特征空间子模块、第一转换子模块和第二转换子模块反向传播所述图像生成损失的梯度,调整所述特征空间子模块、第一转换子模块和第二转换子模块的参数。

13.根据权利要求12所述的装置,其特征在于,所述图像生成子模块,用于:将第一样本图像和第二样本图像输入所述特征空间子模块,得到所述第一样本图像的第一光谱样本特征和所述第二样本图像的第二光谱样本特征;

将所述第一光谱样本特征输入所述第一转换子模块得到第一样本转换图像,将所述第二光谱样本特征输入第二转换子模块得到第二样本转换图像,将所述第一光谱样本特征输入所述第二转换子模块得到第一重构图像,将所述第二光谱样本特征输入第一转换子模块得到第二重构图像;

将所述第一样本转换图像和所述第二样本转换图像输入所述特征空间子模块,得到所述第一样本转换图像的第一光谱转换特征,和所述第二样本转换图像的第二光谱转换特征;

将所述第一光谱转换特征输入所述第二转换子模块得到第一循环图像,将所述第二光谱转换特征输入第一转换子模块得到第二循环图像。

14.根据权利要求12所述的装置,其特征在于,所述第四训练子模块,包括:辅助图像生成子模块,用于根据所述第一样本图像和所述第一样本图像的视差生成第一辅助图像,根据所述第二样本图像和所述第二样本图像的视差生成第二辅助图像,辅助损失生成子模块,用于根据第一辅助图像、第二辅助图像、第一样本转换图像和第二样本转换图像,确定辅助损失;

第二反向传播子模块,用于向所述图像生成子模型反向传播所述辅助损失的梯度,调整所述图像生成子模型的参数。

15.根据权利要求9至12任一项所述的装置,其特征在于,所述光谱不同的两个待匹配图像为由双目摄像装置获取的两张光谱不同的人脸图像,所述装置还包括:人脸识别模块,用于根据匹配结果进行人脸识别。

16.根据权利要求9至12任一项所述的装置,其特征在于,所述光谱不同的两个待匹配图像为由行驶装置上配置的双目摄像装置获取的两张光谱不同的外部环境图像,所述外部环境图像为所述行驶装置的外部环境图像,所述装置包括:自动驾驶模块,用于根据匹配结果进行所述行驶装置的自动驾驶。

17.一种电子设备,其特征在于,包括:处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:执行权利要求1至8中任意一项所述的方法。

18.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。