利索能及
我要发布
收藏
专利号: 2018116474858
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,其特征在于,包括:

获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像,其中,所述第一目标区域图像是从双目摄像头的第一图像传感器采集到的第一图像中截取的,所述第二目标区域图像是从所述双目摄像头的第二图像传感器采集到的第二图像中截取的;所述获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像,包括:获取所述双目摄像头中的第一图像传感器采集的第一图像和所述双目摄像头中的第二图像传感器采集的第二图像;对所述第一图像和所述第二图像分别进行目标检测,得到第一目标区域图像和第二目标区域图像;

对所述第一目标区域图像和所述第二目标区域图像进行处理,确定所述第一目标区域图像和所述第二目标区域图像之间的视差;

基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差,得到所述第一图像和所述第二图像之间的视差预测结果;所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差,得到所述第一图像和所述第二图像之间的视差预测结果,包括:将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述视差相加,得到所述第一图像和所述第二图像之间的视差预测结果。

2.根据权利要求1所述的方法,其特征在于,所述获取目标对象的第一目标区域图像,包括:对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测,得到第一候选区域;

对所述第一候选区域的图像进行关键点检测,得到关键点信息;

基于所述关键点信息,从所述第一图像中截取第一目标区域图像。

3.根据权利要求1或2所述的方法,其特征在于,所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。

4.根据权利要求1所述的方法,其特征在于,所述对所述第一目标区域图像和所述第二目标区域图像进行处理,确定所述第一目标区域图像和所述第二目标区域图像之间的视差,包括:将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理,得到所述第一目标区域图像和所述第二目标区域图像之间的视差。

5.根据权利要求1所述的方法,其特征在于,在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差,得到所述第一图像和所述第二图像之间的视差预测结果之前,所述方法还包括:基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置,确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。

6.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

基于所述第一图像和所述第二图像的视差预测结果,确定所述目标对象的深度信息;

基于所述目标对象的深度信息,确定活体检测结果。

7.根据权利要求1或2所述的方法,其特征在于,所述双目摄像头包括同模态双目摄像头和跨模态双目摄像头中的一种。

8.根据权利要求1或2所述的方法,其特征在于,所述第一图像传感器或所述第二图像传感器包括如下图像传感器中的其中一种:可见光图像传感器、近红外图像传感器、双通图像传感器。

9.根据权利要求1或2所述的方法,其特征在于,

所述目标对象包括人脸。

10.一种图像处理方法,其特征在于,包括:

获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像,其中,所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的,所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的;所述获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像,包括:获取所述第一时刻对图像采集区域采集到的第一图像和所述第二时刻对所述图像采集区域采集到的第二图像;对所述第一图像和所述第二图像分别进行目标检测,得到第一目标区域图像和第二目标区域图像;

对所述第一目标区域图像和所述第二目标区域图像进行处理,确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息;

基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息,得到所述第一图像和所述第二图像之间的光流信息预测结果;所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息,得到所述第一图像和所述第二图像之间光流信息预测结果,包括:将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述光流信息相加,得到所述第一图像和所述第二图像之间的光流信息预测结果。

11.根据权利要求10所述的方法,其特征在于,所述获取目标对象的第一目标区域图像,包括:对所述第一时刻对图像采集区域采集到的第一图像进行目标检测,得到第一候选区域;

对所述第一候选区域的图像进行关键点检测,得到关键点信息;

基于所述关键点信息,从所述第一图像中截取第一目标区域图像。

12.根据权利要求10或11所述的方法,其特征在于,所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。

13.根据权利要求10所述的方法,其特征在于,所述对所述第一目标区域图像和所述第二目标区域图像进行处理,确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息,包括:将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理,得到所述第一目标区域图像和所述第二目标区域图像之间的光流信息。

14.根据权利要求10所述的方法,其特征在于,在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息,得到所述第一图像和所述第二图像之间的光流信息预测结果之前,所述方法还包括:基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置,确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。

15.一种图像处理装置,其特征在于,包括:

获取单元,用于获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像,其中,所述第一目标区域图像是从双目摄像头的第一图像传感器采集到的第一图像中截取的,所述第二目标区域图像是从所述双目摄像头的第二图像传感器采集到的第二图像中截取的;

所述获取单元用于:获取所述双目摄像头中的第一图像传感器采集的第一图像和所述双目摄像头中的第二图像传感器采集的第二图像;对所述第一图像和所述第二图像分别进行目标检测,得到第一目标区域图像和第二目标区域图像;

第一确定单元,用于对所述第一目标区域图像和所述第二目标区域图像进行处理,确定所述第一目标区域图像和所述第二目标区域图像之间的视差;

第二确定单元,用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差,得到所述第一图像和所述第二图像之间的视差预测结果;

所述第二确定单元用于,将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述视差相加,得到所述第一图像和所述第二图像之间的视差预测结果。

16.根据权利要求15所述的装置,其特征在于,所述获取单元包括目标检测单元,关键点检测单元,截取单元,所述目标检测单元,用于对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测,得到第一候选区域;

所述关键点检测单元,用于对所述第一候选区域的图像进行关键点检测,得到关键点信息;

所述截取单元,用于基于所述关键点信息,从所述第一图像中截取第一目标区域图像。

17.根据权利要求15或16所述的装置,其特征在于,所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。

18.根据权利要求15所述的装置,其特征在于,所述第一确定单元用于,将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理,得到所述第一目标区域图像和所述第二目标区域图像之间的视差。

19.根据权利要求15所述的装置,其特征在于,所述装置还包括位移确定单元,所述位移确定单元用于,在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差,得到所述第一图像和所述第二图像之间的视差预测结果之前,基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置,确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。

20.根据权利要求15或16所述的装置,其特征在于,所述装置还包括深度信息确定单元和活体检测确定单元,所述深度信息确定单元,用于基于所述第一图像和所述第二图像的视差预测结果,确定所述目标对象的深度信息;

所述活体检测确定单元,用于基于所述目标对象的深度信息,确定活体检测结果。

21.根据权利要求15或16所述的装置,其特征在于,所述双目摄像头包括同模态双目摄像头和跨模态双目摄像头中的一种。

22.根据权利要求15或16所述的装置,其特征在于,所述第一图像传感器或所述第二图像传感器包括如下图像传感器中的其中一种:可见光图像传感器、近红外图像传感器、双通图像传感器。

23.根据权利要求15或16所述的装置,其特征在于,

所述目标对象包括人脸。

24.一种图像处理装置,其特征在于,包括:

获取单元,用于获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像,其中,所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的,所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的;

所述获取单元用于:获取所述第一时刻对图像采集区域采集到的第一图像和所述第二时刻对所述图像采集区域采集到的第二图像;对所述第一图像和所述第二图像分别进行目标检测,得到第一目标区域图像和第二目标区域图像;

第一确定单元,用于对所述第一目标区域图像和所述第二目标区域图像进行处理,确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息;

第二确定单元,用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息,得到所述第一图像和所述第二图像之间的光流信息预测结果;

所述第二确定单元用于,将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述光流信息相加,得到所述第一图像和所述第二图像之间的光流信息预测结果。

25.根据权利要求24所述的装置,其特征在于,所述获取单元包括目标检测单元,关键点检测单元,截取单元,所述目标检测单元,用于对所述第一时刻对图像采集区域采集到的第一图像进行目标检测,得到第一候选区域;

所述关键点检测单元,用于对所述第一候选区域的图像进行关键点检测,得到关键点信息;

所述截取单元,用于基于所述关键点信息,从所述第一图像中截取第一目标区域图像。

26.根据权利要求24或25所述的装置,其特征在于,所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。

27.根据权利要求24所述的装置,其特征在于,所述第一确定单元用于,将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理,得到所述第一目标区域图像和所述第二目标区域图像之间的光流信息。

28.根据权利要求24所述的装置,其特征在于,所述装置还包括位移确定单元,所述位移确定单元用于,在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息,得到所述第一图像和所述第二图像之间的光流信息预测结果之前,基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置,确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。

29.一种电子设备,其特征在于,包括:

处理器;

用于存储计算机可读指令的存储器;

其中,所述处理器用于调用所述存储器存储的计算机可读指令,以执行权利要求1‑14中任一项所述的方法。

30.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1‑14中任一项所述的方法。