利索能及
我要发布
收藏
专利号: 2019106463334
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种摄像机,其特征在于,所述摄像机包括图像处理装置和成像采集装置,所述图像处理装置包括神经网络平台单元和后处理平台单元,所述成像采集装置包括双峰滤光片和RGB‑IR成像传感器,通过所述双峰滤光片的入射光的波段范围包括第一波段范围和第二波段范围,所述第一波段范围用于通过可见光,所述第二波段范围用于通过红外光;

所述RGB‑IR成像传感器用于感应可见光和红外光,以得到RGB‑IR图像,所述成像采集装置还包括红外补光单元,所述红外补光单元用于在环境光照度低于照度阈值时进行红外补光;

所述神经网络平台单元用于通过神经网络模型对红绿蓝‑红外RGB‑IR图像进行插值,得到全分辨率RGB图像;

所述后处理平台单元,或者,所述神经网络平台单元和所述后处理平台单元,用于对所述全分辨率RGB图像进行处理,得到处理后的RGB图像,所述处理后的RGB图像为颜色正常的可见光图像;

其中,所述处理后的RGB图像是基于所述RGB‑IR图像中的IR信息对所述全分辨率RGB图像进行红外去除处理、并对红外去除处理之后的图像进行白平衡校正处理以及红外亮度补充处理得到的;

其中,所述红外去除处理是指:通过预先标定的去除红外矩阵或通过神经网络的方式进行红外去除处理,以消除所述RGB图像在三个通道上的不同红外分量,所述白平衡校正处理是指:根据去除红外前的图像中每个像素点的亮度值和亮度阈值之间的大小关系确定统计像素点,基于统计像素点对去除红外后的图像进行白平衡校正。

2.如权利要求1所述的摄像机,其特征在于,所述神经网络平台单元包括第一神经网络模型,所述第一神经网络模型包括通道提取网络层、图像插值网络层以及第一网络输出层;

所述通道提取网络层用于对所述RGB‑IR图像进行通道提取,得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像;

所述图像插值网络层用于将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值,得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像;

所述第一网络输出层用于将所述图像插值网络层输出的图像和所述初始IR通道图像进行拼接,以输出全分辨率RGB图像和初始IR通道图像。

3.如权利要求2所述的摄像机,其特征在于,所述后处理平台单元包括红外插值模块、红外去除模块和白平衡校正模块;

所述红外插值模块用于对所述初始IR通道图像进行插值,得到全分辨率IR图像;

所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像,将所述白平衡校正RGB图像作为所述处理后的RGB图像。

4.如权利要求2所述的摄像机,其特征在于,所述图像插值网络层还用于对所述初始IR通道图像进行插值,得到全分辨率IR图像;

所述第一网络输出层用于输出所述全分辨率RGB图像和所述全分辨率IR图像。

5.如权利要求4所述的摄像机,其特征在于,所述后处理平台单元包括红外去除模块和白平衡校正模块;

所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像,将所述白平衡校正RGB图像作为所述处理后的RGB图像。

6.如权利要求4所述的摄像机,其特征在于,所述图像插值网络层还用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

所述第一网络输出层用于输出所述去红外RGB图像。

7.如权利要求4所述的摄像机,其特征在于,所述神经网络平台单元包括第二神经网络模型,所述第二神经网络模型包括红外去除网络层和第二网络输出层;

所述红外去除网络层用于根据所述第一神经网络模型输出的所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

所述第二网络输出层用于输出所述去红外RGB图像。

8.如权利要求6或7所述的摄像机,其特征在于,所述后处理平台单元包括白平衡校正模块;

所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像,将所述白平衡校正RGB图像作为所述处理后的RGB图像。

9.如权利要求3、5和8中任一权利要求所述的摄像机,其特征在于,所述后处理平台单元还包括红外亮度补充模块;

所述红外亮度补充模块用于:

根据所述白平衡校正RGB图像中各个像素点的亮度、所述全分辨率RGB图像中各个像素点的亮度、确定补充红外权重图;

根据所述补充红外权重图和所述全分辨率IR图像,对所述白平衡校正RGB图像进行红外亮度补充,得到补充红外亮度RGB图像,将所述补充红外亮度RGB图像作为所述处理后的RGB图像。

10.如权利要求3、5和8中任一所述的摄像机,其特征在于,所述白平衡校正模块具体用于:对于所述去红外RGB图像中第一像素点,如果所述第一像素点在去除红外前的全分辨率RGB图像中的亮度值大于亮度阈值,则将所述第一像素点确定为用于白平衡校正的统计像素点,所述第一像素点为所述去红外RGB图像中的任一像素点;

根据确定出的用于白平衡校正的统计像素点,对所述去红外RGB图像进行白平衡校正,得到所述白平衡校正RGB图像。

11.一种图像处理方法,其特征在于,所述方法应用于摄像机,所述摄像机包括图像处理装置和成像采集装置,所述图像处理装置包括神经网络平台单元和后处理平台单元,所述成像采集装置包括双峰滤光片和RGB‑IR成像传感器,通过所述双峰滤光片的入射光的波段范围包括第一波段范围和第二波段范围,所述第一波段范围用于通过可见光,所述第二波段范围用于通过红外光;所述RGB‑IR成像传感器用于感应可见光和红外光,以得到RGB‑IR图像,所述成像采集装置还包括红外补光单元,所述红外补光单元用于在环境光照度低于照度阈值时进行红外补光;

所述方法包括:

获取红绿蓝‑红外RGB‑IR图像;

通过神经网络模型对红绿蓝‑红外RGB‑IR图像进行插值,得到全分辨率RGB图像;

对所述全分辨率RGB图像进行处理,得到处理后的RGB图像,所述处理后的RGB图像为颜色正常的可见光图像;

其中,所述处理后的RGB图像是通过所述神经网络平台单元和所述后处理平台单元,基于所述RGB‑IR图像中的IR信息对所述全分辨率RGB图像进行红外去除处理、并对红外去除处理之后的图像进行白平衡校正处理以及红外亮度补充处理得到的;

其中,所述红外去除处理是指:通过预先标定的去除红外矩阵或通过神经网络的方式进行红外去除处理,以消除所述RGB图像在三个通道上的不同红外分量,所述白平衡校正处理是指:根据去除红外前的图像中每个像素点的亮度值和亮度阈值之间的大小关系确定统计像素点,基于统计像素点对去除红外后的图像进行白平衡校正。

12.如权利要求11所述的方法,其特征在于,所述通过神经网络模型对红绿蓝‑红外RGB‑IR图像进行插值,得到全分辨率RGB图像,包括:通过第一神经网络模型包括的通道提取网络层对所述RGB‑IR图像进行通道提取,得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像;

通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值,得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像;

通过所述第一神经网络模型包括的第一网络输出层将所述图像插值网络层输出的图像和所述初始IR通道图像进行拼接,以输出全分辨率RGB图像和初始IR通道图像。

13.如权利要求12所述的方法,其特征在于,所述对所述全分辨率RGB图像进行处理,得到处理后的RGB图像,包括:对所述初始IR通道图像进行插值,得到全分辨率IR图像;

根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像,将所述白平衡校正RGB图像作为所述处理后的RGB图像。

14.如权利要求12所述的方法,其特征在于,所述通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值之后,还包括:通过所述图像插值网络层对所述初始IR通道图像进行插值,得到全分辨率IR图像;

通过所述第一网络输出层输出所述全分辨率RGB图像和所述全分辨率IR图像。

15.如权利要求14所述的方法,其特征在于,所述对所述全分辨率RGB图像进行处理,得到处理后的RGB图像,包括:根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像,将所述白平衡校正RGB图像作为所述处理后的RGB图像。

16.如权利要求14所述的方法,其特征在于,所述通过所述图像插值网络层对所述初始IR通道图像进行插值之后,还包括:通过所述图像插值网络层根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

通过所述第一网络输出层输出所述去红外RGB图像。

17.如权利要求14所述的方法,其特征在于,所述通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值之后,还包括:通过第二神经网络模型包括的红外去除网络层根据所述第一神经网络模型输出的所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理,得到去红外RGB图像;

通过所述第二神经网络模型包括的第二网络输出层输出所述去红外RGB图像。

18.如权利要求16或17所述的方法,其特征在于,所述对所述全分辨率RGB图像进行处理,得到处理后的RGB图像,包括:对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像,将所述白平衡校正RGB图像作为所述处理后的RGB图像。

19.如权利要求13、15和18中任一权利要求所述的方法,其特征在于,所述对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像之后,还包括:根据所述白平衡校正RGB图像中各个像素点的亮度、所述全分辨率RGB图像中各个像素点的亮度、确定补充红外权重图;

根据所述补充红外权重图和所述全分辨率IR图像,对所述白平衡校正RGB图像进行红外亮度补充,得到补充红外亮度RGB图像,将所述补充红外亮度RGB图像作为所述处理后的RGB图像。

20.如权利要求13、15和18中任一所述的方法,其特征在于,所述对所述去红外RGB图像进行白平衡校正,得到白平衡校正RGB图像,包括:对于所述去红外RGB图像中第一像素点,如果所述第一像素点在去除红外前的全分辨率RGB图像中的亮度值大于亮度阈值,则将所述第一像素点确定为用于白平衡校正的统计像素点,所述第一像素点为所述去红外RGB图像中的任一像素点;

根据确定出的用于白平衡校正的统计像素点,对所述去红外RGB图像进行白平衡校正,得到所述白平衡校正RGB图像。