利索能及
我要发布
收藏
专利号: 2020110404539
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,其特征在于,应用于电子设备,该方法包括:

将第一传感器采集的彩色图像输入至目标检测模型中,以得到所述目标检测模型输出的检测结果,并依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本;

依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象,所述深度图与所述彩色图像是针对同一场景同步采集得到的,所述背景深度模型是基于针对所述场景采集的其他深度图建立的;

对于任一前景对象,获取并根据所述前景对象在所述深度图中的位置信息,将所述位置信息映射到所述图像样本,得到所述前景对象在所述图像样本中的目标位置信息;

根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息,确定所述图像样本中是否存在所述前景对象的漏检和/或误检,包括:若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配,且所述前景对象的尺寸与匹配的所述被检出对象的尺寸一致,确定所述图像样本中不存在所述前景对象的漏检;若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配,但所述前景对象的尺寸与匹配的所述被检出对象的尺寸不一致,则所述图像样本中存在所述前景对象的误检;若所述前景对象的目标位置信息与所述图像样本中所有的已标注的被检出对象的位置信息都不匹配,则确定所述图像样本中存在所述前景对象的漏检;

若存在,对所述图像样本进行修正,所述修正包括在所述图像样本中添加所述前景对象的标签信息和/或修改所述图像样本中与所述前景对象匹配的所述被检出对象的标签信息。

2.如权利要求1所述的图像处理方法,其特征在于,依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象,包括:根据所述背景深度模型,对所述深度图进行背景和目标的分离,从所述深度图中分离出至少一个前景目标,并从所述至少一个前景目标中确定所述前景对象。

3.如权利要求2所述的图像处理方法,其特征在于,从所述至少一个前景目标中确定所述前景对象,包括:获取并根据所述第二传感器的安装高度和姿态信息以及所述前景目标在所述深度图中的深度信息,确定所述前景目标的宽度分布和高度分布;

根据所述前景目标的宽度分布和高度分布,确定所述前景目标的类型;

将类型与关心目标的类型一致的前景目标确定为所述前景对象。

4.如权利要求3所述的图像处理方法,其特征在于,所述标签信息包括被检出对象的类别标识;

所述对所述图像样本进行修正,包括:

若存在所述前景对象的漏检,根据所述前景对象的类型,在所述图像样本中添加所述前景对象的标签信息,所述标签信息包括所述前景对象的类别标识。

5.如权利要求1所述的图像处理方法,其特征在于,将所述位置信息映射到所述图像样本,得到所述前景对象在所述图像样本中的目标位置信息,包括:按照预先标定的坐标转换关系将所述前景对象在所述深度图中的位置信息进行转换,得到所述前景对象映射到所述图像样本中的所述目标位置信息,所述坐标转换关系为深度图所应用的坐标系与所述彩色图像所应用的坐标系之间的空间坐标转换关系。

6.如权利要求1所述的图像处理方法,其特征在于,

所述前景对象的尺寸为所述前景对象在所述深度图中的尺寸;或者,

所述前景对象的尺寸为所述前景对象在所述图像样本中的尺寸。

7.如权利要求1或6所述的图像处理方法,其特征在于,

已标记的被检出对象的位置信息为所述被检出对象的轮廓在所述图像样本中的图像坐标信息,所述已标记的被检出对象的尺寸为所述被检出对象的轮廓在所述图像样本中的尺寸。

8.如权利要求1或6所述的图像处理方法,其特征在于,所述标签信息包括被检出对象的标记框;

已标记的被检出对象的位置信息为标记框的位置信息,所述已标记的被检出对象的尺寸为所述标记框的尺寸,所述标记框用于在所述图像样本中对所述被检出对象进行标记。

9.如权利要求8所述的图像处理方法,其特征在于,所述对所述图像样本进行修正,包括:若存在所述前景对象的漏检,则根据所述前景对象的所述目标位置信息,在所述图像样本中增加所述前景对象的标签信息,所述标签信息包括所述前景对象的类别标识和所述前景对象的标记框;

若存在所述前景对象的误检,则根据所述前景对象的尺寸,更新与所述前景对象匹配的被检出对象的所述标签信息中的所述标记框。

10.如权利要求1‑5中任一项所述的图像处理方法,其特征在于,所述方法还包括:统计多个所述图像样本的累加修正次数,根据所述累加修正次数和次数阈值,确定是否更新所述目标检测模型;或者,统计多个所述图像样本的误检率,根据所述误检率和设置的误检率阈值,确定是否更新所述目标检测模型;和/或,统计多个所述图像样本的漏检率,根据所述漏检率和设置的漏检率阈值,确定是否更新所述目标检测模型;

在确定更新所述目标检测模型时,利用修正后的多个所述图像样本重新训练得到新目标检测模型。

11.如权利要求10所述的图像处理方法,其特征在于,利用修正后的多个所述图像样本重新训练得到新目标检测模型之后,该方法还包括:将第一图像传感器采集的新彩色图像输入到所述新目标检测模型进行目标检测,得到所述新目标检测模型对所述新彩色图像的检测结果。

12.一种图像处理装置,其特征在于,应用于电子设备,该装置包括:

图像样本获取模块,用于将第一传感器采集的彩色图像输入至目标检测模型中,以得到所述目标检测模型输出的检测结果,并依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本;

前景对象检测模块,用于依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象,所述深度图与所述彩色图像是针对同一场景同步采集得到的,所述背景深度模型是基于针对所述场景采集的其他深度图建立的;

位置信息确定模块,用于对于任一前景对象,获取并根据所述前景对象在所述深度图中的位置信息,将所述位置信息映射到所述图像样本,得到所述前景对象在所述图像样本中的目标位置信息;

漏检误检确定模块,用于根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息,确定所述图像样本中是否存在所述前景对象的漏检和/或误检,包括:若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配,且所述前景对象的尺寸与匹配的所述被检出对象的尺寸一致,确定所述图像样本中不存在所述前景对象的漏检;若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配,但所述前景对象的尺寸与匹配的所述被检出对象的尺寸不一致,则所述图像样本中存在所述前景对象的误检;若所述前景对象的目标位置信息与所述图像样本中所有的已标注的被检出对象的位置信息都不匹配,则确定所述图像样本中存在所述前景对象的漏检;

图像样本修正模块,若存在,对所述图像样本进行修正,所述修正包括在所述图像样本中添加所述前景对象的标签信息和/或修改所述图像样本中与所述前景对象匹配的所述被检出对象的标签信息。

13.一种电子设备,其特征在于,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如权利要求1‑11中任意一项所述的图像处理方法。

14.一种机器可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现如权利要求1‑11中任意一项所述的图像处理方法。