利索能及
我要发布
收藏
专利号: 2018113067807
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像检测方法,其特征在于,包括:将待处理图像输入神经网络模型;

利用所述神经网络模型中的特征提取模块,对所述待处理图像进行采样及融合处理,得到融合特征;

利用所述神经网络模型中的分割模块,对所述融合特征进行分割处理,得到所述待处理图像的分割结果;

利用所述神经网络模型中的检测模块,对所述融合特征与所述分割结果进行检测处理,得到所述待处理图像的特征点检测结果;

其中,所述检测模块包括卷积单元和坐标映射单元;所述利用所述神经网络模型中的检测模块,对所述融合特征与所述分割结果进行检测处理,得到所述待处理图像的特征点检测结果,包括:利用所述卷积单元,通过对所述融合特征与所述分割结果进行卷积处理,得到标记有关键点的热力图;

利用所述坐标映射单元,将所述热力图中的关键点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果;

其中,所述利用所述卷积单元,通过对所述融合特征与所述分割结果进行卷积处理,得到标记有关键点的热力图,包括:利用所述卷积单元,对所述融合特征与所述分割结果进行卷积处理,得到像素点热力图,所述像素点热力图中包括每个像素点为特征点的概率;

在所述像素点热力图中,将概率大于预设阈值的像素点标记为关键点。

2.根据权利要求1所述的方法,其特征在于,所述利用所述坐标映射单元,将所述热力图中的关键点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果,包括:针对所述像素点热力图中标记的每个关键点,根据该关键点的相邻像素点为特征点的概率,确定该关键点的偏移方向;

根据所确定的偏移方向,对该关键点进行偏移,得到偏移后的像素点;

利用所述坐标映射单元,将所述偏移后的像素点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:利用所述神经网络模型中的分组模块,基于所述融合特征和所述分割结果,对所述待处理图像中的像素点进行分组,得到分组结果;其中,同一组的像素点属于同一拍摄对象;

通过将所述分组结果与所述特征点检测结果进行匹配,确定属于同一拍摄对象的特征点。

4.根据权利要求1所述的方法,其特征在于,训练得到所述神经网络模型的过程包括:获取待训练的卷积网络及样本图像;

利用所述卷积网络中的特征提取模块,对所述样本图像进行采样及融合处理,得到融合样本特征;

利用所述卷积网络中的初始分割模块,对所述融合样本特征进行分割处理,得到候选分割结果;

利用分割损失函数,计算所述候选分割结果对应的分割损失;

利用所述卷积网络中的初始检测模块,对所述融合样本特征与所述候选分割结果进行检测处理,得到候选检测结果;

利用关键点损失函数,计算所述候选检测结果对应的检测损失;

基于所述分割损失及所述检测损失,对所述初始分割模块中的分割参数及所述初始检测模块中的检测参数进行迭代调整,直至满足迭代结束条件时,得到所述神经网络模型。

5.根据权利要求4所述的方法,其特征在于,训练得到所述神经网络模型的过程还包括:利用所述卷积网络中的初始分组模块,基于所述融合样本特征和所述候选分割结果,对所述样本图像中的像素点进行分组,得到候选分组结果;其中,同一组的像素点属于同一拍摄对象;

利用分组损失函数,计算所述候选分组结果对应的分组损失;

所述基于所述分割损失及所述检测损失,对所述初始分割模块中的分割参数及所述初始检测模块中的检测参数进行迭代调整,直至满足迭代结束条件时,得到所述神经网络模型,包括:基于所述分割损失、所述检测损失、以及所述分组损失,对所述初始分割模块中的分割参数、所述初始检测模块中的检测参数、以及所述初始分组模块中的分组参数进行迭代调整,直至满足迭代结束条件时,得到所述神经网络模型。

6.一种图像检测装置,其特征在于,包括:输入模块,用于将待处理图像输入神经网络模型;所述神经网络模型包括:特征提取模块、分割模块和检测模块,其中,所述特征提取模块,用于对所述待处理图像进行采样及融合处理,得到融合特征;

所述分割模块,用于对所述融合特征进行分割处理,得到所述待处理图像的分割结果;

所述检测模块,用于对所述融合特征与所述分割结果进行检测处理,得到所述待处理图像的特征点检测结果;

其中,所述检测模块包括卷积单元和坐标映射单元;

所述卷积单元,用于通过对所述融合特征与所述分割结果进行卷积处理,得到标记有关键点的热力图;

所述坐标映射单元,用于将所述热力图中的关键点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果;

其中,所述卷积单元,具体用于:对所述融合特征与所述分割结果进行卷积处理,得到像素点热力图,所述像素点热力图中包括每个像素点为特征点的概率;

在所述像素点热力图中,将概率大于预设阈值的像素点标记为关键点。

7.根据权利要求6所述的装置,其特征在于,所述坐标映射单元,具体用于:针对所述像素点热力图中标记的每个关键点,根据该关键点的相邻像素点为特征点的概率,确定该关键点的偏移方向;

根据所确定的偏移方向,对该关键点进行偏移,得到偏移后的像素点;

利用所述坐标映射单元,将所述偏移后的像素点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果。

8.根据权利要求6所述的装置,其特征在于,所述神经网络模型还包括:分组模块,用于基于所述融合特征和所述分割结果,对所述待处理图像中的像素点进行分组,得到分组结果;其中,同一组的像素点属于同一拍摄对象;通过将所述分组结果与所述特征点检测结果进行匹配,确定属于同一拍摄对象的特征点。

9.根据权利要求6所述的装置,其特征在于,所述装置还包括:训练模块,用于获取待训练的卷积网络及样本图像;

利用所述卷积网络中的特征提取模块,对所述样本图像进行采样及融合处理,得到融合样本特征;

利用所述卷积网络中的初始分割模块,对所述融合样本特征进行分割处理,得到候选分割结果;

利用分割损失函数,计算所述候选分割结果对应的分割损失;

利用所述卷积网络中的初始检测模块,对所述融合样本特征与所述候选分割结果进行检测处理,得到候选检测结果;

利用关键点损失函数,计算所述候选检测结果对应的检测损失;

基于所述分割损失及所述检测损失,对所述初始分割模块中的分割参数及所述初始检测模块中的检测参数进行迭代调整,直至满足迭代结束条件时,得到所述神经网络模型。

10.根据权利要求9所述的装置,其特征在于,所述训练模块还用于:利用所述卷积网络中的初始分组模块,基于所述融合样本特征和所述候选分割结果,对所述样本图像中的像素点进行分组,得到候选分组结果;其中,同一组的像素点属于同一拍摄对象;

利用分组损失函数,计算所述候选分组结果对应的分组损失;

基于所述分割损失、所述检测损失、以及所述分组损失,对所述初始分割模块中的分割参数、所述初始检测模块中的检测参数、以及所述初始分组模块中的分组参数进行迭代调整,直至满足迭代结束条件时,得到所述神经网络模型。

11.一种图像检测方法,其特征在于,包括:对待处理图像中的检测目标进行分割处理,获取分割图;

对所述分割图和所述待处理图像进行特征融合,获取标记有关键点的热力图;

将所述热力图中的关键点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果;

其中,所述对所述分割图和所述待处理图像进行特征融合,获取标记有关键点的热力图,包括:通过对所述分割图和所述待处理图像进行特征融合及卷积处理,得到像素点热力图,所述像素点热力图中包括每个像素点为特征点的概率;

在所述像素点热力图中,将概率大于预设阈值的像素点标记为关键点,得到标记有关键点的热力图。

12.根据权利要求11所述的方法,其特征在于,所述将所述热力图中的关键点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果,包括:针对所述像素点热力图中标记的每个关键点,根据该关键点的相邻像素点为特征点的概率,确定该关键点的偏移方向;

根据所确定的偏移方向,对该关键点进行偏移,得到偏移后的像素点;

将所述偏移后的像素点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果。

13.根据权利要求11所述的方法,其特征在于,所述方法还包括:通过对所述分割图和所述待处理图像进行特征融合及卷积处理,得到分组热力图;其中,所述分组热力图中同一组的像素点属于同一拍摄对象;

通过将所述分组热力图与所述特征点检测结果进行匹配,确定属于同一拍摄对象的特征点。

14.一种图像检测装置,其特征在于,包括:检测目标分割模块,用于对待处理图像中的检测目标进行分割处理,获取分割图;

关键点获得模块,用于对所述分割图和所述待处理图像进行特征融合,获取标记有关键点的热力图;

关键点映射模块,用于将所述热力图中的关键点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果;

其中,所述关键点获得模块,具体用于:通过对所述分割图和所述待处理图像进行特征融合及卷积处理,得到像素点热力图,所述像素点热力图中包括每个像素点为特征点的概率;

在所述像素点热力图中,将概率大于预设阈值的像素点标记为关键点,得到标记有关键点的热力图。

15.根据权利要求14所述的装置,其特征在于,所述关键点映射模块,具体用于:针对所述像素点热力图中标记的每个关键点,根据该关键点的相邻像素点为特征点的概率,确定该关键点的偏移方向;

根据所确定的偏移方向,对该关键点进行偏移,得到偏移后的像素点;

将所述偏移后的像素点映射至所述待处理图像中,得到所述待处理图像的特征点检测结果。

16.根据权利要求14所述的装置,其特征在于,所述装置还包括:分组热力图获得模块,用于通过对所述分割图和所述待处理图像进行特征融合及卷积处理,得到分组热力图;其中,所述分组热力图中同一组的像素点属于同一拍摄对象;

匹配模块,用于通过将所述分组热力图与所述特征点检测结果进行匹配,确定属于同一拍摄对象的特征点。