利索能及
我要发布
收藏
专利号: 2019102054649
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,其特征在于,包括:从图像中检测出第一类特征,其中,所述第一类特征包括:编码了目标的外观信息且能够区分不同目标的特征;

从所述图像中检测出第二类特征,其中,所述第二类特征,包括:编码了同一个目标内部关键点的空间位置信息且能够区分不同目标的特征;

融合所述第一类特征和所述第二类特征得到所述图像中包含的至少一个目标的关键点的特征值。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:从所述图像中检测出第三类特征图,其中,所述第三类特征图包括第三类特征;所述第三类特征至少包括:指示对应像素为关键点的预测信息;

所述融合所述第一类特征和所述第二类特征得到关键点的特征值,包括:基于所述第三类特征图,融合所述第一类特征和所述第二类特征得到所述关键点的特征值。

3.根据权利要求2所述的方法,其特征在于,所述基于所述第三类特征图,融合所述第一类特征和所述第二类特征得到所述关键点的特征值,包括:根据所述第三类特征图中预测关键点的置信度,确定出所述关键点的特征值的检测位置;

将第一类特征图中所述检测位置内的第一类特征、和第二类特征图中所述检测位置内的所述第二类特征进行拼接,得到所述关键点的特征值。

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:将所述关键点的特征值进行聚类,得到聚类结果;

根据所述聚类结果,确定出属于同一目标的关键点。

5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法,还包括:基于同一个所述目标的关键点,获得所述目标在所述图像中的目标区域;

从所述目标区域提取出第四类特征,其中,所述第四类特征,包括所述目标的图像特征;

根据同一个目标在前后两帧图像的分布,得到第五类特征;

根据所述第四类特征和所述第五类特征进行目标跟踪。

6.根据权利要求5所述的方法,其特征在于,所述第五类特征包括:第t帧图像中一个目标的关键点指向第t+1帧图像对应目标的中心点的矢量,和/或,第t+1帧图像的目标的关键点指向第t帧图像对应目标的中心点的矢量,t为自然数。

7.根据权利要求5所述的方法,其特征在于,所述根据所述第四类特征和所述第五类特征进行目标跟踪,包括:

将第t+1帧图像的第四类特征和第t帧图像的第四类特征进行匹配,得到第一差分信息;

将第t+1帧图像相对于第t帧图像的第五类特征,和所述第t帧图像相对于第t‑1帧图像得到第五类特征进行匹配,得到第二差分信息;

根据所述第一差分信息和所述第二差分信息,得到所述第t+1帧图像中的目标与第t帧图像中对应目标之间的对应关系。

8.根据权利要求1至4任一项所述的方法,其特征在于,所述图像处理方法应用于深度学习模型中;所述方法还包括:利用训练图像对深度学习模型进行训练,获得所述深度学习模型输出的训练特征;

利用辅助训练模块对所述训练特征进行转换处理,得到转换特征;

基于所述转换特征确定损失值;

基于所述损失值,确定是否继续训练所述深度学习模型。

9.根据权利要求8所述的方法,其特征在于,所述利用辅助训练模块对所述训练特征进行转换处理,得到转换特征,包括:利用所述辅助训练模块将所述第一类特征转换为第一转换特征;

利用所述辅助训练模块将所述第二类特征转换为第二转换特征。

10.根据权利要求9所述的方法,其特征在于,所述基于所述转换特征确定损失值,包括:基于所述第一转换特征获得第一损失项;

基于所述第二转换特征获得第二损失项;

基于所述第一损失项和所述第二损失项。

11.根据权利要求8所述的方法,其特征在于,所述方法还包括:利用所述深度学习模型输出第六类特征;

基于所述第六类特征和所述第一类特征,得到第一类损失值;

所述基于所述转换特征确定损失值,包括:基于所述转换特征得到第二类损失值;

基于所述第一类损失值和所述第二类损失值,得到用于确定是否继续所述深度学习模型的损失值。

12.一种图像处理装置,其特征在于,包括:第一检测模块,用于从图像中检测出第一类特征,其中,所述第一类特征,包括:编码了目标的外观信息且能够区分不同目标的特征;

第二检测模块,用于从所述图像中检测出第二类特征,其中,所述第二类特征,包括:编码了同一个目标内部关键点的空间位置信息且能够区分不同目标的特征;

融合模块,用于融合所述第一类特征和所述第二类特征得到所述图像中包含的至少一个目标的关键点的特征值。

13.根据权利要求12所述的装置,其特征在于,所述装置还包括:第三检测模块,用于从所述图像中检测出第三类特征图,其中,所述第三类特征图,至少包括:关键点的特征值的预测信息;

所述融合模块,具体用于基于所述第三类特征图,融合所述第一类特征和所述第二类特征得到所述关键点的特征值。

14.根据权利要求13所述的装置,其特征在于,所述融合模块,具体用于根据所述第三类特征图中预测关键点的置信度,确定出所述关键点的特征值的检测位置;将第一类特征图中所述检测位置内的第一类特征、和第二类特征图中所述检测位置内的所述第二类特征进行拼接,得到所述关键点的特征值。

15.根据权利要求14所述的装置,其特征在于,所述装置还包括:聚类模块,用于将所述关键点的特征值进行聚类,得到聚类结果;

确定模块,用于根据所述聚类结果,确定出属于同一目标的关键点。

16.根据权利要求12至15任一项所述的装置,其特征在于,所述装置还包括:第一获得模块,用于基于同一个所述目标的关键点,获得所述目标在所述图像中的目标区域;

提取模块,用于从所述目标区域提取出第四类特征,其中,所述第四类特征,包括所述目标的图像特征;

第二获得模块,用于根据同一个目标在前后两帧图像的分布,得到第五类特征;

跟踪模块,用于根据所述第四类特征和所述第五类特征进行目标跟踪。

17.根据权利要求16所述的装置,其特征在于,所述第五类特征包括:第t帧图像中一个目标的关键点指向第t+1帧图像对应目标的中心点的矢量,和/或,第t+1帧图像的目标的关键点指向第t帧图像对应目标的中心点的矢量,t为自然数。

18.根据权利要求16所述的装置,其特征在于,所述跟踪模块,包括:第一匹配子模块,用于将第t+1帧图像的第四类特征和第t帧图像的第四类特征进行匹配,得到第一差分信息;

第二匹配子模块,用于将第t+1帧图像相对于第t帧图像的第五类特征,和所述第t帧图像相对于第t‑1帧图像得到第五类特征进行匹配,得到第二差分信息;

跟踪子模块,用于根据所述第一差分信息和所述第二差分信息,得到所述第t+1帧图像中的目标与第t帧图像中对应目标之间的对应关系。

19.根据权利要求12至15任一项所述的装置,其特征在于,所述装置还包括:训练模块,用于利用训练图像对深度学习模型进行训练,获得所述深度学习模型输出的训练特征;

转换模块,用于利用辅助训练模块对所述训练特征进行转换处理,得到转换特征;

第一损失模块,用于基于所述转换特征确定损失值;

判断模块,用于基于所述损失值,确定是否继续训练所述深度学习模型。

20.根据权利要求19所述的装置,其特征在于,所述转换模块,用于利用所述辅助训练模块将所述第一类特征转换为第一转换特征;利用所述辅助训练模块将所述第二类特征转换为第二转换特征。

21.根据权利要求20所述的装置,其特征在于,所述转换模块,具体用于基于所述第一转换特征获得第一损失项;基于所述第二转换特征获得第二损失项;基于所述第一损失项和所述第二损失项。

22.根据权利要求19所述的装置,其特征在于,所述装置包括:输出模块,用于利用所述深度学习模型输出第六类特征;

第二损失模块,用于基于所述第六类特征和所述第一类特征,得到第一类损失值;

所述第一损失模块,具体用于基于所述转换特征得到第二类损失值;基于所述第一类损失值和所述第二类损失值,得到用于确定是否继续所述深度学习模型的损失值。

23.一种检测设备,所述检测设备包括:存储器,用于存储计算机可执行指令;

处理器,与所述存储器连接,用于通过执行所述计算机可执行指令,实现权利要求1至

11任一项提供的方法。

24.一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令;所述计算机可执行指令被处理器执行之后,能够实现权利要求1至11任一项所述的方法。