利索能及
我要发布
收藏
专利号: 201710448251X
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像类别检测方法,其特征在于,包括:

对第二图像进行降采样获得第一图像;

确定所述第二图像中相对类别检测的至少一个关键子区;

分别提取所述第一图像和各关键子区的特征;

至少基于提取的各特征生成所述第二图像的类别检测结果,

其中,确定所述第二图像中相对类别检测的至少一个关键子区,包括:基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图,确定所述注意力图中的注意力响应最强的区域为第一子区,并且在所述第二图像中确定与所述第一子区对应的区域为所述关键子区,或者,

确定所述第二图像中相对类别检测的至少一个关键子区,包括:基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图,基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图,基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图,根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序,确定注意力响应强度由强到弱排序的至少一个第一子区,并且在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。

2.根据权利要求1所述的方法,其特征在于,所述第二图像的类别检测结果包括以下至少之一:所述第二图像所属的类别,所述第二图像分别属于预定类别的概率。

3.根据权利要求2所述的方法,其特征在于,所述第二图像的类别检测结果还包括以下至少之一:所述至少一个关键子区,所述至少一个关键子区的位置信息。

4.根据权利要求1-3任一所述的方法,其特征在于,确定所述第二图像中相对类别检测的至少一个关键子区,包括:根据所述第二图像的标注信息,确定所述第二图像中相对类别检测的至少一个关键子区;或者,确定所述第二图像中与至少一个预定位置对应的区域为所述至少一个关键子区。

5.根据权利要求1所述的方法,其特征在于,基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图,包括:点乘所述注意力图和所述类别得分图,得到所述门限注意力图。

6.根据权利要求1-3任一所述的方法,其特征在于,所述至少基于提取的各特征生成所述第二图像的类别检测结果,包括:基于所述第一图像的特征生成第一特征向量;

基于各关键子区的特征生成第二特征向量;

拼接所述第一特征向量和第二特征向量;

基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量,其中,所述拼接内容包括所述第一图像和各关键子区;

至少根据所述第二类别得分向量生成所述第二图像的类别检测结果。

7.根据权利要求6所述的方法,其特征在于,至少根据所述第二类别得分向量生成所述第二图像的类别检测结果,包括:基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量;

至少根据所述第一类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果。

8.根据权利要求6所述的方法,其特征在于,至少根据所述第二类别得分向量生成所述第二图像的类别检测结果,包括:基于所述注意力图生成所述第一图像相对预定类别的第三类别得分向量;

至少根据所述第三类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果。

9.根据权利要求8所述的方法,其特征在于,至少根据所述第三类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果,包括:基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量;

根据所述第一类别得分向量、所述第二类别得分向量和所述第三类别得分向量,生成所述第二图像的类别检测结果。

10.根据权利要求6所述的方法,其特征在于,至少根据所述第二类别得分向量生成所述第二图像的类别检测结果,包括:基于所述门限注意力图生成所述第一图像相对预定类别的第四类别得分向量;

至少根据所述第四类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果。

11.根据权利要求10所述的方法,其特征在于,至少根据所述第四类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果,包括:基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量;

根据所述第一类别得分向量、所述第二类别得分向量和所述第四类别得分向量,生成所述第二图像的类别检测结果。

12.一种图像类别检测装置,其特征在于,包括:

降采样模块,用于对第二图像进行降采样获得第一图像;

确定模块,用于确定所述第二图像中相对类别检测的至少一个关键子区;

提取模块,用于分别提取所述第一图像和各关键子区的特征;

生成模块,用于至少基于提取的各特征生成所述第二图像的类别检测结果,其中,所述确定模块包括:注意力图生成子模块,用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图;

第一子区确定子模块,用于确定所述注意力图中的注意力响应最强的区域为第一子区;

关键子区确定子模块,用于在所述第二图像中确定与所述第一子区对应的区域为所述关键子区,或者,所述确定模块包括:注意力图生成子模块,用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图;

类别得分图生成子模块,用于基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图;

门限注意力图生成子模块,用于基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图;

第一子区确定子模块,用于根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序,确定注意力响应强度由强到弱排序的至少一个第一子区;

关键子区确定子模块,用于在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。

13.根据权利要求12所述的装置,其特征在于,所述第二图像的类别检测结果包括以下至少之一:所述第二图像所属的类别,所述第二图像分别属于预定类别的概率。

14.根据权利要求13所述的装置,其特征在于,所述第二图像的类别检测结果还包括以下至少之一:所述至少一个关键子区,所述至少一个关键子区的位置信息。

15.根据权利要求12-14任一所述的装置,其特征在于,所述确定模块,用于根据所述第二图像的标注信息,确定所述第二图像中相对类别检测的至少一个关键子区;或者,确定所述第二图像中与至少一个预定位置对应的区域为所述至少一个关键子区。

16.根据权利要求12所述的装置,其特征在于,所述门限注意力图生成子模块,用于点乘所述注意力图和所述类别得分图,得到所述门限注意力图。

17.根据权利要求12-14任一所述的装置,其特征在于,所述生成模块,包括:第一特征向量生成子模块,用于基于所述第一图像的特征生成第一特征向量;

第二特征向量生成子模块,用于基于各关键子区的特征生成第二特征向量;

拼接子模块,用于拼接所述第一特征向量和第二特征向量;

第二类别得分向量生成子模块,用于基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量,其中,所述拼接内容包括所述第一图像和各关键子区;

类别检测结果生成子模块,用于至少根据所述第二类别得分向量生成所述第二图像的类别检测结果。

18.根据权利要求17所述的装置,其特征在于,所述类别检测结果生成子模块,用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量;至少根据所述第一类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果。

19.根据权利要求17所述的装置,其特征在于,所述类别检测结果生成子模块,用于基于所述注意力图生成所述第一图像相对预定类别的第三类别得分向量;至少根据所述第三类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果。

20.根据权利要求19所述的装置,其特征在于,所述类别检测结果生成子模块,用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量;根据所述第一类别得分向量、所述第二类别得分向量和所述第三类别得分向量,生成所述第二图像的类别检测结果。

21.根据权利要求17所述的装置,其特征在于,所述类别检测结果生成子模块,用于基于所述门限注意力图生成所述第一图像相对预定类别的第四类别得分向量;至少根据所述第四类别得分向量和所述第二类别得分向量,生成所述第二图像的类别检测结果。

22.根据权利要求21所述的装置,其特征在于,所述类别检测结果生成子模块,用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量;根据所述第一类别得分向量、所述第二类别得分向量和所述第四类别得分向量,生成所述第二图像的类别检测结果。

23.一种电子设备,其特征在于,包括:处理器、存储器、通信元件和通信总线,所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-11任一所述的图像类别检测方法对应的操作。

24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有:用于对第二图像进行降采样获得第一图像的可执行指令;

用于确定所述第二图像中相对类别检测的至少一个关键子区的可执行指令;

用于分别提取所述第一图像和各关键子区的特征的可执行指令;

用于至少基于提取的各特征生成所述第二图像的类别检测结果的可执行指令,其中,所述用于确定所述第二图像中相对类别检测的至少一个关键子区的可执行指令包括:用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图的可执行指令,用于确定所述注意力图中的注意力响应最强的区域为第一子区的可执行指令,以及用于在所述第二图像中确定与所述第一子区对应的区域为所述关键子区的可执行指令,或者,

所述用于确定所述第二图像中相对类别检测的至少一个关键子区的可执行指令包括:用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图的可执行指令,用于基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图的可执行指令,用于基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图的可执行指令,用于根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序的可执行指令,用于确定注意力响应强度由强到弱排序的至少一个第一子区的可执行指令,以及用于在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区的可执行指令。