利索能及
我要发布
收藏
专利号: 2023107085137
申请人: 电子科技大学中山学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于局部特征补全的图像分类方法,其特征在于,所述方法包括:分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征;

采用属性特征对所述第一局部特征进行补全,获取补全后的第三局部特征;所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征;

根据所述第三局部特征和所述第二局部特征,分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征;

根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度,获取所述第一查询集图像的预测类别。

2.根据权利要求1所述的基于局部特征补全的图像分类方法,其特征在于,所述采用属性特征对所述第一局部特征进行补全,获取补全后的第三局部特征,包括:确定所述第一局部特征所对应的图像类别;

确定所述图像类别所对应的所述属性特征;

根据所述第一局部特征与所述属性特征之间的相似度,确定所述属性特征的权重;

采用所述属性特征的权重,将所述属性特征与所述第一局部特征进行加权融合,获取补全后的所述第三局部特征。

3.根据权利要求1所述的基于局部特征补全的图像分类方法,其特征在于,所述根据所述第三局部特征和所述第二局部特征,分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征,包括:采用局部特征注意力网络,获取所述第三局部特征的第一注意力系数以及所述第二局部特征的第二注意力系数;所述第一注意力系数和所述第二注意力系数分别用于表征所述第三局部特征中的每个特征和所述第二局部特征中的每个特征对于分类预测的重要程度;

根据所述第一注意力系数,将所述第三局部特征中的每个特征进行加权融合,获取所述第一支持集图像的第一全局特征;

根据所述第二注意力系数,将所述第二局部特征中的每个特征进行加权融合,获取所述第一查询集图像的第二全局特征。

4.根据权利要求1所述的基于局部特征补全的图像分类方法,其特征在于,在所述采用属性特征对所述第一局部特征进行补全,获取补全后的第三局部特征之前,所述方法还包括:针对所述第一支持集图像中各图像类别,获取各图像类别所标注的属性;

针对各所述属性,在训练集中查找标注有相同属性的图像类别,获取该图像类别的全部或部分训练图像;

采用特征提取网络,提取所述训练图像的图像特征,所述特征提取网络由所述训练集预训练;

融合所述图像特征,获取当前属性的属性特征。

5.根据权利要求1~4中任一项所述的基于局部特征补全的图像分类方法,其特征在于,所述采用属性特征对所述第一局部特征进行补全,获取补全后的第三局部特征,包括:确定所述第一局部特征中的主体局部特征和背景局部特征;

采用所述属性特征对所述主体局部特征进行补全,获取补全后的第三局部特征;所述第三局部特征包括补全后的所述主体局部特征和所述背景局部特征。

6.根据权利要求5所述的基于局部特征补全的图像分类方法,其特征在于,所述确定所述第一局部特征中的主体局部特征和背景局部特征,包括:获取所述第一支持集图像的原图特征;

根据所述第一局部特征与所述原图特征的相似度,确定第一局部特征中的主体局部特征和背景局部特征。

7.根据权利要求1所述的基于局部特征补全的图像分类方法,其特征在于,提取所述第一局部特征以及所述第二局部特征的步骤、获取补全后的所述第三局部特征的步骤、获取所述第一全局特征以及所述第二全局特征的步骤以及获取所述预测类别的步骤分别由图像分类模型中的局部特征提取模块、局部特征补全模块、全局特征获取模块以及类别预测模块执行;

所述方法还包括:

采用图像分类模型中的局部特征提取模块,分别提取第二支持集图像和第四局部特征以及第二查询集图像的第五局部特征;

采用所述图像分类模型中的局部特征补全模块,根据所述属性特征对所述第四局部特征进行补全,获取补全后的第六局部特征;

采用所述图像分类模型中的全局特征获取模块,根据所述第六局部特征和所述第五局部特征,分别获取所述第二支持集图像的第三全局特征以及所述第二查询集图像的第四全局特征;

采用所述图像分类模型中的类别预测模块,根据所述第四全局特征和所述第三全局特征中属于各图像类别的特征的相似度,获取所述第二查询集图像的预测类别;

根据所述第二查询集图像的所述预测类别和所述第二查询集图像所设置的图像类别标注,计算损失函数值,并根据所述损失函数值更新所述图像分类模型的参数。

8.一种基于局部特征补全的图像分类装置,其特征在于,所述装置包括:局部特征获取单元,用于分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征;

局部特征补全单元,用于采用属性特征对所述第一局部特征进行补全,获取补全后的第三局部特征;所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征;

全局特征获取单元,用于根据所述第三局部特征和所述第二局部特征,分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征;

类别预测单元,用于根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度,获取所述第一查询集图像的预测类别。

9.一种电子设备,其特征在于,包括:处理器、存储器和通信总线,其中,所述处理器和所述存储器通过所述通信总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1~7中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令被计算机运行时,使所述计算机执行如权利要求1~7中任一项所述的方法。