利索能及
我要发布
收藏
专利号: 202211216902X
申请人: 贵州小爱机器人科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种知识标签的识别方法,其特征在于,包括:

将目标图像输入至预先训练的标签识别模型中,标签识别模型包括标准弱模态特征网络和标准标签网络;

通过标准弱模态特征网络提取目标图像中的目标弱模态特征,并将目标弱模态特征输出至标准标签网络;

通过标准标签网络根据目标弱模态特征,生成对目标图像的知识标签识别结果;

其中,标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。

2.根据权利要求1所述的方法,其特征在于,在将目标图像输入至预先训练的标签识别模型中之前,还包括:依次获取当前样本图像输入至待训练的弱模态标签网络中,弱模态标签网络包括原始弱模态特征网络、强模态特征网络和原始标签网络;

通过原始弱模态特征网络提取当前样本图像中的当前弱模态特征,并将当前弱模态特征分别输入至强模态特征网络和原始标签网络;

通过强模态特征网络将当前弱模态特征与当前样本图像标注的样本强模态特征进行特征融合,并将融合得到的当前多模态特征输入至原始标签网络;

通过原始标签网络生成与当前弱模态特征对应的第一知识标签识别结果,并生成与当前多模态特征对应的第二知识标签识别结果;

根据第一知识标签识别结果、第二标签识别结果和当前样本图像标注的知识标签信息之间的差异,对弱模态标签网络进行模型参数的调整;

返回执行依次获取当前样本图像输入至待训练的弱模态标签网络中的操作,直至完成对弱模态标签网络的训练;

使用训练得到的弱模态标签网络中的原始弱模态特征网络和原始标签网络,构建标签识别模型。

3.根据权利要求2所述的方法,其特征在于,根据第一知识标签识别结果、第二标签识别结果和当前样本图像标注的知识标签信息之间的差异,对弱模态标签网络进行模型参数的调整,包括:根据第一知识标签识别结果和当前样本图像标注的知识标签信息之间的差异,计算得到第一损失函数值;

根据第二知识标签识别结果和当前样本图像标注的知识标签信息之间的差异,计算得到第二损失函数值;

根据第一损失函数值和第二损失函数值,计算得到目标损失函数;

使用目标损失函数,对弱模态标签网络进行模型参数的调整。

4.根据权利要求2所述的方法,其特征在于,在对弱模态标签网络进行模型调整的过程中,强模态特征网络逐步由样本强模态特征的完全融合过渡至样本强模态特征的不融合,以逐渐弱化强模态特征对模型训练的影响;

和/或

所述待训练的弱模态标签网络为设定的预训练模型。

5.一种电网场景的问答方法,其特征在于,包括:

获取电网场景问题图像;

将电网场景问题图像输入至预先训练的电网标签识别模型中,电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络;

通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征,并将电网弱模态特征输出至标准电网标签网络;

通过标准电网标签网络根据所述电网弱模态特征,生成对电网场景问题图像的电网知识标签识别结果;

其中,电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到;

在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问,并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。

6.根据权利要求5所述的方法,其特征在于,所述电网弱模态特征包括:图像中至少一个电网元素的外形特征和/或通用属性;

所述电网强模态特征包括:图像中至少一个电网元素的唯一身份标识。

7.一种知识标签的识别装置,其特征在于,包括:

目标图像输入模块,用于将目标图像输入至预先训练的标签识别模型中,标签识别模型包括标准弱模态特征网络和标准标签网络;

目标弱模态特征提取模块,用于通过标准弱模态特征网络提取目标图像中的目标弱模态特征,并将目标弱模态特征输出至标准标签网络;

知识标签识别结果生成模块,用于通过标准标签网络根据目标弱模态特征,生成对目标图像的知识标签识别结果;

其中,标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。

8.一种电网场景的问答装置,其特征在于,包括:

电网场景问题图像获取模块,用于获取电网场景问题图像;

电网场景问题图像输入模块,用于将电网场景问题图像输入至预先训练的电网标签识别模型中,电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络;

电网弱模态特征提取模块,用于通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征,并将电网弱模态特征输出至标准电网标签网络;

电网知识标签识别结果生成模块,用于通过标准电网标签网络根据所述电网弱模态特征,生成对电网场景问题图像的电网知识标签识别结果;

其中,电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到;

目标电网知识答反馈模块,用于在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问,并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。

9.一种电子设备,其特征在于,所述电子设备包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑4中任一项所述的知识标签的识别方法,或者,执行权利要求5‑6中任一项所述的电网场景的问答方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1‑4中任一项所述的知识标签的识别方法,或者,实现权利要求5‑6中任一项所述的电网场景的问答方法。