利索能及
我要发布
收藏
专利号: 2022103332272
申请人: 深圳市爱深盈通信息技术有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-12-23
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种行为识别模型训练方法,其特征在于,包括:

获取至少一张行为图像样本、所述至少一张行为图像样本对应的行为标签和所述至少一张行为图像样本对应的至少一个语义标签,其中,所述行为标签用于指示所述至少一张行为图像样本对应的行为类型,一个语义标签用于指示所述至少一张行为图像样本中存在一种预设目标的可能性;所述预设目标用于表达所述至少一张行为图像样本的图像语义且与行为类型相关;

将所述至少一张行为图像样本输入至当前训练周期内的行为识别模型,以获取所述当前训练周期内的行为识别模型输出的第一行为预测结果和至少一个预设目标预测结果;

根据所述行为标签、所述至少一个语义标签、所述第一行为预测结果以及所述至少一个预设目标预测结果,对所述当前训练周期内的行为识别模型进行训练,以使所述第一行为预测结果逼近于所述行为标签且使所述至少一个预设目标预测结果逼近于所述至少一个语义标签;

将最后一个训练周期训练得到的行为识别模型确定为目标行为识别模型。

2.根据权利要求1所述的方法,其特征在于,所述根据所述行为标签、所述至少一个语义标签、所述第一行为预测结果以及所述至少一个预设目标预测结果,对所述当前训练周期内的行为识别模型进行训练,包括:根据所述行为标签和所述第一行为预测结果,计算第一损失,所述第一损失用于指示所述当前训练周期内的行为识别模型识别行为类型的精准度;

根据所述至少一个语义标签和所述至少一个预设目标预测结果,计算第二损失,所述第二损失用于指示所述当前训练周期内的行为识别模型识别预设目标的精准度;

根据所述第一损失与所述第二损失,对所述当前训练周期内的行为识别模型进行训练。

3.根据权利要求2所述的方法,其特征在于,所述根据所述至少一个语义标签和所述至少一个预设目标预测结果,计算第二损失,包括:确定第一语义标签与所述第一语义标签对应的预设目标预测结果之间的差距,以得到第一语义标签对应的子损失,所述第一语义标签为所述至少一个语义标签中的任意一个语义标签;

根据所述第一语义标签对应的预设目标,在所述至少一张行为图像样本中的图像占比,确定所述第一语义标签对应的权重;

根据所述至少一个语义标签各自对应的权重,对所述至少一个语义标签各自对应的子损失进行加权求和,以得到所述第二损失。

4.根据权利要求2所述的方法,其特征在于,所述根据所述第一损失与所述第二损失,对所述当前训练周期内的行为识别模型进行训练,包括:根据当前训练周期对应的训练周期数和所述至少一个语义标签对应的语义标签数,计算所述第二损失对应的权重,其中,所述第二损失对应的权重与所述训练周期数负相关;

基于所述第二损失对应的权重,对所述第一损失和所述第二损失进行加权求和,以得到所述当前训练周期内的行为识别模型的总损失;

根据所述总损失对所述当前周期内的行为识别模型进行训练。

5.根据权利要求1‑4任一项所述的方法,其特征在于,所述获取所述至少一张行为图像样本对应的至少一个语义标签,包括:将所述至少一张行为图像样本输入至目标识别模型,以获取所述目标识别模型识别出的至少一个预设目标各自对应的置信度得分;

根据所述至少一个预设目标各自对应的置信度得分,确定所述至少一个语义标签。

6.根据权利要求5所述的方法,其特征在于,所述根据所述至少一个预设目标各自对应的置信度得分,确定所述至少一个语义标签之后,还包括:获取第一预设目标的位置坐标,所述第一预设目标为所述至少一个预设目标中的任意一个预设目标;

根据所述第一预设目标的位置坐标确定所述第一预设目标在所述至少一张行为图像样本中的图像占比;

根据各预设目标在所述至少一张行为图像样本中的图像占比,更新所述至少一个语义标签。

7.根据权利要求6所述的方法,其特征在于,所述根据各预设目标在所述至少一张行为图像样本中的图像占比,更新所述至少一个语义标签,包括:根据所述第一预设目标在所述至少一张行为图像样本中的图像占比,修改所述第一预设目标的置信度得分,以更新所述第一预设目标对应的语义标签。

8.一种行为识别方法,其特征在于,包括:

获取至少一张行为图像;

将所述至少一张行为图像输入至目标行为识别模型,以获取所述目标行为识别模型输出的第二行为预测结果,其中,所述目标行为识别模型为如权利要求1‑7任一项所述的方法训练得到的;

根据所述第二行为预测结果确定所述至少一张行为图像对应的行为类型。

9.一种行为识别模型训练装置,其特征在于,包括:

数据获取模块,用于获取至少一张行为图像样本、所述至少一张行为图像样本对应的行为标签和所述至少一张行为图像样本对应的至少一个语义标签,其中,所述行为标签用于指示所述至少一张行为图像样本对应的行为类型,一个语义标签用于指示所述至少一张行为图像样本中存在一种预设目标的可能性;所述预设目标用于表达所述至少一张行为图像样本的图像语义且与行为类型相关;

结果获取模块,用于将所述至少一张行为图像样本输入至当前训练周期内的行为识别模型,以获取所述当前训练周期内的行为识别模型输出的第一行为预测结果和至少一个预设目标预测结果;

训练模块,用于根据所述行为标签、所述至少一个语义标签、所述第一行为预测结果以及所述至少一个预设目标预测结果,对所述当前训练周期内的行为识别模型进行训练,以使所述第一行为预测结果逼近于所述行为标签且使所述至少一个预设目标预测结果逼近于所述至少一个语义标签;

模型确定模块,用于将最后一个训练周期训练得到的行为识别模型确定为目标行为识别模型。

10.一种行为识别装置,其特征在于,包括:

图像获取模块,用于获取至少一张行为图像;

结果输出模块,用于将所述至少一张行为图像输入至目标行为识别模型,以获取所述目标行为识别模型输出的第二行为预测结果,其中,所述目标行为识别模型为如权利要求

1‑7任一项所述的方法训练得到的;

类型确定模块,用于根据所述第二行为预测结果确定所述至少一张行为图像对应的行为类型。

11.一种计算机设备,其特征在于,包括存储器以及处理器,所述处理器用于执行存储在所述存储器中的一个或多个计算机程序,所述处理器在执行所述一个或多个计算机程序时,使得所述计算机设备实现如权利要求1‑7任一项或权利要求8所述的方法。

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1‑7任一项或权利要求8所述的方法。