利索能及
我要发布
收藏
专利号: 2019107030316
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种机器人的操作指令序列生成方法,其特征在于,应用于机器人,包括:获取待处理视频,确定所述待处理视频中各个视频图像帧的时间节点;

依据各个所述视频图像帧的时间节点的先后顺序,将每个所述视频图像帧依次输入预设的卷积神经网络中,获得所述卷积神经网络输出的每个所述视频图像帧的图像特征,并按每个所述图像特征的输出顺序,对各个所述图像特征进行排序,生成所述待处理视频的图像特征序列;

将所述图像特征序列输入预先训练完成的空洞卷积神经网络模型中,获得所述空洞卷积神经网络模型输出的与所述待处理视频对应的动作类型序列;

在所述待处理视频中,提取与每个所述动作类型对应的视频片段;

对各个所述视频片段依次进行解析,确定每个所述视频片段对应的候选物体;

获取每个所述视频片段的候选物体的各个物体特征,并依据各个所述物体特征确定该视频片段对应的候选物体中的操作物体和被操作物体;

确定每个所述视频片段对应的动作类型的动作指令、操作物体的执行指令和被操作物体的控制指令,将所述动作指令、执行指令和控制指令组成与所述视频片段对应的操作指令组合;

将每个所述视频片段的操作指令组合进行排序,生成与所述待处理视频对应的操作指令序列。

2.根据权利要求1所述的方法,其特征在于,所述获得所述空洞卷积神经网络模型输出的与所述待处理视频对应的动作类型序列,包括:确定所述图像特征序列中的各个所述图像特征;

依据所述空洞卷积神经网络模型中预设的卷积方法,对各个所述图像特征进行卷积运算,确定与所述图像特征对应的每个所述视频图像帧的动作类型;

依据每个所述视频图像帧的时间节点的先后顺序,将各个动作类型进行排序,得到与所述待处理视频对应的动作类型序列。

3.根据权利要求1或2所述的任意方法,其特征在于,所述在所述待处理视频中,提取与每个所述动作类型对应的视频片段,包括:依据所述动作类型序列,确定每个所述视频图像帧对应的动作类型;

将所述动作类型相同的各个视频图像帧归为同一动作类型组别,并将各个所述动作类型组别中的各个所述视频图像帧按照时间节点的先后顺序进行排序,以提取出与所述动作类型对应的视频片段。

4.根据权利要求1所述的方法,其特征在于,所述对各个所述视频片段依次进行解析,确定每个所述视频片段对应的候选物体,包括:获取所述视频片段的各个视频图像帧;

将各个所述视频图像帧依次输入预先训练完成的物体检测模型中,对每个所述视频图像帧进行检测,确定每个所述视频图像帧中的各个候选物体;

依据各个所述候选物体的数据信息,确定与所述视频片段所对应的候选物体。

5.根据权利要求1所述的方法,其特征在于,所述获取每个所述视频片段的候选物体的各个物体特征,并依据各个所述物体特征确定该视频片段对应的候选物体中的操作物体和被操作物体,包括:获取每个所述视频片段的候选物体的各个物体特征;

将所述各个物体特征输入至预先训练完成的第一分类器和第二分类器;

触发所述第一分类器和所述第二分类器对各个所述物体特征进行分析,得到所述第一分类器输出的与所述视频片段对应的操作物体和所述第二分类器输出的与所述视频片段对应的被操作物体。

6.一种机器人的操作指令序列生成装置,其特征在于,包括:获取单元,用于获取待处理视频,确定所述待处理视频中各个视频图像帧的时间节点;

排序单元,用于依据各个所述视频图像帧的时间节点的先后顺序,将每个所述视频图像帧依次输入预设的卷积神经网络中,获得所述卷积神经网络输出的每个所述视频图像帧的图像特征,并按每个所述图像特征的输出顺序,对各个所述图像特征进行排序,生成所述待处理视频的图像特征序列;

输入单元,用于将所述图像特征序列输入预先训练完成的空洞卷积神经网络模型中,获得所述空洞卷积神经网络模型输出的与所述待处理视频对应的动作类型序列;

提取单元,用于在所述待处理视频中,提取与每个所述动作类型对应的视频片段;

解析单元,用于对各个所述视频片段依次进行解析,确定每个所述视频片段对应的候选物体;

第一确定单元,用于获取每个所述视频片段的候选物体的各个物体特征,并依据各个所述物体特征确定该视频片段对应的候选物体中的操作物体和被操作物体;

第二确定单元,用于确定每个所述视频片段对应的动作类型的动作指令、操作物体的执行指令和被操作物体的控制指令,将所述动作指令、执行指令和控制指令组成与所述视频片段对应的操作指令组合;

生成单元,用于将每个所述视频片段的操作指令组合进行排序,生成与所述待处理视频对应的操作指令序列。

7.根据权利6所述的装置,其特征在于,所述输入单元,包括:确定子单元,用于确定所述图像特征序列中的各个所述图像特征;

运算子单元,用于依据所述空洞卷积神经网络模型中预设的卷积方法,对各个所述图像特征进行卷积运算,确定与所述图像特征对应的每个所述视频图像帧的动作类型;

排序子单元,用于依据每个所述视频图像帧的时间节点的先后顺序,将各个动作类型进行排序,得到与所述待处理视频对应的动作类型序列。

8.根据权利6或7任意一项所述的装置,其特征在于,所述提取单元,包括:第一确定子单元,用于依据所述动作类型序列,确定每个所述视频图像帧对应的动作类型;

提取子单元,用于将所述动作类型相同的各个视频图像帧归为同一动作类型组别,并将各个所述动作类型组别中的各个所述视频图像帧按照时间节点的先后顺序进行排序,以提取出与所述动作类型对应的视频片段。

9.根据权利6所述的装置,其特征在于,所述解析单元,包括:第一获取子单元,用于获取所述视频片段的各个视频图像帧;

检测子单元,用于将各个所述视频图像帧依次输入预先训练完成的物体检测模型中,对每个所述视频图像帧进行检测,确定每个所述视频图像帧中的各个候选物体;

第二确定子单元,用于依据各个所述候选物体的数据信息,确定与所述视频片段所对应的候选物体。

10.根据权利6所述的装置,其特征在于,所述第一确定单元,包括:第二获取子单元,用于获取每个所述视频片段的候选物体的各个物体特征;

输入子单元,用于将所述各个物体特征输入至预先训练完成的第一分类器和第二分类器;

触发子单元,用于触发所述第一分类器和所述第二分类器对各个所述物体特征进行分析,得到所述第一分类器输出的与所述视频片段对应的操作物体和所述第二分类器输出的与所述视频片段对应的被操作物体。