利索能及
我要发布
收藏
专利号: 2023109082114
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.电力生产作业场景中人物交互关系理解方法,其特征在于,包括以下步骤:步骤1、对电力作业影像提取基本特征,根据所述基本特征生成热图;

步骤2、根据所述热图和卷积模块预测得到人体、物体、交互点,进而得到交互发生的位置,将所述基本特征与位置结合得到对应的框;将所述交互点作为一个锚点,预测得到交互点与相应人体点、物体点之间的位移,根据所述位移将每个交互点与人体点、物体点进行匹配,生成表示交互关系的三元组;

步骤1具体为:采用CenterNet检测网络对对电力作业影像提取基本特征,CenterNet检测网络Backbone采用关键点检测Hourglass网络,并利用其根据所述基本特征生成热图;

所述CenterNet检测网络Decoder部分是通过将UpSample替换为DCNv2网络得到;

步骤2中将所述基本特征中尺寸和偏移与交互发生的位置结合得到人体框、物体框、交互框;

步骤2中根据所述位移将每个交互点与人体点、物体点进行匹配,具体过程为:根据下式对检测人体点、物体点进行排序,得到匹配的人体点、物体点:(6);

上式中, 为交互点, 为人体点 的置信度得分,为位移;

所述CenterNet检测网络的损失函数为:(5);

式中, 分别为人体、物体、交互点中心点的损失, 为交互点到人体点、物体点位移的损失, 为尺寸、偏移的损失值;

(1);

式中,N为交互点数, 为预测的热图中 中类别k在位置(x,y)的分数;物体、交互点中心点的损失同上;

(2);

式中, 为人体框损失, 为物体框损失,M为人体体点的数量,D为物体点的数量;

(3);

(4);

式中, 为预测得到的位移, 为训练集中的交互点集,N为交互点集中交互点的数量;交互点到物体点位移的损失同上。