1.电力生产作业场景中人物交互关系理解方法,其特征在于,包括以下步骤:步骤1、对电力作业影像提取基本特征,根据所述基本特征生成热图;
步骤2、根据所述热图和卷积模块预测得到人体、物体、交互点,进而得到交互发生的位置,将所述基本特征与位置结合得到对应的框;将所述交互点作为一个锚点,预测得到交互点与相应人体点、物体点之间的位移,根据所述位移将每个交互点与人体点、物体点进行匹配,生成表示交互关系的三元组;
步骤1具体为:采用CenterNet检测网络对对电力作业影像提取基本特征,CenterNet检测网络Backbone采用关键点检测Hourglass网络,并利用其根据所述基本特征生成热图;
所述CenterNet检测网络Decoder部分是通过将UpSample替换为DCNv2网络得到;
步骤2中将所述基本特征中尺寸和偏移与交互发生的位置结合得到人体框、物体框、交互框;
步骤2中根据所述位移将每个交互点与人体点、物体点进行匹配,具体过程为:根据下式对检测人体点、物体点进行排序,得到匹配的人体点、物体点:(6);
上式中, 为交互点, 为人体点 的置信度得分,为位移;
所述CenterNet检测网络的损失函数为:(5);
式中, 分别为人体、物体、交互点中心点的损失, 为交互点到人体点、物体点位移的损失, 为尺寸、偏移的损失值;
(1);
式中,N为交互点数, 为预测的热图中 中类别k在位置(x,y)的分数;物体、交互点中心点的损失同上;
(2);
式中, 为人体框损失, 为物体框损失,M为人体体点的数量,D为物体点的数量;
(3);
(4);
式中, 为预测得到的位移, 为训练集中的交互点集,N为交互点集中交互点的数量;交互点到物体点位移的损失同上。