1.一种基于图神经网络的动态小股行人识别方法,其特征在于,方法包括以下步骤:将数据集中图片进行预处理,使用背景特征匹配方法得到图片中的背景特征;
对行人进行动态筛选,排除不为同一组的行人,同时构建图结构;
将得到的背景特征加入构建的图结构,得到新的图结构;
所述将得到的背景特征加入构建的图结构,得到新的图结构的过程包括组内关系计算、组间关系计算和上下文信息感知;
所述组内关系计算过程包括:首先对组内人相同部分之间进行计算,再将组内人不同部分之间进行计算;然后在进行组间人相同部分之间进行计算,再将组间人不同部分之间进行计算;并引入背景信息;
计算组内相关性:将每个特征分为四部分,特征相同部分下选择了第s张图片的人物特(t‑1) (t‑1)征h sip,以及第s张图片的背景特征h sbp,从人物特征传递到背景特征的消息计算如下,当前情况下有且仅有一条:(t‑1)
其中φ是测量输入之间相关性的函数,W e是将输入特征转换为更高级别表示的权重矩阵,通过使用softmax函数对重要性权重esibp进行归一化来计算注意力权重:a sibp=soft max(esibp)
然后,传递给节点i的部分内消息通过将邻居的特征与相关注意力权重:(t‑1) (t‑1)
其继续计算组内人的特征的p部分h sip与背景其他q部分h sbq进行计算,通过使用pqsoftmax函数对重要性权重e sib进行归一化来计算注意力权重,最后传递给节点i的部分组内消息通过邻居的特征与相关注意力权重的计算:(t)
得到了组内信息,包含人特征与人特征之间相同部分的信息m sip,人特征与人特征之(t) (t)间不同部分的信息n sip,背景特征与人特征之间相同部分的信息o sibp,背景特征与人特(t)征之间不同部分的信息r sib;
在新的图结构中,采用多头注意力的图上下文信息感知传递的方法进行消息传递,最大化的更新节点信息特征,提高组识别的准确率。
2.根据权利要求1所述的一种基于图神经网络的动态小股行人识别方法,其特征在于,所述将数据集中图片进行预处理,使用背景特征匹配方法得到图片中的背景特征的过程包括以下步骤:(0)
根据行人的bounding box将行人的关键点置为0,每个关键点i的初始表示 xi结合了关键点视觉外观和位置;使用多层感知器MLPenc将关键点位置嵌入到高维向量中,如下所示:(0)
xi=di+MLPenc(pi)
(f) A
其中di为关键点的视觉描述符,pi为关键点的位置, xi是图像A在第l层的元素i,mE‑>i汇聚了所有关键结点,m是注意力权重和,E包含了{Eself,Ecross},A中所有i的剩余消息传递更新为:其中[||]表示连接,同时对图像B中的所有关键点执行类似的更新;具有不同参数的固定数量的层L被链接起来,并且交替地沿着自身边缘和交叉边缘聚合;因此,从l=1开始,如果l是奇数,则E=Eself,如果l是偶数,则E=Ecross:同理得到B,以及相应的横坐标xb和纵坐标yb;
A B T T T T
将得到的f i和fj进行内积,使用dustbin增强每个集;将a=[aM N]和b=[1 NM]表示为A和B中每个关键点和dustbin的与其匹配数;增强分配具有如下约束:and
M和N分别为第i张图片和第j张图片关键点的集合,背景匹配的损失函数如下:
1 1
通过优化匹配层得到少量相应的横坐标xb和纵坐标yb,最后计算第s张图片中(xb,y b)M M 2 2 N N到(xp,yp)的距离与第j张图片中(x b,yb)到(xp,yp)的距离之间的差值的绝对值最小的点,并得到以此点为坐标的256×128的矩阵:i i j j
其中M和N分别为第i张和第j张图像中行人数量,(xb,yb)和(x b,yb)分别为第i张图片M M N N和第j张图片中背景特征信息的横纵坐标,(xp,yp)和(xp,yp)分别为第i张图片和第j张图片中所有行人的横纵坐标。
3.根据权利要求1所述的一种基于图神经网络的动态小股行人识别方法,其特征在于,所述对行人进行动态筛选,排除不为同一组的行人,同时构建图结构的过程包括以下步骤:构建一个由Ns个顶点Vs和一组边Es组成的图像Gs={Vs,Es};
提取图像中的人作为图像的节点,使用最近邻算法在每个图像中选择最近的人,并构建图结构。
4.根据权利要求3所述的一种基于图神经网络的动态小股行人识别方法,其特征在于,将图结构中的边划分为强连通边、中等连通边和弱连通边。
5.根据权利要求1所述的一种基于图神经网络的动态小股行人识别方法,其特征在于,所述组间关系计算过程如下:组间关系只需要计算图节点之间的相似性,图节点不仅仅包含人作为特征节点,还有背景信息作为特征节点,要计算当前图片的人的特征信息传递给另外一张图片的其他人的(t‑1) (t‑1)特征信息,第s张图片人的特征部分h si与第r张背景特征部分h rb进行计算,通过使用softmax函数对重要性权重zib进行归一化来计算注意力权重得到wib,最后传递给节点i的部分内消息通过将邻居的特征与相关注意力权重;
w ib=soft m ax(zib)
在获得图内和图间消息后,通过连接先前的特征和所有类型的消息,使用全连接层更新节点特征:
6.根据权利要求1所述的一种基于图神经网络的动态小股行人识别方法,其特征在于,所述上下文信息感知过程如下:使用图内和图间注意机制的上述特征更新步骤重复T轮,然后将模型设计为分别学习组和个人对应关系;首先通过读出操作构造一个图级表示,在图节点上应用自注意力,最终的图表示hs是节点级特征的加权和:(T)
其中hsi是第s张图片第i个人,W u是将输入特征转换为更高级别表示的权重矩阵,同理能够得到另一张图hr,为了学习组对应关系,采用circle loss损失函数将同一组的特征拉近,并将不同的组推得很远:j i
其中a s和a r为非负加权因子,γ为比例因子,采用pair‑wise loss损失函数得到对于个人与背景信息级别的对应学习,仍采用pair‑wise loss损失函数得到其中ypp是对的标签,m是边距,hip是第i张图片的第p个人特征,hjp是第j张图片的第q个人特征,hbi,p是第i张图片的背景信息特征,当该对共享相同的人ID时,ypp=1;当对由不同的人组成时,ypp=‑1,通过交叉熵计算预测的矩阵S与真值矩阵的值Sgt;
gt gt
其中S ∈Rns×nr是一个二元矩阵,S i,j=1如果i个Gs中的人与Gr中的第j个人属于同一恒等式,最后损失函数是所以函数的损失函数的线性组合:
7.根据权利要求4所述的一种基于图神经网络的动态小股行人识别方法,其特征在于,所述强连通边是指由彼此选择的节点1和节点2形成的连通图;节点2选择节点3作为节点2最近的邻居,节点1选择节点2作为节点1最近邻居,在这种情况下,连接节点2和节点3的边称为中等连通边;所述弱连通边是指节点1选择节点2作为节点1邻居,而节点1未被其他节点选择为其他节点的邻居。
8.一种设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当一个或多个所述程序被一个或多个所述处理器执行,使得一个或多个所述处理器实现如权利要求1‑7中任一所述的一种基于图神经网络的动态小股行人识别方法。
9.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1‑7中任一所述的一种基于图神经网络的动态小股行人识别方法。