1.一种图像处理方法,包括:
获得目标图像,所述目标图像中包括目标对象,所述目标对象与目标类型对应,所述目标类型对应有多个关键点,所述多个关键点中的每一个关键点具有相应的结构化信息,所述结构化信息至少指示所述多个关键点中与所述结构化信息的相应关键点相邻的至少一个关键点与该关键点之间的连接关系;
基于所述目标图像,获得所述多个关键点中的每一个关键点对应的关键点特征;以及基于所述多个关键点中的每一个关键点对应的关键点特征和结构化信息,获得所述多个关键点中的每一个关键点在所述目标图像中对应的位置,包括:基于所述多个关键点中的每一个关键点对应的结构化信息修正该关键点对应的关键点特征;以及基于修正后的所述多个关键点中的每一个关键点对应的关键点特征获取所述多个关键点中的每一个关键点在所述目标图像中对应的位置;
其中,所述目标类型包括人体或者多个动物类型中的任一个动物类型,所述多个关键点包括多个关节点。
2.根据权利要求1所述的方法,其中,所述基于所述目标图像,获得所述多个关键点中的每一个关键点对应的关键点特征包括:获得所述目标图像的图像特征,所述图像特征包括与所述多个关键点对应的多个通道特征,所述多个通道特征中的每一个通道特征指示相应关键点在所述目标图像中对应的位置;
基于所述多个通道特征,获得所述多个关键点中的每一个关键点对应的关键点特征。
3.根据权利要求2所述的方法,其中,所述获得所述目标图像的图像特征包括:
将所述目标图像输入至与所述目标类型相应的关键点检测模型,以获得所述图像特征,其中,所述关键点检测模型是采用包含有与所述目标类型相应的训练对象的训练图像训练获得的,所述训练图像具有相应的标注标签,所述标注标签指示所述多个关键点中的每一个关键点在所述训练图像中的位置。
4.根据权利要求2所述的方法,其中,所述关键点特征包括所述相应关键点对应的热力图,所述热力图与所述目标图像相应,并且所述热力图中的每一个位置的响应值指示所述目标图像中与该位置相应的像素位置对应于所述相应关键点的概率。
5.根据权利要求1所述的方法,其中,所述基于所述多个关键点中的每一个关键点对应的关键点特征和结构化信息,获得所述多个关键点中的每一个关键点在所述目标图像中对应的位置包括:将所述多个关键点中的每一个关键点对应的结构化信息和关键点特征输入到与所述目标类型相应的图神经网络,以获得所述多个关键点中的每一个关键点在所述目标图像中的位置。
6.一种图像处理模型的训练方法,所述图像处理模型包括关键点检测网络和图神经网络,所述方法包括:获得包含训练对象的训练图像,所述训练对象与目标类型相应,所述目标类型对应有多个关键点,所述多个关键点中的每一个关键点具有相应的结构化信息,所述结构化信息至少指示所述多个关键点中与所述结构化信息的相应关键点相邻的至少一个关键点与该关键点之间的连接关系;
获得所述训练图像的标注标签,所述标注标签指示所述多个关键点中的每一个关键点在目标图像中的位置;
将所述训练图像输入到所述关键点检测网络,以获得所述训练图像中与所述多个关键点分别对应的多个第一预测点和所述多个第一预测点中的每一个第一预测点对应的预测点特征;
将所述多个第一预测点中的每一个第一预测点对应的预测点特征和结构化信息输入至所述图神经网络,以基于该第一预测点相应的结构化信息修正该第一预测点相应的预测点特征,从而基于修正后的所述多个第一预测点中的每一个第一预测点对应的预测点特征获得所述训练图像中与所述多个关键点分别对应的多个第二预测点;以及基于所述标注标签、所述多个第一预测点和所述多个第二预测点,调整所述图像处理模型的参数;
其中,所述目标类型包括人体或者多个动物类型中的任一个动物类型,所述多个关键点包括多个关节点。
7.根据权利要求6所述的方法,其中,所述多个第一预测点中的每一个第一预测点对应的预测点特征包括该第一预测点对应的热力图,所述热力图与所述训练图像相应,并且所述热力图中的每一个位置的响应值指示所述训练图像中与该位置相应的像素位置对应于该第一预测点的概率。
8.一种图像处理装置,包括:
目标图像获取单元,被配置用于获得目标图像,所述目标图像中包括目标对象,所述目标对象与目标类型对应,所述目标类型对应有多个关键点,所述多个关键点中的每一个关键点具有相应的结构化信息,所述结构化信息至少指示所述多个关键点中与所述结构化信息的相应关键点相邻的至少一个关键点与该关键点之间的连接关系;
关键点特征获取单元,被配置用于基于所述目标图像,获得所述多个关键点中的每一个关键点对应的关键点特征;以及关键点位置预测单元,被配置用于基于所述多个关键点中的每一个关键点对应的关键点特征和结构化信息,获得所述多个关键点中的每一个关键点在所述目标图像中对应的位置,包括:基于所述多个关键点中的每一个关键点对应的结构化信息修正该关键点对应的关键点特征;以及基于修正后的所述多个关键点中的每一个关键点对应的关键点特征获取所述多个关键点中的每一个关键点在所述目标图像中对应的位置;
其中,所述目标类型包括人体或者多个动物类型中的任一个动物类型,所述多个关键点包括多个关节点。
9.根据权利要求8所述的装置,其中,所述关键点特征获取单元包括:
图像特征获取单元,被配置用于获得所述目标图像的图像特征,所述图像特征包括与所述多个关键点对应的多个通道特征,所述多个通道特征中的每一个通道特征指示相应关键点在所述目标图像中对应的位置;以及关键点特征获取子单元,被配置用于基于所述多个通道特征,获得所述多个关键点中的每一个关键点对应的关键点特征。
10.根据权利要求9所述的装置,其中,所述图像特征获取单元包括:
将所述目标图像输入至与所述目标类型相应的关键点检测模型,以获得所述图像特征,其中,所述关键点检测模型是采用包含有与所述目标类型相应的训练对象的训练图像训练获得的,所述训练图像具有相应的标注标签,所述标注标签指示所述多个关键点中的每一个关键点在所述训练图像中的位置。
11.根据权利要求9所述的装置,其中,所述关键点特征包括所述相应关键点对应的热力图,所述热力图与所述目标图像相应,并且所述热力图中的每一个位置的响应值指示所述目标图像中与该位置相应的像素位置对应于所述相应关键点的概率。
12.根据权利要求8所述的装置,其中,所述基于所述多个关键点中的每一个关键点对应的关键点特征和结构化信息,获得所述多个关键点中的每一个关键点在所述目标图像中对应的位置包括:将所述多个关键点中的每一个关键点对应的结构化信息和关键点特征输入到与所述目标类型相应的图神经网络,以获得所述多个关键点中的每一个关键点在所述目标图像中的位置。
13.一种图像处理模型的训练装置,所述图像处理模型包括关键点检测网络和图神经网络,所述装置包括:训练图像获取单元,被配置用于获得包含训练对象的训练图像,所述训练对象与目标类型相应,所述目标类型对应有多个关键点,所述多个关键点中的每一个关键点具有相应的结构化信息,所述结构化信息至少指示所述多个关键点中与所述结构化信息的相应关键点相邻的至少一个关键点与该关键点之间的连接关系;
标注标签获取单元,被配置用于获得所述训练图像的标注标签,所述标注标签指示所述多个关键点中的每一个关键点在目标图像中的位置;
图像输入单元,被配置用于将所述训练图像输入到所述关键点检测网络,以获得所述训练图像中与所述多个关键点分别对应的多个第一预测点和所述多个第一预测点中的每一个第一预测点对应的预测点特征;
特征输入单元,被配置用于将所述多个第一预测点中的每一个第一预测点对应的预测点特征和结构化信息输入至所述图神经网络,以基于该第一预测点相应的结构化信息修正该第一预测点相应的预测点特征,从而基于修正后的所述多个第一预测点中的每一个第一预测点对应的预测点特征获得所述训练图像中与所述多个关键点分别对应的多个第二预测点;以及参数调整单元,被配置用于基于所述标注标签、所述多个第一预测点和所述多个第二预测点,调整所述图像处理模型的参数;
其中,所述目标类型包括人体或者多个动物类型中的任一个动物类型,所述多个关键点包括多个关节点。
14.根据权利要求13所述的装置,其中,所述多个第一预测点中的每一个第一预测点对应的预测点特征包括该第一预测点对应的热力图,所述热力图与所述训练图像相应,并且所述热力图中的每一个位置的响应值指示所述训练图像中与该位置相应的像素位置对应于该第一预测点的概率。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑7中任一项所述的方法。