1.一种场景图生成方法,其特征在于,包括:
通过对象检测,获得图像的对象特征;
通过关系检测,获得所述图像中第一对象与第二对象之间的第一关系特征和第二关系特征;其中,所述第一关系特征的子类包括所述第二关系特征;
基于所述对象特征对应的对象、所述第一关系特征对应的第一谓语和所述第二关系特征对应的第二谓语,生成所述场景图;其中,存在关系特征的对象中的至少一个属于所述对象特征对应的对象。
2.根据权利要求1所述的方法,其特征在于,所述通过对象检测,获得图像的对象特征,包括:获取所述图像的基础对象特征;
将所述基础对象特征转换为对象特征向量;
将所述对象特征向量作为所述图像的所述对象特征。
3.根据权利要求1或2所述的方法,其特征在于,所述通过关系检测,获得所述图像中第一对象与第二对象之间的第一关系特征和第二关系特征,包括:获取所述图像的基础关系特征;
根据所述基础关系特征,确定第一关系特征矩阵和第二关系特征矩阵;
根据所述图像的所述对象特征和所述第一关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第一关系特征;
根据所述图像的所述对象特征和所述第二关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第二关系特征。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:根据所述第一关系特征矩阵和所述第二关系特征矩阵,对所述第二关系特征矩阵进行优化,或对所述第一关系特征矩阵和所述第二关系特征矩阵进行优化;
在对所述第二关系特征矩阵进行优化的情况下,所述根据所述图像的所述对象特征和所述第二关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第二关系特征,包括:根据所述对象特征向量和所述第二关系特征矩阵优化后得到的第三关系矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第二关系特征;
在对所述第一关系特征矩阵进行优化的情况下,所述根据所述图像的所述对象特征和所述第一关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第一关系特征,包括:根据所述图像的所述对象特征和所述第一关系特征矩阵优化后得到的第四关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第一关系特征。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一关系特征矩阵和所述第二关系特征矩阵,对所述第二关系特征矩阵进行优化,包括:对所述第一关系特征矩阵依次通过卷积处理、归一化处理和激活函数处理,获得第一矩阵,以及对所述第二关系特征矩阵依次通过卷积处理、归一化处理和激活函数处理,获得第二矩阵;
根据所述第一矩阵和所述第二矩阵,在关系特征的特征通道维度,确定第一相关性矩阵,以及在关系特征的样本维度,确定第二相关性矩阵;
将所述第一矩阵与所述第一相关性矩阵输入第一残差神经网络,获得所述第一残差神经网络的第一输出值;
将所述第一输出值和所述第二相关性矩阵输入第二残差神经网络,获得所述第二残差神经网络的第二输出值;
将所述第二输出值和所述第二关系特征矩阵相加后,得到所述第二关系特征矩阵优化后的第三关系特征矩阵。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述获得所述图像中第一对象与第二对象之间的第一关系特征和第二关系特征之后,所述方法还包括:在目标谓语数据集中,确定与所述第一关系特征对应的所述第一谓语和与所述第二关系特征对应的所述第二谓语。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:获取与多种第二关系特征对应的第二谓语数据集;
根据所述第二谓语数据集,得到与所述第二谓语数据集中的谓语对应的隐式向量;
根据所述隐式向量两两之间的距离,对所述第二谓语数据集中的谓语进行聚类,确定与多种第一关系特征对应的第一谓语数据集、以及所述第一谓语数据集中的谓语与所述第二谓语数据集中的谓语之间的对应关系;
将所述第一谓语数据集、所述第二谓语数据集和所述对应关系,作为所述目标谓语数据集。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第二谓语数据集,得到与所述第二谓语数据集中的谓语对应的隐式向量,包括:将所述第二谓语数据集输入语言编码神经网络,得到语言编码神经网络输出的与所述第二谓语数据集中的谓语对应的隐式向量;其中,所述语言编码神经网络是采用与多种第二关系特征对应的样本谓语数据集中的谓语作为输入值,采用所述样本谓语数据集中预先标注的谓语所对应的样本隐式向量作为监督进行训练所得到的。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述图像包括用于反映自动驾驶设备在行驶过程中前方路况的图像,所述场景图用于描述所述图像包括的交通对象之间的关系特征;其中,所述交通对象包括交通信号标志、交通信号灯、行人、非机动车、机动车中的至少一项。
10.一种场景图生成装置,其特征在于,包括:
对象特征获取模块,用于通过对象检测,获得图像的对象特征;
关系特征获取模块,用于通过关系检测,获得所述图像中第一对象与第二对象之间的第一关系特征和第二关系特征;其中,所述第一关系特征的子类包括所述第二关系特征;
场景图生成模块,用于基于所述对象特征对应的对象、所述第一关系特征对应的第一谓语和所述第二关系特征对应的第二谓语,生成所述场景图;其中,存在关系特征的对象中的至少一个属于所述对象特征对应的对象。
11.根据权利要求10所述的装置,其特征在于,所述对象特征获取模块包括:第一获取子模块,用于获取所述图像的基础对象特征;
转换子模块,用于将所述基础对象特征转换为对象特征向量;
第一确定子模块,用于将所述对象特征向量作为所述图像的所述对象特征。
12.根据权利要求10或11所述的装置,其特征在于,所述关系特征获取模块包括:第二获取子模块,用于获取所述图像的基础关系特征;
第二确定子模块,用于根据所述基础关系特征,确定第一关系特征矩阵和第二关系特征矩阵;
第三确定子模块,用于根据所述图像的所述对象特征和所述第一关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第一关系特征;
第四确定子模块,用于根据所述图像的所述对象特征和所述第二关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第二关系特征。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:优化模块,用于根据所述第一关系特征矩阵和所述第二关系特征矩阵,对所述第二关系特征矩阵进行优化,或对所述第一关系特征矩阵和所述第二关系特征矩阵进行优化;
在所述优化模块对所述第二关系特征矩阵进行优化的情况下,所述第四确定子模块包括:根据所述对象特征向量和所述第二关系特征矩阵优化后得到的第三关系矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第二关系特征;
在所述优化模块对所述第一关系特征矩阵进行优化的情况下,所述第三确定子模块包括:根据所述图像的所述对象特征和所述第一关系特征矩阵优化后得到的第四关系特征矩阵,得到所述图像中所述第一对象和所述第二对象之间的所述第一关系特征。
14.根据权利要求13所述的装置,其特征在于,所述优化模块包括:第三获取子模块,用于对所述第一关系特征矩阵依次通过卷积处理、归一化处理和激活函数处理,获得第一矩阵,以及对所述第二关系特征矩阵依次通过卷积处理、归一化处理和激活函数处理,获得第二矩阵;
第五确定子模块,用于根据所述第一矩阵和所述第二矩阵,在关系特征的特征通道维度,确定第一相关性矩阵,以及在关系特征的样本维度,确定第二相关性矩阵;
第四获取子模块,用于将所述第一矩阵与所述第一相关性矩阵输入第一残差神经网络,获得所述第一残差神经网络的第一输出值;
第五获取子模块,用于将所述第一输出值和所述第二相关性矩阵输入第二残差神经网络,获得所述第二残差神经网络的第二输出值;
第六确定子模块,用于将所述第二输出值和所述第二关系特征矩阵相加后,得到所述第二关系特征矩阵优化后的第三关系特征矩阵。
15.根据权利要求10-14任一项所述的装置,其特征在于,所述装置还包括:第一确定模块,用于在目标谓语数据集中,确定与所述第一关系特征对应的所述第一谓语和与所述第二关系特征对应的所述第二谓语。
16.根据权利要求15所述的装置,其特征在于,所述装置还包括:获取模块,用于获取与多种第二关系特征对应的第二谓语数据集;
第二确定模块,用于根据所述第二谓语数据集,得到与所述第二谓语数据集中的谓语对应的隐式向量;
第三确定模块,用于根据所述隐式向量两两之间的距离,对所述第二谓语数据集中的谓语进行聚类,确定与多种第一关系特征对应的第一谓语数据集、以及所述第一谓语数据集中的谓语与所述第二谓语数据集中的谓语之间的对应关系;
第四确定模块,用于将所述第一谓语数据集、所述第二谓语数据集和所述对应关系,作为所述目标谓语数据集。
17.根据权利要求16所述的装置,其特征在于,所述第二确定模块包括:第六获取子模块,用于将所述第二谓语数据集输入语言编码神经网络,得到语言编码神经网络输出的与所述第二谓语数据集中的谓语对应的隐式向量;其中,所述语言编码神经网络是采用与多种第二关系特征对应的样本谓语数据集中的谓语作为输入值,采用所述样本谓语数据集中预先标注的谓语所对应的样本隐式向量作为监督进行训练所得到的。
18.根据权利要求10-17任一项所述的装置,其特征在于,所述图像包括用于反映自动驾驶设备在行驶过程中前方路况的图像,所述场景图用于描述所述图像包括的交通对象之间的关系特征;其中,所述交通对象包括交通信号标志、交通信号灯、行人、非机动车、机动车中的至少一项。
19.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-9任一所述的场景图生成方法。
20.一种场景图生成装置,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现权利要求1-9中任一项所述的场景图生成方法。