1.一种三维重建方法,其特征在于,包括:获取目标对象对应的待处理图像;
利用第一神经网络对所述待处理图像进行预测,得到所述待处理图像中所述目标对象对应的第一姿态参数和第一形状参数,其中,所述第一神经网络是预先基于第二神经网络初始化、且根据所述目标对象对应的第一图像序列训练得到的,所述第二神经网络是预先根据多个对象对应的多个第二图像序列训练得到的;
根据所述第一姿态参数和所述第一形状参数,生成所述待处理图像中所述目标对象的第一三维模型。
2.根据权利要求1所述的方法,其特征在于,所述利用第一神经网络对所述待处理图像进行预测,得到所述待处理图像中所述目标对象对应的第一姿态参数和第一形状参数,包括:
利用第一神经网络提取所述待处理图像的第一特征以及所述待处理图像的第二特征;
对所述第一特征和所述第二特征进行融合,得到第三特征;
基于所述第三特征,确定所述待处理图像中所述目标对象对应的第一姿态参数和第一形状参数。
3.根据权利要求1或2所述的方法,其特征在于,所述第一神经网络还用于预测得到所述待处理图像对应的第一相机参数;
在所述生成所述待处理图像中所述目标对象的第一三维模型之后,所述方法还包括:根据所述第一相机参数,将所述第一三维模型投影至二维平面,得到所述第一三维模型对应的二维模型。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,在所述利用第一神经网络对所述待处理图像进行预测之前,所述方法还包括:对于所述第一图像序列中的任意一个训练图像,利用所述第一神经网络对所述训练图像进行预测,得到以下至少之一:所述训练图像中所述目标对象对应的第二姿态参数、所述训练图像中所述目标对象对应的第二形状参数、所述训练图像对应的第二相机参数;
根据所述第二姿态参数、所述第二形状参数和所述第二相机参数中的至少之一,确定所述训练图像对应的损失函数的值;
根据所述第一图像序列中的多个训练图像对应的损失函数的值,训练所述第一神经网络。
5.根据权利要求4所述的方法,其特征在于,所述训练图像对应的损失函数包括所述训练图像对应的第一损失函数;
所述根据所述第二姿态参数、所述第二形状参数和所述第二相机参数中的至少之一,确定所述训练图像对应的损失函数的值,包括:根据所述第二姿态参数、所述第二形状参数和所述第二相机参数,获得所述训练图像中所述目标对象的二维关键点集的第一坐标预测数据;
对所述训练图像进行二维姿态估计,得到所述训练图像中所述目标对象对应的二维姿态估计结果,其中,所述二维姿态估计结果包括所述训练图像中所述目标对象的二维关键点集的坐标标签;
根据所述第一坐标预测数据与所述坐标标签中相应的关键点之间的坐标差异,确定所述训练图像对应的第一损失函数的值。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第二姿态参数、所述第二形状参数和所述第二相机参数,获得所述训练图像中所述目标对象的二维关键点集的第一坐标预测数据,包括:
根据所述第二姿态参数和所述第二形状参数,生成所述训练图像中所述目标对象的第二三维模型;
根据所述第二三维模型,回归得到所述训练图像中所述目标对象的三维关键点集的第二坐标预测数据;
根据所述第二相机参数,将所述第二坐标预测数据投影至二维平面,得到所述训练图像中所述目标对象的二维关键点集的第一坐标预测数据。
7.根据权利要求5或6所述的方法,其特征在于,所述二维姿态估计结果还包括与所述坐标标签中的关键点一一对应的置信度;
所述根据所述第一坐标预测数据与所述坐标标签中相应的关键点之间的坐标差异,确定所述训练图像对应的第一损失函数的值,包括:根据所述第一坐标预测数据与所述坐标标签中相应的关键点之间的坐标差异,以及所述置信度,确定所述训练图像对应的第一损失函数的值。
8.根据权利要求4至7中任意一项所述的方法,其特征在于,所述训练图像对应的损失函数包括所述训练图像对应的第二损失函数;
所述根据所述第二姿态参数、所述第二形状参数和所述第二相机参数中的至少之一,确定所述训练图像对应的损失函数的值,包括:对所述第二姿态参数和所述第二形状参数对进行合理性判断,得到所述训练图像对应的第二损失函数的值。
9.根据权利要求8所述的方法,其特征在于,所述对所述第二姿态参数和所述第二形状参数对进行合理性判断,得到所述训练图像对应的第二损失函数的值,包括:利用预先训练的第三神经网络对所述第二姿态参数和所述第二形状参数进行合理性判断,得到所述训练图像对应的第二损失函数的值。
10.根据权利要求4至9中任意一项所述的方法,其特征在于,所述训练图像对应的损失函数包括所述训练图像对应的第三损失函数;
所述根据所述第二姿态参数、所述第二形状参数和所述第二相机参数中的至少之一,确定所述训练图像对应的损失函数的值,包括:在所述训练图像不为所述第一图像序列中的第一个图像的情况下,获得所述第一图像序列中所述训练图像之前的图像对应的第三形状参数;
根据所述第二形状参数和所述第三形状参数,确定所述训练图像对应的第三损失函数的值。
11.根据权利要求10所述的方法,其特征在于,所述第三形状参数为所述训练图像的上一个图像对应的平均形状参数,且所述第一图像序列中的第一个图像对应的平均形状参数为所述第一神经网络预测得到的所述图像中所述目标对象对应的形状参数;
所述根据所述第二形状参数和所述第三形状参数,确定所述训练图像对应的第三损失函数的值,包括:
根据所述第二形状参数和所述第三形状参数的加权和,确定所述训练图像对应的平均形状参数;
根据所述第二形状参数与所述训练图像对应的平均形状参数之间的差异,确定所述训练图像对应的第三损失函数的值。
12.根据权利要求4至11中任意一项所述的方法,其特征在于,所述训练图像对应的损失函数包括所述训练图像对应的第四损失函数;
所述根据所述第二姿态参数、所述第二形状参数和所述第二相机参数中的至少之一,确定所述训练图像对应的损失函数的值,包括:在所述训练图像不为所述第一图像序列中的第一个图像的情况下,获得所述训练图像的上一个图像中所述目标对象的三维关键点集的第三坐标预测数据;
根据所述训练图像中所述目标对象的三维关键点集的第二坐标预测数据与所述第三坐标预测数据之间的差异,确定所述训练图像对应的第四损失函数的值。
13.根据权利要求1至12中任意一项所述的方法,其特征在于,所述第一神经网络包括第一子网络和第二子网络,所述第二神经网络包括第三子网络和第四子网络,所述第一子网络的网络结构与所述第三子网络的网络结构相同,所述第一子网络的初始参数与所述第三子网络的参数相同,所述第二子网络的网络结构与所述第四子网络的网络结构相同,且所述第二子网络的初始参数与所述第四子网络的参数相同。
14.根据权利要求13所述的方法,其特征在于,所述第一神经网络还包括所述第三子网络和融合层,其中,所述融合层分别与所述第一子网络、所述第三子网络和所述第二子网络连接,且在所述第一神经网络的训练中,所述第三子网络的参数保持固定;
所述利用第一神经网络对所述待处理图像进行预测,得到所述待处理图像中所述目标对象对应的第一姿态参数和第一形状参数,包括:利用所述第一子网络提取所述待处理图像的第一特征,并利用所述第三子网络提取所述待处理图像的第二特征;
通过所述融合层对所述第一特征和所述第二特征进行融合,得到第三特征;
利用所述第二子网络对所述第三特征进行预测得到所述待处理图像中所述目标对象对应的第一姿态参数和第一形状参数。
15.一种三维重建装置,其特征在于,包括:获取模块,用于获取目标对象对应的待处理图像;
第一预测模块,用于利用第一神经网络对所述待处理图像进行预测,得到所述待处理图像中所述目标对象对应的第一姿态参数和第一形状参数,其中,所述第一神经网络是预先基于第二神经网络初始化、且根据所述目标对象对应的第一图像序列训练得到的,所述第二神经网络是预先根据多个对象对应的多个第二图像序列训练得到的;
生成模块,用于根据所述第一姿态参数和所述第一形状参数,生成所述待处理图像中所述目标对象的第一三维模型。
16.一种电子设备,其特征在于,包括:一个或多个处理器;
用于存储可执行指令的存储器;
其中,所述一个或多个处理器被配置为调用所述存储器存储的可执行指令,以执行权利要求1至14中任意一项所述的方法。
17.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至14中任意一项所述的方法。