1.一种基于二维图像重建三维网格模型的方法,其特征在于,包括以下步骤:(1)输入二维图像到ResNet50中,通过ResNet50的Stage1,Stage2和Stage3提取图像二维信息,对这些信息进行特征连接;
(2)通过相机参数计算输入图像平面的2D投影,然后通过双线性插值法得到感知特征;
(3)通过隐式曲面算法生成初始椭球,从输入二维图像中汇集图像特征,结合图像特征和感知特征进行网格变形;
(4)通过上采样细化网格模型;
(5)利用损失函数促使系统生成粗略的三维模型;所述损失函数包括倒角损失、重投影损失和平滑损失,它们能够使三维网格模型更加精细、更加平滑;
(6)再进行二次变换、三次变换生成较为精细的三维模型和精细的三维模型;所述二次变换包括网格变形,上采样细化网格模型,生成较精细的三维模型;所述三次变换包括网格变形,生成精细的三维模型;
所述步骤(5)实现过程如下:
倒角损失函数Lcd:
倒角损失函数表示为预测点集与地面真实值点集见各个顶点的最小距离差值,其中,K为预测点集合,R为地面真实值顶点集合,顶点k为预测点集合K中任一顶点,顶点r是地面真实值的任一点;
重投影损失函数Lreproj:
重投影损失函数同时考虑了单应矩阵的计算误差和图像点的测量误差,其中,K为预测点集合,vk代表顶点k的坐标,顶点k为预测点集合K中任一顶点,πk代表任一顶点k变形后的相机位姿,利用与网格关联的语义对应,通过关键点分配矩阵A与顶点k的坐标vk,形成关键点重投影损失Lreproj;
平滑损失函数Lsmooth:
Lsmooth=BK2
平滑损失函数能够将三维网格模型表面光滑化为平均曲率的最小化,其中,其中B为离散的拉普拉斯‑贝尔特拉米算子,K为预测点集合;
总损失Lall为三种损失的加权和:
Lall=Lcd+λ1Lreproj+λ2Lsmooth
其中,λ1与λ2分别为重投影损失函数Lreproj和平滑损失函数Lsmooth的可调整权重参数。
2.根据权利要求1所述的基于二维图像重建三维网格模型的方法,其特征在于,步骤(1)所述的Stage1的特征维度为256,Stage2的特征维度为512,Stage3的特征维度为1024,总维度为1792。
3.根据权利要求1所述的基于二维图像重建三维网格模型的方法,其特征在于,所述步骤(3)所述的初始椭球以摄像机前方a为中心,以x、y、z为三轴半径,包含m个顶点;所述的图像特征附着在初始椭球的顶点上;所述的网格变形将感知特征和图像特征相连得到顶点坐标和三维形状特征并将其馈送到图残差网络中,生成新的顶点坐标和新的三维形状特征,作为网格变形的输出,图残差网络包含14个基于图形的卷积,基于图形的卷积层输出为其中 是任意顶点p在卷积后的特征向量,i+1是卷积后的状态,w0是顶点p的可学习参数矩阵, 是顶点p在卷积前的特征向量,i是卷积前的状态,顶点b是顶点p的相邻顶点,w1是顶点b的可学习参数矩阵, 是顶点b在卷积前的特征向量。
4.根据权利要求1所述的基于二维图像重建三维网格模型的方法,其特征在于,步骤(4)所述的上采样细化网格模型为网格是三角形,在三角形每条边的中心添加一个顶点,新添加顶点的3D特征被设置为其两个相邻顶点的平均值,将中心点两两相连,一个三角形即可变成四个三角形。
5.一种基于二维图像重建三维网格模型的装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1‑4任一项所述的基于二维图像重建三维网格模型的方法。