利索能及
我要发布
收藏
专利号: 2021108796762
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种单图像引导的三维表面重建方法,其特征在于,包括以下步骤:(1)建立一个预定义的顶点分布均匀的椭球体网格,采用轻量级网络AlexNet的主体架构对输入图像进行特征提取:将AlexNet后三个卷积池化层生成的特征图像拼接,采用双线性插值法,寻找到原图像投影点在各个特征图像上的特征点;提取特征点邻近四个像素的图像特征向量并串联;

(2)构建基于三维图卷积神经网络的网格变形模块,将预定义的椭球体网格变形为与二维图像对应的三维模型;所述网格变形模块的主架构为图的残差网络,输入为椭球体网格的顶点坐标、顶点特征和步骤(1)中获取的串联的图像特征向量,输出为新的顶点坐标、颜色特征、纹理特征;

(3)增加网格顶点数量,优化表面细节,并通过三维监督约束生成三维网格表面模型;

所述步骤(2)包括以下步骤:

(21)初始椭球体网格模型为M=(V,E,F),其中,V是所有网格顶点的集合;E是所有边的集合,每条边连接两个顶点;F是附加在顶点上的特征向量,是操控顶点变形的基准;GCN对图的特征进行提取如下:l l+1

其中,H 和H 分别为更新前后的网格模型拓扑结构,也即整个三维网格所有顶点的特l征向量的集合;l代表任一图卷积层,l越大网络的深度越大;当l=0时,H特化为输入图像l的特征矩阵;为图的邻接矩阵A加上了单位矩阵,W为待训练的参数矩阵; 是一种拉普拉斯矩阵,引入了图自身的度矩阵D,对邻接矩阵A进行了归一化操作;

(22)构建图卷积残差网络并对其进行训练:构建共有a个图卷积层的深度残差网络,每两个层之间有一个残差连接;从网络的第b层开始,添加平行分支;残差网络中各添加4个图卷积块用于预测顶点的颜色特征和纹理特征;

(23)生成新顶点和特征:GCN根据输入的三维顶点特征和二维图像特征的串联,预测出每个顶点新的三维坐标和三维特征;

l

(24)损失函数调参:通过深度残差网络的反向传播调整参数矩阵W ,直到生成最优的三维网格模型,实现过程如下lall=λ1lc+λ2le+λ3llap+λ4lloc    (7)其中,lc为倒角距离、le为搬土距离、llap为拉普拉斯正则化、lloc为边长正则化,lall为总损失;p表示预测点集S1中的一个顶点,q表示地面真实点集S2中的一个顶点,φ(p)表示p的邻近顶点,k是p的邻近像素;δ′pp和δp分别为预测网格中顶点p在变形前后的拉普拉斯坐标;

λm(m=1,2,3,4)为可调整的权重参数;当总损失lall最小时,整个GCN训练完成。

2.根据权利要求1所述的单图像引导的三维表面重建方法,其特征在于,所述步骤(3)实现过程如下:将添加顶点后的三维模型再次输入网格变形模块中,对新添加的顶点继续提取特征,运行图卷积更新顶点位置和顶点特征,进一步细化三维网格模型。

3.一种单图像引导的三维表面重建装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1‑2任一项所述的单图像引导的三维表面重建方法。