利索能及
我要发布
收藏
专利号: 2020106998801
申请人: 浙江商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维网格模型的重建方法,其特征在于,包括:对目标图像进行特征提取,得到目标特征信息;其中,所述目标图像包含待重建对象;

基于所述目标特征信息,确定所述待重建对象的显著性区域;

根据所述显著性区域,构建所述待重建对象的最终三维网格模型。

2.根据权利要求1所述的方法,其特征在于,所述基于所述目标特征信息,确定所述待重建对象的显著性区域,包括:利用所述目标特征信息,将基础点云模型变形为所述待重建对象对应的目标点云模型;

确定所述目标点云模型的显著性区域。

3.根据权利要求2所述的方法,其特征在于,所述利用所述特征信息,将基础点云模型变形为所述待重建对象对应的目标点云模型,包括:将所述基础点云模型投影至所述目标图像所在平面,以确定所述基础点云模型中各点对应的所述目标特征信息;

利用第一神经网络对所述基础点云模型中各点对应的目标特征信息进行处理,得到所述基础点云模型变形为所述目标点云模型后的各点的位置信息;

所述确定所述目标点云模型的显著性区域,包括:

获取所述目标点云模型的点分布情况;

查找出所述目标点云模型中所述点分布情况满足显著性分布要求的点云区域,以作为所述显著性区域。

4.根据权利要求3所述的方法,其特征在于,在所述将所述基础点云模型投影至所述目标图像所在平面之前,所述方法还包括:在单位球内均匀采样点,以得到所述基础点云模型;

所述基础点云模型变形为所述目标点云模型后的各点的位置信息为:所述基础点云模型变形为所述目标点云模型后的各点的位置偏移量;

所述显著性分布要求包括点分布密度大于预设密度值。

5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括以下步骤,以训练得到所述第一神经网络:获取样本图像和样本对象的真实三维网格模型,其中,所述样本图像包含所述样本对象;

对所述样本图像进行特征提取,得到样本特征信息;

将所述基础点云模型投影至所述样本图像所在平面,以确定所述基础点云模型中各点对应的所述样本特征信息;

利用第一神经网络对所述基础点云模型中各点对应的样本特征信息进行处理,得到所述基础点云模型变形为所述预测点云模型后的各点的位置信息;

对所述真实三维网格模型进行网格简化,得到简化三维网格模型;

查找出所述预测点云模型中与所述简化三维网格模型的各顶点匹配的点,得到若干组匹配点对;

利用每组匹配点对的位置差异,调整所述第一神经网络的参数。

6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述显著性区域,构建所述待重建对象的最终三维网格模型,包括:利用所述目标特征信息构建得到所述待重建对象的初始三维网格模型;

对所述初始三维网格模型进行网格细分,得到所述待重建对象的所述最终三维网格模型,其中,所述网格细分包括对应所述显著性区域进行局部网格细分。

7.根据权利要求6所述的方法,其特征在于,所述对所述初始三维网格模型进行网格细分,得到所述待重建对象的所述最终三维网格模型,包括:以进行本次网格细分之前的三维网格模型为第一三维网格模型;

将所述第一三维网格模型投影至所述目标图像所在平面,以确定所述第一三维网格模型中各顶点对应的所述目标特征信息;

在所述第一三维网格模型的目标区域中增加至少一个新顶点;其中,所述目标区域至少包括所述显著性区域;

利用所述第一三维网格模型的原顶点的目标特征信息,得到所述细分边对应的新顶点的目标特征信息;

基于所述第一三维网格模型的原顶点和新顶点的目标特征信息,得到经本次网格细分后的第二三维网格模型。

8.根据权利要求7所述的方法,其特征在于,若本次网格细分为所述局部网格细分,则所述在所述第一三维网格模型的目标区域中增加至少一个新顶点,包括:在所述第一三维网格模型中,将位于所述显著性区域的至少一条边作为细分边;

在所述细分边上确定至少一个新顶点。

9.根据权利要求8所述的方法,其特征在于,所述显著性区域包括若干显著点;所述在所述第一三维网格模型中,将位于所述显著性区域的至少一条边作为细分边,包括:在所述第一三维网格模型中,为每个所述显著点查找出位置满足预设位置条件的边以作为待细分边;

统计所述第一三维网格模型中每条边被确定为所述待细分边的次数;

将所述待细分边的次数满足预设细分条件的边作为所述细分边。

10.根据权利要求9所述的方法,其特征在于,所述预设位置条件为与所述显著点的位置最近;

所述预设细分条件为所述待细分边的次数大于预设次数,或者,在所述第一三维网格模型的所有边从多到少的次数排序中,所述待细分边的次数位于前预设数量或前预设比例内。

11.根据权利要求6至10任一项所述的方法,其特征在于,所述网格细分还包括对应所述整个三维网格模型进行全局网格细分;若本次网格细分为所述全局网格细分,则所述在所述第一三维网格模型的目标区域中增加至少一个新顶点,包括:将所述第一三维网格模型中的每条边分别作为细分边;

在所述细分边上确定至少一个新顶点。

12.根据权利要求11所述的方法,其特征在于,所述在所述细分边上确定至少一个新顶点,包括:将所述细分边的中点作为所述新顶点;

所述利用所述第一三维网格模型的原顶点的目标特征信息,得到所述细分边对应的新顶点的目标特征信息,包括:利用所述细分边对应的两个所述原顶点的目标特征信息,得到所述细分边对应的新顶点的目标特征信息。

13.根据权利要求7至12任一项所述的方法,其特征在于,所述基于所述第一三维网格模型的原顶点和新顶点的目标特征信息,得到经本次网格细分后的第二三维网格模型,包括:利用第二神经网络对所述第一三维网格模型的原顶点和新顶点的目标特征信息进行处理,得到所述第一三维网格模型变形为所述第一三维网格模型后的各顶点的位置信息。

14.根据权利要求6至13任一项所述的方法,其特征在于,所述利用所述目标特征信息构建得到所述待重建对象的初始三维网格模型,包括:将基础三维网格模型投影至所述目标图像所在平面,以确定所述基础三维网格模型中各顶点对应的所述目标特征信息;

利用第二神经网络对所述基础三维网格模型中各顶点对应的目标特征信息进行处理,得到所述基础三维网格模型变形为所述初始三维网格模型后的各顶点的位置信息;

其中,所述各顶点的位置信息为位置偏移量。

15.根据权利要求1至14任一项所述的方法,其特征在于,所述目标图像为二维图像;

和/或,

所述对目标图像进行特征提取,得到目标特征信息,包括:利用第三神经网络对目标图像进行特征提取,得到若干维度的特征信息;

将所述若干维度的特征信息融合得到目标特征信息,其中,所述目标特征信息为特征张量。

16.一种三维网格模型的重建装置,其特征在于,包括:特征提取模块,对目标图像进行特征提取,得到目标特征信息;其中,所述目标图像包含待重建对象;

显著性区域确定模块,用于基于所述目标特征信息,确定所述待重建对象的显著性区域;

模型构建模块,用于根据所述显著性区域,构建所述待重建对象的最终三维网格模型。

17.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至15任一项所述的三维网格模型的重建方法。

18.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至15任一项所述的三维网格模型的重建方法。