1.一种基于草图检索三维模型的跨模态检索方法,其特征在于,该方法是以三元网络为基本结构,训练跨域的分类器,不断缩小跨域模态之间的差异,提高检索精度,其包括以下步骤:
1)数据集选取
数据集选用标准的SHREC2013、SHREC2014数据集,每个数据集包括三维模型数据子集和草图数据子集;
2)原数据集预处理
对数据集中的三维模型数据进行渲染,一个三维模型得到多个二维视图,这些二维视图用来表示三维模型,草图数据统一尺寸成256×256;
3)训练草图分类器和视图分类器
对于草图分类器,将二维视图通过边缘提取转换成草图,以原始草图为anchor,转换得到的草图划分为正例和负例,送到三元网络中训练,以网络的参数作为草图分类器的输出;
对于视图分类器,将原始草图通过GAN网络转换成视图,以这个视图为anchor,三维模型的视图划分为正例和负例,送到三元网络训练,以网络的参数作为视图分类器的输出;
以三元网络为基本结构,对于每一个分支采用Alexnet网络,具体如下:在草图分类器中,需要在草图域中得到草图和视图的联系,因此要将二维视图先转换成草图,首先,利用canny算子提取视图的边缘信息,然后进行膨胀和高斯滤波处理得到草图,在构建三元网络时,以原始数据集中的草图作为anchor,以边缘提取操作转换的草图数据集中选择和anchor同类别的作为正例,和anchor不同类别的作为负例,不同分支之间共享参数,构建三元网络的损失函数,来让跨域特征分布有相关性,损失函数表示为:式中,Lsketch表示草图分类器的损失,目的是为了使anchor和正例的距离越来越近,anchor和负例的距离越来越远, 代表作为anchor的草图及转换得到的视图中的正例与负例,fs()是通过网络训练得到的特征,α表示正样本对和负样本对之间的约束,通过不断优化使损失达到最小,草图分类器就训练完成;
在视图分类器中,使用cyclegan作为草图转视图的工具,由于三维模型渲染的视图数据集远远大于原始草图数据集,因此在构建三元网络时,以草图转换到的视图作为anchor,在视图数据集中选择和anchor同类别的作为正例,和anchor不同类别的作为负例,不同分支之间共享参数,构建三元网络的损失函数,来学习跨域特征分布的相关性,损失函数表示为:
式中,Lview表示视图分类器的损失, 分别表示通过GAN转换得到作为anchor的视图及三维模型渲染得到的视图中的正例和负例,fv()表示经过网络训练到的特征,通过对网络不断迭代优化,使anchor和正例的距离越来越近,anchor和负例的距离越来越远,网络的参数即代表样本之间的相关性和区分性;
4)构建深度度量学习空间
以原始数据集中的草图和视图作为网络的输入,将草图和视图分类器得到的参数作为网络的参数,通过训练达到检索目标,具体如下:以原始数据集中的草图和三维模型渲染得到的视图作为输入,以草图作为anchor,在视图集中选择正例与负例,使用草图分类器和视图分类器得到的参数作为网络的参数,这两个分类器的参数代表了草图域和视图域中不同模态之间的关系,和分类器网络训练过程一样,正例和负例网络分支共享权值,不断优化得到所需的检索网络,基于草图的三维模型检索依赖于草图特征和多视图特征之间的距离度量,对于最后的检索网络提取到的草图和视图的特征描述符,通过Wasserstein距离来度量它们之间的距离,距离越近则表示越相似,相似度度量如下:
式中, 为三维模型中第m个模型和第n个视图的特征, 为第i个草图的特征,D(Mm,Si)越小,表明草图Si和三维模型视图Mm越相似。
2.根据权利要求1所述的一种基于草图检索三维模型的跨模态检索方法,其特征在于:在步骤1)中,选用数据集为SHREC2013和SHREC2014,SHREC2013数据集包含1258个三维模型和7200张草图,共计90类,每类草图包括50个训练样本和30个测试样本,共计80个样本;
SHREC2014数据集包含8987个三维模型和13680张草图,共171类,每类草图包括50张训练样本和30张测试样本,共计80张样本。
3.根据权利要求1所述的一种基于草图检索三维模型的跨模态检索方法,其特征在于:在步骤2)中,数据集内所有三维模型进行正则化摆放,通过在三维空间设定的位置放置虚拟摄像机来渲染二维视图,同时为了更明显地突出三维模型表面的深度信息,渲染时还添加了光照,用渲染的二维视图的明暗信息来表征三维模型表面的深度信息;将草图尺寸调整为与网络所需尺寸相适应的大小,其目的在于对数据图像正则化以减少参数量,使得网络更加高效运行。