1.基于时空特征信息的草图检索三维模型的跨模态检索方法,所述时空特征信息包括时序动态特征信息和空间静态特征信息;其特征在于,该方法是先进行数据选取,然后构建草图-三维模型图像序列和时空特征信息提取网络,使用时空特征信息提取网络提取草图和三维模型的时空特征信息,再使用深度度量学习实现草图和三维模型的时空特征信息联合,最后根据时空特征信息联合中草图和三维模型的时空特征信息的欧式距离进行相似度计算;其包括以下步骤:S1、数据选取
数据集选用草图检索三维模型的标准数据集SHREC2013、SHREC2014,每个数据集包括三维模型数据和草图数据两个部分,分别针对两个数据集划分训练数据集和测试数据集;
S2、构建草图-三维模型图像序列
构建的草图-三维模型图像序列包含草图图像序列和三维模型图像序列;针对步骤S1所选取的两个数据集的草图数据部分,根据草图绘制的笔画顺序构建草图图像序列;针对步骤S1所选取的两个数据集的三维模型部分,根据三维模型的投影顺序获得三维模型图像序列;
S3、构建时空特征信息提取网络
构建的时空特征信息提取网络由卷积神经网络和循环神经网络组成,所述时空特征信息提取网络通过训练数据集完成训练后,再使用测试数据集进行测试,在进行时空特征信息提取时,所述时空特征信息提取网络是使用卷积神经网络提取草图-三维模型图像序列中单个图像的空间静态特征信息,使用循环神经网络提取草图-三维模型图像序列的时序动态特征信息,再将提取的空间静态特征信息和时序动态特征信息串行连接,完成时空特征信息的有效融合;
S4、时空特征信息联合
引入深度度量学习进行草图和三维模型的时空特征信息联合,确保在时空特征信息联合中草图和三维模型这两种跨域数据的相同类别的欧式距离小于不同类别的欧式距离,以符合草图检索三维模型这一跨模态数据检索的特性;
S5、相似度计算
在相似度计算中,计算测试数据集的草图和三维模型的时空特征信息在时空特征联合中的欧式距离,并将得到的欧式距离进行排序完成检索过程,最后使用三维模型检索领域通用的评价指标作为检索的评价标准;其中,对于相同类别的草图和三维模型,在时空特征信息联合中的时空特征信息距离趋近。
2.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法,其特征在于:在步骤S1中,所述SHREC2013包含90个类、7200张草图和1258个三维模型,各个类中的三维模型数量不等,最少的只有4个,最多的则有184个,各个类中的草图数目均为
80,实验中,针对每个类,50个草图用作训练,30个草图用作测试,1258个三维模型则全部作为检索对象;所述SHREC2014包含171个类、13680张草图和8978个三维模型,各个类中的三维模型数量最少的少于10个,最多的则多于300个,各个类中的草图数目也为80,实验中,针对每个类,50个草图用作训练,30个草图用作测试,8978个三维模型则全部作为检索对象。
3.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法,其特征在于:在步骤S2中,所述草图图像序列的选取范围为2~4张;针对步骤S1所选取的两个数据集的三维模型部分,将三维模型水平放置后选取预设角度对三维模型进行顺序视图投影,根据其投影顺序选取4~12张视图完成对三维模型图像序列的构建。
4.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法,其特征在于:在步骤S3中,所述卷积神经网络选用网络权值共享的残差网络提取输入草图-三维模型图像序列的空间静态特征,所述循环神经网络选用网络权值共享的长短期记忆网络进行时序动态特征的提取,其中,所述长短期记忆网络中每个网络模块由三个不同的门控单元构成,分别为遗忘门、输入门和输出门,门控单元介绍如下:遗忘门,决定了上一时刻的单元状态有多少保留到当前时刻的网络模块;
输入门,决定了当前时刻网络的输入有多少保存到单元状态;
输出门,能够控制单元状态有多少输出到的当前输出值。
5.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法,其特征在于:在步骤S4中,使用深度度量学习对草图和三维模型进行时空特征信息联合,以使草图和三维模型的时空特征信息联合具有相同类别的时空特征信息欧式距离相近,不同类别的时空特征信息欧式距离变远的特点;在深度度量方法中选择了三元中心损失的方法,将草图和三维模型的样本统称为xi,则输入样本xi与其类中心Ci的距离Dp为:Dp=D(Ri n n i i i(x),Ci),与其它类中心Cj的距离D为D =D(R(x),Cj),其中,R(x)为样本x 在步骤S3中的特征提取操作,要求输入样本与同类样本在时空特征联合中欧式距离近,到其它类样本在时空特征联合中欧式距离远,等价于输入样本与同类样本中心之间的欧式距离小于到其它类样本中心的欧式距离,即min Dn>Dp,引入决策边界α,α>0,则能够进一步转化为min Dn-Dp>α,为此,设定一个批次的样本数目为M,i为选取样本的编号,i的取值范围为1~M,∑为遍历求和操作,则三元中心损失的损失函数Lt-c定义为:为了在训练过程中更好地找到各个类的类中心,建立更加鲁棒的损失函数,在三元中心损失Lt-c的基础上考虑交叉熵损失Lsoftmax,形成最终损失Ltotal:Ltotal=w1Lt-c+w2Lsoftmax
其中,w1和w2为权重,旨在平衡度量损失和分类损失在整个分类中所占的比重。
6.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法,其特征在于:在步骤S5中,对测试数据集部分的草图和三维模型的时空特征信息进行相似度计算,设i、j分别表示为草图和三维模型中的不同类别,当类别为i时,设草图和三维模型的样本统称为xi,设R(xi)为样本xi在步骤S3中的特征提取操作,Cj是类别为j时草图和三维模型样本在步骤S4中时空特征信息联合的类别中心,|| ||为绝对值操作,则计算草图和三维模型的时空特征信息在时空特征信息联合中的欧式距离D(R(xi),Cj)定义为:最后,将得到的欧式距离进行排序操作,即可完成基于时空特征信息的草图检索三维模型的跨模态检索过程,并使用三维模型检索领域通用的7项评价指标:Precision-Recall curves即准确率-召回率曲线PR、Nearest Neighbor即最近邻NN、First Tier即第一批次FT、Second Tier即第二批次ST、E-Measure即E方法、Discounted Cumulative Gain即折扣累计收益DCG、Mean Average Precision即平均准确率MAP,作为检索的评价标准。