1.一种基于标签约束的多模态主题挖掘方法，其特征是按如下步骤进行：步骤1、构建多模态文档的数据集合D；

步骤1.1、构建多模态文档中的文本内容集合，记为 其中，表示第m条文本内容中的文本数据，并有 wm,t表示第m条文本内容中的第t个文本词，Nm表示第m条文本内容中的单词数量；M表示多模态文档的数量；

步骤1.2、构建多模态文档中的视觉内容集合，记为 其中， 表示第m条视觉内容中的图像数据，并有 vm,p表示第m条视觉内容中的第p个视觉词，Lm表示第m条视觉内容中的单词数量；

步骤1.3、构建多模态文档中的标签内容集合，记为Λ＝{Λ1,Λ2,...,Λm,...,ΛM}，其中，Λm表示第m条多模态文档中的标签内容集合；定义标签空间 L为不同标签的数量；l为标签空间中的任一标签序号；

步骤1.4、构建包含文本内容集合W，视觉内容集合V和标签内容Λ的数据集合D＝{W,V,Λ}；

步骤2、建模多模态文档的标签主题分布；

定义多模态文档的主题分布 其中， 表示第m条多模态文档的主题分布，并服从参数为α的狄利克雷分布；

定义第m条多模态文档中的标签j的主题分布为 其

中，Kj表示与标签j相关的主题数量，θm,j,k表示第m条文多模态档中的标签j在第k个主题上的兴趣权重，k∈{1,2,...,Kj}，j∈Λm；每个标签能与多个主题相关联，但每个主题只能分配给一个标签；

步骤3、建模多模态文档中的文本标签主题与视觉标签主题；

步骤3.1、确定多模态文档中的主题数量为K；

w

步骤3.2、定义标签j下的第k个主题的文本概率分布 服从参数为β 的狄利克雷分布，并有 其中，T表示文本内容集合中不重复的文本词数目， 表示标签j下的第k个主题在第t个文本词上的兴趣权重；

v

步骤3.3、定义标签j下的第k个主题的视觉概率分布 服从参数为β的狄利克雷分布，并有 其中，P表示视觉内容集合中不重复的视觉词数目，表示标签j下的第k个主题在第p个视觉词上的兴趣权重；

步骤4、建立基于标签约束的多模态主题模型；

步骤4.1、定义第m条多模态文档中的所有文本词的主题编号为其中， 表示第m条多模态文档中的第t个文本词的主题编号，并且 服从参数为 的多项式分布， 与 构成狄利克雷分布与多项式分布的共轭；定义第m条多模态文档中的第t个文本词wm,t属于标签j的兴趣权重为步骤4.2、定义第m条多模态文档中的所有视觉词的主题编号为其中， 表示第m条多模态文档中的第p个视觉词的主题编号，并且 服从参数为 的多项式分布， 与 构成狄利克雷分布与多项式分布的共轭；定义第m条文档中的第p个文本词vm,p属于标签j的兴趣权重为步骤5、运用坍塌式吉布斯采样的方法，对三个兴趣权重θm,j,k、 和 进行学习；

步骤5.1、利用式(1)计算观测到的文本词W和未观测到的第l个标签与所有多模态文档w w v w v的文本内容的主题编号z的联合概率分布p(W,V,z ,z ,l|α,β ,β)；

w v w v w w v v w v

p(W,V,z ,z ,l|α,β ,β)＝p(W|z ,l,β)p(V|z ,l,β)p(z ,z ,l|α)    (1)v式(1)中，z表示所有多模态文档的视觉内容的主题编号；α表示超参数；

w w

步骤5.1.1、利用式(2)计算多模态文档中所有文本词的生成概率p(W|z ,l,β)；

式(2)中，n.,j,k,b表示标签j下第k个主题生成的文本词b的数目，Δ为运算符，且对于任意K维的向量X，有 xk表示K维向量X的第k个分量，Γ(·)为伽马函数；

v v

步骤5.1.2、利用式(3)计算多模态文档中所有视觉词的生成概率p(V|z ,l,β)；

式(3)中，d.,j,k,c表示标签j下第k个主题生成的视觉词c数目；

w v

步骤5.1.3、利用式(4)计算所有多模态文档的标签主题生成概率p(z ,z ,l|α)；

式(4)中，nm,j,k,.表示第m条多模态文档中标签j下第k个主题对应的文本词数目；dm,j,k,.表示第m条多模态文档中标签j下第k个主题对应的视觉词数目；

步骤5.2、利用式(5)求解第m条多模态文档中的第t个文本词e被分配给标签j下的第k个主题的概率式(1)中，∝表示正比于，I(·)表示指示函数；∧表示逻辑合取，lm,t＝j表示第m条多模态文档中的第t个文本词对应标签是j， 表示第m条多模态文档中的第t个文本词对应的主题编号是k，l‑m,t表示除第m条多模态文档中第t个文本词之外的所有文本词的标签，表示除第m条多模态文档中第t个文本词之外的所有文本词的主题编号，wm,t＝e表示第m条多模态文档中第t个文本词是e， 表示除第m条多模态文档中第t个文本词之外，标签j下主题k生成的文本词e数目， 表示除第m条多模态文档中第t个文本词之外，文档m中标签j下第k个主题对应的文本词数目，dm,j,k,.表示第m条多模态文档中标签j下第k个主题对应的视觉词数目；

步骤5.3、利用式(6)求解第m条多模态文档中的第t个视觉词f被分配给标签j下的第k个主题的概率式(6)中， 表示第m条多模态文档中的第t个视觉词对应的主题编号是k，l‑m,t表示除第m条多模态文档中第t个视觉词之外的所有视觉词的标签， 表示除第m条多模态文档中第t个视觉词之外的所有视觉词的主题编号，vm,t＝f表示第m条多模态文档第t个视觉词是f， 表示除第m条多模态文档中第t个视觉词之外，标签j下第k个主题生成的视觉词f数目， 表示除第m条多模态文档中第t个视觉词之外，文档m中标签j下第k个主题对应的视觉词数目，nm,j,k,.表示第m条多模态文档标签j下第k个主题对应的文本词数目；

步骤5.4、重复循环步骤5.2和步骤5.3，从而利用坍塌式吉布斯采样方法为多模态文档中的所有文本词和视觉词分配标签主题，直至满足迭代条件；

步骤5.5、利用式(7)计算第m条多模态中标签j下第k个主题的兴趣权重θm,j,k：步骤5.5、利用式(8)计算标签j下的第k个主题在文本词e上的兴趣权重式(8)中，n.,j,k,e表示标签j下第k个主题生成的文本词e的数目；

步骤5.5、利用式(9)计算标签j下的第k个主题在视觉词f上的兴趣权重式(9)中，d.,j,k,f表示标签j下第k个主题生成的视觉词f的数目；

以兴趣权重所得到的多模态文档的主题分布，文本主题词分布和视觉主题词分布，作为主题挖掘结果。