1.一种基于异构图的多模态教学视频摘要生成方法，其特征在于：包括如下步骤：S1、获取若干个视频样本形成训练集，所述视频样本包括教学视频、以及对应采样的视频帧序列和句子序列；

S2、建立多模态摘要生成模型并利用训练集训练，所述多模态摘要生成模型执行如下操作：S21、分别将视频帧序列输入视觉特征提取模型得到视觉特征向量集合、以及将句子序列输入语言模型得到文本特征向量集合，拼接视觉特征向量集合和文本特征向量集合形成多模态特征表示；

S22、将视频帧序列中各视频帧和句子序列中各句子视为节点，并使任意节点间存在连接关系初始化邻接矩阵；

S23、分别计算节点间的模态内连接关系和模态间时间对齐关系，对应构建模态内约束矩阵和模态间约束矩阵后与邻接矩阵三者进行哈达玛积形成邻接表示 ，获得优化异构图， 为全部节点集合；

S24、执行双阶段融合策略，即通过全局注意力机制获取多模态特征表示的浅层融合表示后，再将浅层融合表示和优化异构图输入双层图注意力网络获得多模态统一表示；

S3、利用训练好的多模态摘要生成模型输出的多模态统一表示筛选出关键视频帧节点集合 和关键句子节点集合 ，并对应保留在优化异构图内的连接关系作为子邻接矩阵，获得多模态摘要图 作为教学视频摘要生成结果。

2.如权利要求1所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述视觉特征提取模型为预训练好的ResNet模型或预训练好的ViT模型，所述语言模型为预训练好的BERT模型或预训练好的RoBERTa模型。

3.如权利要求1所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述分别计算节点间的模态内连接关系和模态间时间对齐关系，对应构建模态内约束矩阵和模态间约束矩阵，具体如下：S231、遍历全部节点集合提取节点对；

S232、当节点对中节点为相同模态时计算对应节点的余弦相似度以确定模态内连接关系，当节点对中节点为不同模态时计算对应节点的模态间时间对齐关系；

S2 3 3、获 取模 态内 约 束矩 阵 和 模态 间约 束 矩阵，其中，模态内约束矩阵 的左上角 区域和右下角 区域的元素由对应节点对的模态内连接关系表示，左下角 区域和右上角 区域的元素均置为0，模态间约束矩阵 的左下角 区域和右上角 区域的元素由对应节点对的模态间时间对齐关系表示，左上角 区域和右下角 区域的元素均置为0，其中，为视频帧序列中视频帧的总数， 为句子序列中句子的总数。

4.如权利要求3所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述当节点对中节点为相同模态时计算对应节点的余弦相似度以确定模态内连接关系，当节点对中节点为不同模态时计算对应节点的模态间时间对齐关系，具体如下：

1）在节点对中节点均为句子节点时，执行如下操作：

获得节点对对应的文本特征向量对；

计算文本特征向量对中文本特征向量间的余弦相似度；

根据第一预设阈值约束模态内连接关系作为节点对的句子间连接关系，即当文本特征向量间的余弦相似度大于第一预设阈值时节点对的句子间连接关系表示为1，否则，表示为

0；

2）在节点对中节点均为视频帧节点时，执行如下操作：

获得节点对对应的视觉特征向量对；

计算视觉特征向量对中视觉特征向量间的余弦相似度；

根据第二预设阈值约束模态内连接关系作为节点对的视频帧间连接关系，即当视觉特征向量间的余弦相似度大于第二预设阈值时节点对的句子间连接关系表示为1，否则，表示为0；

3）在节点对中节点分别为视频帧节点和句子节点时，执行如下操作：计算节点对的模态间时间对齐关系，所述模态间时间对齐关系包括视频帧节点到句子节点的模态间时间对齐关系和句子节点到视频帧节点的模态间时间对齐关系，即当视频帧节点和句子节点的时间窗口一致时，视频帧节点到句子节点的模态间时间对齐关系和句子节点到视频帧节点的模态间时间对齐关系表示为1，否则，表示为0。

5.如权利要求1所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述通过全局注意力机制获取多模态特征表示的浅层融合表示，具体如下：S2411、根据多模态特征表示分别计算查询矩阵、键矩阵和值矩阵；

S2412、根据查询矩阵、键矩阵和邻接表示计算注意力权重矩阵；

S2413、将注意力权重矩阵和值矩阵相乘得到第一更新特征，并将多模态特征表示与第一可学习线性变换矩阵相乘后和第一更新特征进行残差连接，获得浅层融合表示；

所述将浅层融合表示和优化异构图输入双层图注意力网络获得多模态统一表示，具体如下：S2421、按照节点连接类型将优化异构图拆分为四个子图；

S2422、将浅层融合表示输入双层图注意力网络以分别在各子图上进行节点特征的传播后聚合，获得多模态统一表示。

6.如权利要求5所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述双层图注意力网络包括依次连接的第一图注意力模块和第二图注意力模块，各所述图注意力模块执行如下操作：将对应图注意力模块的输入特征分别在各子图上通过图注意力层进行节点特征的传播获得更新特征，并拼接对应子图所有节点的更新特征生成对应子图的更新特征矩阵；

将第一子图的更新特征矩阵和第三子图的更新特征矩阵拼接后与第一可学习权重矩阵相乘，获得视频帧节点表示，同时将第二子图的更新特征矩阵和第四子图的更新特征矩阵拼接后与第二可学习权重矩阵相乘，获得句子节点表示；

将视频帧节点表示和句子节点表示进行拼接操作，获得对应图注意力模块的输出特征。

7.如权利要求1所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述多模态摘要生成模型还执行如下操作：S25、基于优化异构图进行重启随机游走，构建语义增强有向图；

S26、根据语义增强有向图计算联合损失函数用于反向传播以优化多模态摘要生成模型的模型参数，具体如下：S261、将多模态统一表示进行线性变换，获得节点重要性分数预测结果；

S262、对节点重要性分数预测结果中的分数降序排列后，根据降序排列后的分数分别选取前 个视频帧节点和前 个句子节点，对应形成关键视频帧节点集合 和关键句子节点集合 ， 、 ， 为视频帧序列中视频帧的总数， 为句子序列中句子的总数；

S263、根据关键视频帧节点集合 和关键句子节点集合 构建模态间对比样本三元组集合和模态内对比样本三元组集合；

S264、根据节点重要性分数预测结果、模态间对比样本三元组集合和模态内对比样本三元组集合计算联合损失函数；

S265、反向传播联合损失函数优化多模态摘要生成模型的模型参数。

8.如权利要求7所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述基于优化异构图进行重启随机游走，构建语义增强有向图，具体如下：S251、对邻接表示 按列归一化，即令邻接表示 中每列元素之和为1，获得随机游走转移矩阵 ；

S252、设定初始随机游走概率矩阵 为单位矩阵；

S253、根据预设重启概率 、随机游走转移矩阵 、初始随机游走概率矩阵 和上一次迭代的随机游走概率矩阵更新当次迭代随机游走概率矩阵，则第 次迭代的随机游走概率矩阵 更新公式如下：；

其中， 为第 次迭代的随机游走概率矩阵， 为第 次迭代的随机游走概率矩阵， ，为总迭代次数；

S254、置 ，返回执行步骤S253，直至重启随机游走收敛或达到预设迭代次数，获得第 次迭代的随机游走概率矩阵 作为概率分布矩阵；

S255、按节点连接类型将第 次迭代的随机游走概率矩阵 拆分为四个子矩阵，子矩阵中的元素表示语义对齐关系；

S256、根据拆分的四个子矩阵确定各节点的模态间语义对齐关系和模态内语义对齐关系，即选取对应节点语义对齐关系最大的不同模态节点生成模态间语义对齐关系，选取对应节点语义对齐关系最大的相同模态节点生成模态内语义对齐关系，所述模态间语义对齐关系和模态内语义对齐关系均表示为1；

S257、将各节点的模态间语义对齐关系和模态内语义对齐关系作为边集中对应位置的元素，且其他位置元素表示为0，构建语义增强有向图。

9.如权利要求7所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述模态间对比样本三元组集合包括视频帧模态间对比样本三元组集合 和句子模态间对比样本三元组集合 ，其中：

1）视频帧模态间对比样本三元组集合 ，获取如下：

以关键视频帧节点集合 作为视频锚点集合；

对关键句子节点集合 中的节点，将语义增强有向图 中对应边集 的元素为1时的视频帧节点加入视频正样本集合 ，共包含 个元素；

从视频帧节点集合 中去除视频锚点集合 与视频正样本集合 ，将剩余的个节点构成视频负样本集合 ；

构建视频帧模态间对比样本三元组集合 ；

2）句子模态间对比样本三元组集合 ，获取如下：

以关键句子节点集合 作为句子锚点集合；

对关键视频帧节点集合 中的节点，将语义增强有向图 中对应边集 的元素为1时的句子节点加入句子正样本集合 ，共包含 个元素；

从句子节点集合 中去除句子锚点集合 与句子正样本集合 ，将剩余的个节点构成句子负样本集合 ；

构建句子模态间对比样本三元组集合 ；

所述模态内对比样本三元组集合包括视频帧模态内对比样本三元组集合 和句子模态内对比样本三元组集合 ，其中：

1）视频帧模态内对比样本三元组集合 ，获取如下：

在关键视频帧节点集合 中任取一节点作为视频锚点样本；

对视频锚点样本，将语义增强有向图 中对应边集 的元素为1时的视频帧节点作为视频正样本；

从关键视频帧节点集合 中去除视频锚点样本后随机选取一个视频帧节点作为视频负样本，形成由视频锚点样本、视频正样本和视频负样本组成的视频对比三元组；

遍历关键视频帧节点集合 形成 个视频对比三元组，全部视频对比三元组构成视频帧模态内对比样本三元组集合 ；

2）句子模态内对比样本三元组集合 ，获取如下：

在关键句子节点集合 中任取一节点作为句子锚点样本；

对句子锚点样本，将语义增强有向图 中对应边集 的元素为1时的句子节点作为句子正样本；

从关键句子节点集合 中去除句子锚点样本后随机选取一个句子节点作为句子负样本，形成由句子锚点样本、句子正样本和句子负样本组成的句子对比三元组；

遍历键句子节点集合 形成 个句子对比三元组，全部句子对比三元组构成句子模态内对比样本三元组集合 。

10.如权利要求7所述的基于异构图的多模态教学视频摘要生成方法，其特征在于：所述根据节点重要性分数预测结果、模态间对比样本三元组集合和模态内对比样本三元组集合计算联合损失函数，具体如下：S2631、基于节点重要性分数预测结果采用Focal Loss损失函数计算分类损失 ；

S2632、分别基于视频帧模态间对比样本三元组集合 和句子模态间对比样本三元组集合 采用Triplet Loss损失函数对应计算视觉模态一致性损失和文本模态一致性损失 ；

S2633、分别基于视频帧模态内对比样本三元组集合 和句子模态内对比样本三元组集合 采用Triplet Loss损失函数对应计算视觉模态内多样性损失 和句子模态内多样性损失 ；

S2634、获取联合损失函数 ：

；

其中， 为视觉模态一致性损失 的权重， 为文本模态一致性损失 的权重，为视觉模态内多样性损失 的权重， 为句子模态内多样性损失 的权重。