利索能及
我要发布
收藏
专利号: 202410444602X
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种新闻摘要生成方法,其特征在于,包括:

根据新闻文本以及与新闻文本相关的图片,分别获得新闻文本的单词编码特征和图片的视觉目标特征;

对单词编码特征和视觉目标特征进行多模态编码,获得新特征;其中,在多模态编码中,单词编码特征与视觉目标特征相互观察,更新各自的表示;新特征包括新的单词编码特征和新的视觉目标特征;

将新特征作为节点,将节点之间的相似度作为边,构建多模态动态图,并在多模态动态图中区分出消极节点和积极节点;

对新特征、消极节点和积极节点进行多模态解码,获得新特征中的积极特征和消极特征;其中,在多模态解码中,新特征观察消极节点和积极节点,更新自身的表示;

根据新特征中的积极特征和消极特征,生成新闻摘要。

2.根据权利要求1所述的新闻摘要生成方法,其特征在于,根据新闻文本,获得新闻文本的单词编码特征,包括:采用语言模型,将新闻文本转化为词嵌入向量,采用自注意力机制,对词嵌入向量进行编码,获得新闻文本的单词编码特征。

3.根据权利要求1所述的新闻摘要生成方法,其特征在于,多模态编码采用多层Cross‑transformers,每层Cross‑transformers的输出通过前馈子层输入下一层Cross‑transformers;第k层Cross‑transformers的公式为:;

式中,SelfAttL→L为单词编码特征到单词编码特征的自注意力层函数,SelfAttR→R为视觉目标特征到视觉目标特征的自注意力层函数, 为第k‑1层Cross‑transformers的第i个单词特征输出, 为第k层Cross‑transformers的第i个单词特征输出, 为第k层Cross‑transformers的第i个单词到目标的跨模态注意力特征输出,1≤i≤m,m为单词编码特征数量,1≤j≤n,n为视觉目标特征数量,CrossAttL→R为单词编码特征到视觉目标特征的交叉注意力层函数,CrossAttR→L为视觉目标特征到单词编码特征的交叉注注意力层函数。

4.根据权利要求1所述的新闻摘要生成方法,其特征在于,采用对抗学习构建多模态动态图,包括:根据新特征,获取多模态动态图的初始关系矩阵和对抗邻阶矩阵;

根据对抗邻阶矩阵,在节点与节点之间的边以及节点中注入高斯噪声,分别获取边中注入高斯噪声的对抗关系矩阵和节点中注入高斯噪声的对抗关系矩阵;

根据对抗关系矩阵和初始关系矩阵,计算KL散度损失;根据对抗关系矩阵的对数梯度和初始关系矩阵的对数梯度,计算梯度一致性损失;

根据KL散度损失和梯度一致性损失进行对抗性学习,构建多模态动态图。

5.根据权利要求4所述的新闻摘要生成方法,其特征在于,在多模态动态图中区分出消极节点和积极节点,包括:计算带高斯噪声的对抗邻阶矩阵与相似度矩阵之间的相似关系矩阵,从相似关系矩阵中选择最大的n个边作为锚点边,将锚点边联系的节点作为积极节点,其余节点作为消极节点;其中,相似度矩阵为节点间的相似度矩阵。

6.根据权利要求1所述的新闻摘要生成方法,其特征在于,根据新特征中的积极特征和消极特征,生成新闻摘要,包括:根据新特征中的积极特征和消极特征,获取相关词表和不相关词表的概率分布;

将相关词表的概率分布减去不相关词表的概率分布,获得新的概率分布,从新的概率分布中选取大于阈值的单词组成新闻摘要。

7.一种新闻摘要生成装置,其特征在于,包括:

特征获取模块,根据新闻文本以及与新闻文本相关的图片,分别获得新闻文本的单词编码特征和图片的视觉目标特征;

多模态编码模块,对单词编码特征和视觉目标特征进行多模态编码,获得新特征;其中,在多模态编码中,单词编码特征与视觉目标特征相互观察,更新各自的表示;新特征包括新的单词编码特征和新的视觉目标特征;

构图区分模块,将新特征作为节点,将节点之间的相似度作为边,构建多模态动态图,并在多模态动态图中区分出消极节点和积极节点;

多模态解码模块,对新特征、消极节点和积极节点进行多模态解码,获得新特征中的积极特征和消极特征;其中,在多模态解码中,新特征观察消极节点和积极节点,更新自身的表示;

摘要生成模块,根据新特征中的积极特征和消极特征,生成新闻摘要。

8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个程序,一个或多个程序包括指令,指令当由计算设备执行时,使得计算设备执行权利要求1~

6任一所述的方法。

9.一种计算机设备,其特征在于,包括:

一个或多个处理器、以及一个或多个存储器,一个或多个程序存储在一个或多个存储器中并被配置为由一个或多个处理器执行,一个或多个程序包括用于执行权利要求1 6任~一所述的方法的指令。