利索能及
我要发布
收藏
专利号: 2024110760226
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合大模型和知识图谱的在线用户互动体验质量量化方法,其特征在于,所述量化方法包括:获取在线音图平台的有声内容的原始数据,所述原始数据包括所述有声内容的所有剧集的剧集信息和音频数据,以及所述有声内容中弹幕的弹幕数据和用户信息;

对所述原始数据进行分类存储;

将分类存储后的所述原始数据根据类别分别进行预处理;

根据预处理后的所述原始数据对所有剧集中的角色别名进行挖掘,构建所述有声内容的角色别名知识图谱;

根据预处理后的所述原始数据,计算每个用户对应于每个所述音频数据中的弹幕之间的讨论相似度;

根据所述角色别名知识图谱和预处理后的所述原始数据,计算每个用户对应于每个所述音频数据的弹幕与所述音频数据的讨论相关度;

根据所述讨论相关度和讨论相似度计算每个用户的用户体验质量;

所述将分类存储后的所述原始数据根据类别分别进行预处理,具体包括:对于结构化数据:

获取所述弹幕数据中的弹幕基本信息和对应的弹幕文本;

通过预训练的语言表示模型获取所述弹幕数据中的弹幕文本对应的弹幕嵌入向量;

将所述弹幕嵌入向量、对应的所述弹幕基本信息和弹幕文本进行关联存储;

对于音频文件数据:

将所述音频文件数据切割为预设段数的音频片段;

获取切割后每段所述音频片段对应的音频片段信息;

通过预训练的语音识别模型将所述音频片段转换为对应的音频文本数据;

将所述音频文本数据和对应的音频片段信息进行关联存储;

所述根据预处理后的所述原始数据,计算每个用户对应于每个所述音频数据中的弹幕之间的讨论相似度,具体包括:获取每个用户对应于每个所述音频数据的所有弹幕,并分别构建每个用户对应于每个所述音频数据的弹幕列表;

以所述弹幕列表中每个弹幕为中心弹幕 ,获取对应于所述音频数据且与所述中心弹幕 的时间跨度不超过预设时间范围的所有弹幕,构建每个弹幕的相近弹幕集合 ,所述相近弹幕集合 的计算公式表示为:式中, 表示所述中心弹幕 的出现时间, 表示对应于所述音频数据的任一弹幕的出现时间, 表示所述预设时间范围;

遍历每个所述相近弹幕集合 ,计算所述相近弹幕集合 中每个弹幕 与对应的所述中心弹幕 的近邻相似度,所述近邻相似度的计算公式表示为:式中, 和 分别表示中心弹幕 和弹幕 的所述弹幕嵌入向量;

根据如下公式计算所述相近弹幕集合 与对应的所述中心弹幕 的讨论度 :式中,表示[0,1]的超参数;

计算每个所述弹幕列表中所有弹幕的所述讨论度的均值作为每个用户对应于每个所述音频数据的所述讨论相似度;

所述根据所述角色别名知识图谱和预处理后的所述原始数据,计算每个用户对应于每个所述音频数据的弹幕与所述音频数据的讨论相关度,具体包括:获取每个所述弹幕列表中每个弹幕的出现时间 ;

根据所述出现时间 获取每个弹幕对应的所述音频文本数据和所述剧集信息,并根据对应的所述音频文本数据和所述剧集信息分别构建每个弹幕的关联文本集合;

通过所述角色别名知识图谱对每个弹幕的所述弹幕文本和对应的所述关联文本集合进行角色实体识别,替换并统一角色名;

将每个弹幕的所述弹幕文本在对应的所述关联文本集合中模糊匹配关键词,若匹配到关键词,通过所述语言表示模型计算所述弹幕文本和对应的所述关联文本集合的文本相似度,若所述文本相似度超过预设的相似阈值,则将所述文本相似度作为该弹幕与对应的所述关联文本集合的相关度;

否则,通过大模型计算该弹幕和对应的所述关联文本集合的相关度;

计算每个所述弹幕列表中所有弹幕的所述相关度的均值作为每个用户对应于每个所述音频数据的讨论相关度。

2.根据权利要求1所述的一种融合大模型和知识图谱的在线用户互动体验质量量化方法,其特征在于,所述对所述原始数据进行分类,具体包括:将所述原始数据分为结构化数据和音频文件数据后进行对应存储;

所述结构化数据包括所述用户信息,所述剧集信息,所述弹幕数据,以及所述音频数据中的音频描述数据;

所述音频文件数据包括所述音频数据中的音频文件。

3.根据权利要求1所述的一种融合大模型和知识图谱的在线用户互动体验质量量化方法,其特征在于,所述根据预处理后的所述原始数据对所有剧集中的角色别名进行挖掘,构建所述有声内容的角色别名知识图谱,具体包括:获取预处理后的所述原始数据中所有的文本相关数据,构建文本相关数据集;

通过命名实体识别算法对所述文本相关数据集进行实体发现,获取实体集合;

基于后缀和拼音近似的模式匹配对所述实体集合进行无监督的角色别名语义挖掘,根据挖掘结果构建所述角色别名知识图谱。

4.根据权利要求1所述的一种融合大模型和知识图谱的在线用户互动体验质量量化方法,其特征在于,所述通过大模型计算该弹幕和对应的所述关联文本集合的相关度,具体包括:根据弹幕的所述弹幕文本和对应的所述关联文本集合构建相关度计算prompt;

将构建的所述相关度计算prompt输入大模型中,并将所述大模型的输出结果作为弹幕和对应的所述关联文本集合的相关度。

5.根据权利要求1所述的一种融合大模型和知识图谱的在线用户互动体验质量量化方法,其特征在于,所述根据所述讨论相关度和讨论相似度计算每个用户的用户体验质量,具体包括:获取每个用户对应于每个所述音频数据的所述讨论相似度和讨论相关度;

对所述讨论相似度和讨论相关度进行归一化处理;

根据归一化后的所述讨论相似度和讨论相关度,并通过如下公式计算每个用户对应于每个所述音频数据的用户体验质量:式中, 表示用户u对应于所述音频数据s的用户体验质量, 和 分别表示用户u对应于所述音频数据s的所述讨论相似度和讨论相关度,a和b分别表示[0,1]的质量阈值,其中a≥b。

6.根据权利要求1所述的一种融合大模型和知识图谱的在线用户互动体验质量量化方法,其特征在于,所述量化方法还包括:构建过滤词典,所述过滤词典包括若干过滤关键词;

根据所述过滤词典的所述过滤关键词对所述弹幕文本进行过滤。