1.一种基于大语言模型的个性化对话生成方法,其特征在于,包括:获取人物个性对话数据集合,对人物个性对话数据集合进行个性扩展获得人物个性扩展对话数据集;
利用预训练的融合模型对人物个性扩展对话数据集中的目标回复进行更新,构成新的个性对话数据集;
获取大型语言模型的当前对话历史信息,基于当前对话历史信息和人物个性扩展对话数据集中的人物个性扩展信息构造个性知识提示;
将个性知识提示输入至大型语言模型获得人物个性信息描述信息,由新的个性对话数据集中检索与大型语言模型当前对话历史信息的相关样本信息;根据所述相关样本信息、当前对话历史信息和人物个性信息描述信息生成回复提示;将回复提示重新输入至大型语言模型获得最终回复信息;
对所述融合模型进行训练过程包括:
由人物个性扩展对话数据集提取对话历史序列H,人物个性扩展信息序列P和目标回复序列T并作为输入序列;
通过对话历史编码器将对话历史序列H转化为对话历史编码向量 ;通过人物个性扩展信息编码器将人物个性扩展信息序列P输入至自注意力获得信息序列 ,使用公式:;
公式中, 表示为自注意力机制;
将自注意力向量 输入至图感知注意力获得编码向量 ,表示公式为:;
公式中,Q、K 和 V 是由自注意力向量 与相应的可学习参数 、可学习参数 和可学习参数 相乘得到的序列, 表示为序列K的维度; 则是编码所需图结构的掩码,表示为类型编码矩阵;
将编码向量 进行加和与规范化处理后输入至前馈神经网络中,再经过一次加和与规范化输出人物个性扩展信息编码向量 ;将对话历史编码向量 、人物个性扩展信息编码向量 和目标回复序列T输入至解码器获得初始回复;根据初始回复和输入序列计算训练损失值,根据训练损失值对融合模型的参数进行优化,重复迭代所述融合模型的训练过程直至训练损失值收敛,输出并保存训练后的融合模型。
2.根据权利要求1所述的个性化对话生成方法,其特征在于,对人物个性对话数据集合进行个性扩展获得人物个性扩展对话数据集,包括:获取人物个性知识图谱数据集合,利用人物个性知识图谱数据集合对人物个性生成器进行训练;
利用训练后的人物个性生成器对人物个性对话数据集中的人物个性信息句子进行扩展获得人物个性扩展信息,利用句子匹配模型对人物个性对话数据集中的对话历史匹配人物个性扩展信息,得到人物个性扩展对话数据集。
3.根据权利要求1所述的个性化对话生成方法,其特征在于,由人物个性扩展对话数据集提取对话历史序列H,人物个性扩展信息序列P和目标回复序列T,包括:对人物个性扩展对话数据集中的对话历史数据用特殊令牌“ ”和“”拼接起来,形成对话历史输入序列
, 和 代表用户话语,
代表机器人的回复;
对人物个性扩展对话数据集中的目标回复数据需要在前面添加特殊令牌“ ”,形成目标回复输入序列;
对人物个性扩展对话数据集中的人物个性扩展数据用特殊令牌“ ”,“”和“ ”,形成人物扩展信息输入序列;
其中, 代表第i个人物个性信息句子; 代表第i个人物个性信息句子的第1个关系;
代表第i个人物个性信息句子的第1个扩展属性;
利用分词器对所述对话历史输入序列、目标回复输入序列和人物扩展信息输入序列分别转化得到对话历史向量序列H,人物个性扩展信息向量序列P和目标回复向量序列T。
4.根据权利要求1所述的个性化对话生成方法,其特征在于,通过对话历史编码器将对话历史序列H转化为对话历史编码向量 ,包括:;
公式中, 是基于Transformer模型架构的对话历史编码器。
5.根据权利要求1所述的个性化对话生成方法,其特征在于,将对话历史编码向量 、人物个性扩展信息编码向量 和目标回复序列T输入至解码器获得初始回复,包括:将目标回复序列T输入到解码器中的自注意力机制获得自注意力结果 ,公式为:;
公式中, 表示为自注意力机制;
将对话历史编码向量 、人物个性扩展信息编码向量 分别与自注意力结果 进行交叉注意力计算获得人物个性扩展信息交叉注意结果 和人物个性扩展信息交叉注意结果,公式为:;
;
其中, 表示交叉注意力机制函数;
将自注意力结果 和人物个性扩展信息交叉注意结果 进行拼接输入至全连接层,生成角色信息的权重 ,公式为:;
其中,sigmoid是一个激活函数,FC是全连接层;
基于权重 计算出输入源的掩码MP和掩码MH,公式如下:;
;
其中, 是二进制指示器,是一个超参数;
应用掩码对人物个性扩展信息交叉注意结果 和人物个性扩展信息交叉注意结果进行加权求和获得融合结果res,公式为:;
将融合结果res输入至前馈神经网络后,经过加和与规范化以及线性层得到初始回复。
6.根据权利要求1所述的个性化对话生成方法,其特征在于,根据初始回复和输入序列计算训练损失值,包括:;
其中, 表示为训练损失值, 代表初始回复序列中的第i个单词,表示输入序列, 表示融合模型基于给定输入序列 和已生成的初始回复序列预测的下一个单词 的概率分布。
7.一种基于大语言模型的个性化对话生成系统,个性化对话生成系统用于执行权利要求1至权利要求6任一项所述的个性化对话生成方法,其特征在于,包括:获取模块,用于获取人物个性对话数据集合,对人物个性对话数据集合进行个性扩展获得人物个性扩展对话数据集;
扩展模块,用于利用预训练的融合模型对人物个性扩展对话数据集中的目标回复进行更新,构成新的个性对话数据集;
提示模块,用于获取大型语言模型的当前对话历史信息,基于当前对话历史信息和人物个性扩展对话数据集中的人物个性扩展信息构造个性知识提示;
回复模块,用于将个性知识提示输入至大型语言模型获得人物个性信息描述信息,由新的个性对话数据集中检索与大型语言模型当前对话历史信息的相关样本信息;根据所述相关样本信息、当前对话历史信息和人物个性信息描述信息生成回复提示;将回复提示重新输入至大型语言模型获得最终回复信息。
8.电子设备包括存储介质和处理器;所述存储介质用于存储指令;其特征在于,所述处理器用于根据所述指令进行操作以执行权利要求1至权利要求6任一项所述的个性化对话生成方法。