利索能及
我要发布
收藏
专利号: 2023101912009
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于用户个性化的对话回复生成方法,其特征在于:包括如下步骤:S1、根据当前对话中用户的历史输入语句和当轮输入语句,得到当轮输入语句与历史输入语句中包含的个性化信息的匹配程度得分;

S2、根据所述匹配程度得分,得到所述历史输入语句的个性化信息选择性保存向量;

S3、根据所述个性化信息选择性保存向量,得到所述当轮输入语句所对应的用户个性化表征向量;

S4、根据所述用户个性化表征向量,得到每一候选知识语句与所述用户个性化表征向量在信息上的信息关联向量;

S5、根据所述信息关联向量,得到所述候选知识语句的知识选择分布向量;

S6、根据所述知识选择分布向量,计算每个候选知识语句的注意力得分,并将注意力得分最高的候选知识语句定为当轮对话中所选择的知识语句;

S7、根据上下文语句和所选择的知识语句,初始化循环神经网络的解码隐藏状态向量;

S8、更新循环神经网络的解码隐藏状态向量,从而得到更新后的解码隐藏状态向量;

S9、根据所述更新的解码隐藏状态向量和上下文语句,计算词语表中词语的第一注意力值,以及根据所述更新的解码隐藏状态向量和所选择的知识语句,计算所选择的所述知识语句中词语的第二注意力值;

S10、利用所述第一注意力值和第二注意力值,计算词语的最终概率值;

S11、选择最终概率值最高的词语作为当前时间步的生成词。

2.根据权利要求1所述的对话回复生成方法,其特征在于:

所述步骤S1包括:对所述历史输入语句和当轮输入语句分别进行编码,得到第一历史输入语句个性化信息隐藏向量和当轮输入语句个性化信息隐藏向量,并利用所述第一历史输入语句个性化信息隐藏向量和所述当轮输入语句个性化信息隐藏向量获得所述匹配程度得分;

所述步骤S2包括:根据所述匹配程度得分和对所述历史输入语句编码所得的第二历史输入语句个性化信息隐藏向量,计算所述个性化信息选择性保存向量,其中,所述第二历史输入语句个性化信息隐藏向量与所述第一历史输入语句个性化信息隐藏向量的编码方式相同但参数不同。

3.根据权利要求2所述的对话回复生成方法,其特征在于:所述步骤S3包括:计算所述个性化信息选择性保存向量与所述当轮输入语句个性化信息隐藏向量两者所含信息的直接相关度,得到所述用户个性化表征向量。

4.根据权利要求1或2或3所述的对话回复生成方法,其特征在于:所述步骤S4包括:根据对所述候选知识语句编码所得的候选知识语句隐藏向量与所述用户个性化表征向量,得到每一候选知识语句隐藏向量与所述用户个性化表征向量在信息上的信息关联向量。

5.根据权利要求4所述的对话回复生成方法,其特征在于:所述步骤S5包括:S51、对当轮对话中的上下文语句进行编码,得到上下文语句信息隐藏向量,其中,所述上下文语句包括历史对话语句和用户的当轮输入语句;

S52、根据所述信息关联向量、所述上下文语句信息隐藏向量和所述候选知识语句隐藏向量,得到所述知识选择分布向量。

6.根据权利要求5所述的对话回复生成方法,其特征在于:所述历史对话语句为与当轮对话对应的上一轮历史对话语句。

7.根据权利要求6所述的对话回复生成方法,其特征在于:所述步骤S8包括:根据上一时间步输出的解码隐藏状态向量、上一时间步的生成词、门控向量,获得当前时间步的解码隐藏状态向量,其中,所述门控向量用于表示:在所述解码隐藏状态向量更新时,使用上下文语句的信息和所选择的知识语句的信息的使用程度。

8.根据权利要求7所述的对话回复生成方法,其特征在于:所述门控向量为其中, gτ表示当轮对话中GRU的门控值,Wg和bg表示可训练的参数向量, 表示当轮对话的上下文语句信息隐藏向量,表示当轮对话中所选择的所述知识语句的候选知识语句隐藏向量。

9.一种基于用户个性化的对话回复生成模型,其特征在于,包括:

匹配程度计算模块,用于计算当前对话中用户的历史输入语句与当轮输入语句在个性化信息上的匹配程度得分;

用户个性化信息选择性获取模块,用于根据所述匹配程度得分,获得所述历史输入语句的个性化信息选择性保存向量;

用户个性化表征向量获取模块,用于根据所述个性化信息选择性保存向量,获得当轮输入语句所对应的用户个性化表征向量;

信息关联向量获取模块,根据所述用户个性化表征向量,得到每一候选知识语句与所述用户个性化表征向量在信息上的信息关联向量;

知识选择分布计算模块,根据所述信息关联向量得到候选知识语句的知识选择分布向量;

注意力得分计算模块,根据所述知识选择分布向量,得到每一候选知识语句的注意力得分;

知识语句选择模块,选择注意力得分最高的候选知识语句;

解码器解码状态初始化模块,对循环神经网络进行解码状态的初始化,得到初始化的解码隐藏状态向量和初始化的生成词;

解码器解码状态更新模块,对循环神经网络进行解码状态的更新,得到更新的解码隐藏状态向量;

词语注意力值计算模块,根据所述更新的解码隐藏状态向量和上下文语句,计算词语表中词语的第一注意力值,以及根据所述更新的解码隐藏状态向量和所选择的候选知识语句,计算所选择的候选知识语句中词语的第二注意力值;

词语最终概率计算模块,根据上述第一注意力值和第二注意力值,得到词语的最终概率值;

对话回复语句生成模块,选择最终概率值最高的词语为生成词并将所有的生成词形成对话回复语句并输出。

10.根据权利要求9所述的对话回复生成模型,其特征在于:还包括门控向量获取模块,所述门控向量获取模块根据上下文语句和所选择的候选知识语句得到门控向量,该门控向量用于表示:在解码隐藏状态向量更新时,使用上下文语句的信息和所选择的候选知识语句的信息的使用程度;并且,所述解码器解码状态更新模块根据上一时间步输出的解码隐藏状态向量、上一时间步生成词、门控向量,获得当前时间步的解码隐藏状态向量。