利索能及
我要发布
收藏
专利号: 2019112860919
申请人: 上海智臻智能网络科技股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种问答模型的优化方法,其特征在于,所述方法包括:获取目标问答数据;所述目标问答数据是用于训练目标问答模型的问答数据,是对要训练的目标领域进行问答数据收集得到的,所述目标问答数据包括问题和每个问题对应的答案;

获取初始机器学习模型,并以所述目标问答数据为训练样本、对所述初始机器学习模型进行训练,得到目标问答模型;

获取至少一组辅助问答数据,所述辅助问答数据为辅助领域中已收集的问答数据,所述辅助领域是与所述目标领域相关的领域,每组所述辅助问答数据包括辅助问题和对应的辅助答案;并计算所述至少一组辅助问答数据与目标问答数据的相关性,包括:计算每一辅助问题对应的第一相关性;计算每一辅助答案对应的第二相关性;根据每一组辅助问答数据中辅助问题对应的第一相关性和辅助答案对应的第二相关性,得到该组辅助问答数据对应的相关性;

将所述至少一组辅助问答数据作为补充训练样本对所述目标问答模型进行补充训练,以得到优化后的目标问答模型,所述补充训练的训练过程受所述相关性控制。

2.根据权利要求1所述的方法,其特征在于,所述将所述至少一组辅助问答数据作为补充训练样本对所述目标问答模型进行补充训练,包括:获取所述目标问答模型的损失函数,根据所述相关性对所述损失函数进行更新;

将所述至少一组辅助问答数据作为补充训练样本,按照更新后的损失函数对所述目标问答模型进行补充训练。

3.根据权利要求2所述的方法,其特征在于,所述根据所述相关性对所述损失函数进行更新,包括:当所述辅助问答数据为一组时,将所述辅助问答数据对应的相关性和所述损失函数的乘积作为更新后的损失函数;

当所述辅助问答数据超过一组时,将每组辅助问答数据对应的相关性和所述损失函数的乘积进行求和,以得到更新后的损失函数。

4.根据权利要求1所述的方法,其特征在于,所述目标问答数据中包括目标问题和对应的目标答案,所述计算每一辅助问题对应的第一相关性,包括:以所述辅助问题为训练样本,训练辅助语言模型;

以所述目标问题为训练样本,训练目标语言模型;

计算所述每一辅助问题对所述目标语言模型的第一困惑度,以及对辅助语言模型的第二困惑度;

根据每一辅助问题的第一困惑度计算该辅助问题的第一交叉熵分数;

根据每一辅助问题的第二困惑度计算该辅助问题的第二交叉熵分数;

根据每一辅助问题的第一交叉熵分数和第二交叉熵分数得到该辅助问题的第一相关性。

5.根据权利要求4所述的方法,其特征在于,所述根据每一辅助问题的第一困惑度计算该辅助问题的第一交叉熵分数,包括:取所述第一困惑度对数的相反值,作为该辅助问题的第一交叉熵分数;

所述根据每一辅助问题的第二困惑度计算该辅助问题的第二交叉熵分数,包括:取所述第二困惑度对数的相反值,作为该辅助问题的第二交叉熵分数。

6.根据权利要求4所述的方法,其特征在于,所述计算每一辅助答案对应的第二相关性,包括:获取所述每一辅助答案的长度和每一目标答案的长度;

统计每一长度的辅助答案在所有辅助答案中的第一频次,并统计与所述每一辅助答案相同长度的目标答案在所有目标答案中的第二频次;

根据所述第一频次计算该辅助答案的第三交叉熵分数;

根据所述第二频次计算该辅助答案的第四交叉熵分数;

根据所述每一辅助答案的第三交叉熵分数和第四交叉熵分数得到该辅助问答数据的第二相关性。

7.根据权利要求6所述的方法,其特征在于,所述根据所述第一频次计算该辅助答案的第三交叉熵分数,包括:取所述第一频次对数的相反值,作为该辅助答案的第三交叉熵分数;

所述根据所述第二频次计算该辅助答案的第四交叉熵分数,包括:取所述第二频次对数的相反值,作为该辅助答案的第四交叉熵分数。

8.根据权利要求6所述的方法,其特征在于,所述计算每一辅助问题对应的第一相关性,包括:对所述每一辅助问题的第一交叉熵分数和第二交叉熵分数求差,并将差值作为该辅助问题对应的第一相关性;

所述计算每一辅助答案对应的第二相关性,包括:

对所述每一辅助答案的第四交叉熵分数和所述第三交叉熵分数求差,并将差值作为该辅助答案对应的第二相关性;

所述根据每一组辅助问答数据中辅助问题对应的第一相关性和辅助答案对应的第二相关性,得到该组辅助问答数据对应的相关性,包括:对每一组辅助问答数据中辅助问题对应的第一相关性和辅助答案对应的第二相关性求和,将求和得到的值作为该组辅助问答数据对应的相关性。

9.一种问答模型的优化装置,其特征在于,所述装置包括:目标问答数据获取模块,用于获取目标问答数据;所述目标问答数据是用于训练目标问答模型的问答数据,是对要训练的目标领域进行问答数据收集得到的,所述目标问答数据包括问题和每个问题对应的答案;

模型训练模块,用于获取初始机器学习模型,并以所述目标问答数据为训练样本、对所述初始机器学习模型进行训练,得到目标问答模型;

辅助问答数据获取模块,用于获取至少一组辅助问答数据,所述辅助问答数据为辅助领域中已收集的问答数据,所述辅助领域是与所述目标领域相关的领域,每组所述辅助问答数据包括辅助问题和对应的辅助答案;并计算所述至少一组辅助问答数据与目标问答数据的相关性,包括:计算每一辅助问题对应的第一相关性;计算每一辅助答案对应的第二相关性;根据每一组辅助问答数据中辅助问题对应的第一相关性和辅助答案对应的第二相关性,得到该组辅助问答数据对应的相关性;

模型优化模块,用于将所述至少一组辅助问答数据作为补充训练样本对所述目标问答模型进行补充训练,以得到优化后的目标问答模型,所述补充训练的训练过程受所述相关性控制。

10.一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机指令,其特征在于,所述处理器运行所述计算机指令时执行权利要求1至8任一项所述方法的步骤。

11.一种存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至8任一项所述方法的步骤。