利索能及
我要发布
收藏
专利号: 2024115664545
申请人: 中国计量大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种大语言模型下的动态推理方法,其特征在于,包括以下步骤:

将用户输入的提示语句进行分词处理得到多个分词,将所述多个分词分别输入至第一识别模型得到所述提示语句的第一匹配度,进一步将所述多个分词分别输入至第二识别模型得到所述提示语句的第二匹配度,进而根据所述提示语句的第一匹配度和第二匹配度计算得到推理控制因子;

将所述多个分词转换为向量表示后按语序输入至大语言模型,各分词在大语言模型的每一层通过线性变换生成Key和Value,将所述Key和Value进行缓存并计算得到token;

计算当前token和上下文token之间的相对距离,当所述相对距离超过所述推理控制因子所映射的距离范围时,将上下文token所对应的Key和Value移出缓存。

2.如权利要求1所述一种大语言模型下的动态推理方法,其特征在于,所述第一识别模型为预训练的专业性匹配度神经网络模型,用于评估提示语句的专业性程度,所述第二识别模型为预训练的交互性匹配度神经网络模型,用于评估提示语句的交互性程度。

3.如权利要求2所述一种大语言模型下的动态推理方法,其特征在于,对所述第一识别模型和所述第二识别模型进行动态更新,所述动态更新的触发条件包括:模型样本更新、基于用户反馈后的框架调整。

4.如权利要求1所述一种大语言模型下的动态推理方法,其特征在于,所述根据所述提示语句的第一匹配度和第二匹配度计算得到推理控制因子,具体采用以下公式进行计算:其中,F为推理控制因子、M1为第一匹配度、M2为第二匹配度、α和γ是预设的权重系数、β和δ是预设的调节因子。

5.如权利要求4所述一种大语言模型下的动态推理方法,其特征在于,、、和 在调测阶段结束后作为大语言模型预设配置,提供管理平台界面对其进行调整。

6.如权利要求1所述一种大语言模型下的动态推理方法,其特征在于,所述缓存方式采用分布式内存数据库缓存。

7.如权利要求1所述一种大语言模型下的动态推理方法,其特征在于,所述计算当前token和上下文token之间的相对距离,具体采用以下公式进行计算:其中,D为当前token和上下文token之间的相对距离,t为当前token在文本中的位置,c为上下文token在文本中的位置,max(T)为文本的最大长度,ε、u为预设的调整因子,M1为第一匹配度、M2为第二匹配度。

8.如权利要求1所述一种大语言模型下的动态推理方法,其特征在于,当所述相对距离超过所述推理控制因子所映射的距离范围时,将上下文token所对应的Key和Value移出缓存包括:在映射表中根据计算得到的推理控制因子所处的范围,确定对应的相对距离值范围,当计算得到的相对距离大于所述相对距离值范围时,将上下文token所对应的Key和Value移出缓存;

其中,所述映射表记录了不同推理控制因子值范围对应的相对距离值范围。

9.一种大语言模型系统,其特征在于,包含以下用于动态推理的功能组件:分词处理模块,用于接收用户输入的提示语句并进行分词处理,输出多个分词;

第一识别模型,用于接收所述分词处理模块输出的多个分词,并计算得到所述提示语句的第一匹配度;

第二识别模型,用于接收所述分词处理模块输出的多个分词,并计算得到所述提示语句的第二匹配度;

推理控制因子计算模块,用于根据所述提示语句的第一匹配度和第二匹配度计算得到推理控制因子;

向量表示转换模块,用于将所述多个分词转换为向量表示;

大语言模型,用于按语序接收所述向量表示转换模块输出的向量表示,并在每一层通过线性变换生成Key和Value;

距离计算模块,用于计算当前token和上下文token之间的相对距离;

缓存管理模块,用于缓存所述Key和Value,并根据所述推理控制因子调整缓存内容,当所述相对距离超过所述推理控制因子所映射的距离范围时,将上下文token所对应的Key和Value移出缓存。

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有程序代码,该程序代码被处理器运行时执行如权利要求1‑8任一项所述的一种大语言模型下的动态推理方法。