利索能及
我要发布
收藏
专利号: 2023106486012
申请人: 盐城工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-21
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于三重词频方案的Ad‑hoc信息检索模型,其特征在于,所述检索模型的构建包括以下步骤:步骤一、计算LTF、RTF和PTF排名函数,并进行归一化处理,得到它们相应的表示函数TF1、TF2和TF3;其中,LTF表示长度正则化的词项频率;RTF表示相对文档内词项频率;PTF表示基于接近度的词项频率;

步骤二、对TF1、TF2和TF3函数进行线性组合,基于TF1、TF2和TF3函数线性组合结果,得到检索模型;

所述步骤一中进行归一化处理时,使用的归一化函数为f(x)=x/(1+x),其中x表示LTF、RTF和PTF排名函数的其中一个,f(x)表示相应的表示函数TF1、TF2或TF3;

所述步骤一中,将LTF排名函数归一化处理得到表示函数TF1,操作步骤如下:LTF排名函数表示为:

其中,LTF(t,D)表示长度正则化的词项频率;D表示文档;t表示文档D中的词项;tf(t,D)表示文档D中词汇t的频率;avdl指给定文献集合C中的平均文档长度;|D|表示文档的长度;

使用函数f(x)=x/(1+x)来归一化LTF(t,D),则有:TF1(t,D)=LTF(t,D)/(1+LTF(t,D))            (2)其中,TF1(t,D)表示规范化后的长度正则化的词项频率;

所述步骤一中,将RTF排名函数归一化处理得到表示函数TF2,具体操作如下:RTF排名函数表示为:

其中,RTF(t,D)表示相对文档内词项频率;D表示文档;t表示文档D中的词项;tf(t,D)表示文档D中词汇t的频率;avgtf(D)表示文档D的平均词频;

使用函数f(x)=x/(1+x)来归一化RTF(t,D),则有:TF2(t,D)=RTF(t,D)/(1+RTF(t,D))                   (4)其中,TF2(t,D)表示规范化后的相对文档内词项频率;

所述步骤一中,将PTF排名函数归一化处理得到表示函数TF3,具体操作如下:PTF排名函数公式为:

PTF(t,D)=∑q∈Q,q≠t,Prox(t,q,D)                   (5)其中,Q表示查询,q表示Q中的一个查询词项;PTF(t,D)表示基于接近度的词项频率;D表示文档;t表示文档D中的词项;

Prox(t,q,D)表示文档D中词项t和查询词项q之间的接近程度,公式为:其中,dist(t,q,D)是文档D中词项t和查询词项q之间的距离,σ是一个归一化参数;

使用函数f(x)=x/(1+x)来归一化PTF(t,D),则有:TF3(t,D)=PTF(t,D)/(1+PTF(t,D))           (8)TF3(t,D)表示规范化后的基于接近度的词项频率;

所述步骤二的具体操作步骤如下:

步骤(1)、使用查询长度因子ω=2/[1+log2(1+|Q|)]来组合TF1和TF2,得到:TF(1,2)(t,D)=(1‑ω)·TF1(t,D)+ω·TF2(t,D)                 (9)其中,D表示文档;t表示文档D中的词项;ω表示查询长度因子;TF1(t,D)表示规范化后的长度正则化的词项频率;TF2(t,D)表示规范化后的相对文档内词项频率;

步骤(2)、然后将TF(1,2)(t,D)与TF3线性组合,生成以下结果:TFtri(t,D)=(1‑λ)·(TF(1,2)(t,D))+λ·TF3(t,D)     (10)其中,λ表示TF(1,2)(t,D)与TF3线性组合的权重系数,取值范围[0,1];

步骤(3)、通过以下式对IDF进行优化改进,得到TDF:其中,IDF(t)表示逆文档频率,定义为log2[(N‑n(t)+0.5)/(n(t)+0.5)],其中N是文献集合中的文档数,n(t)是包含t的文档数;ctf(t)表示t在文献集合中的频率;TDF(t)表示改进后的IDF(t);

步骤(4)、结合TF1、TF2和TF3函数线性组合结果和优化改进后的逆文档频率,得到检索模型:Score(Q,D)=t∈QTFtri(t,D)·TDF(t)            (12)其中,Score(Q,D)表示得到的检索模型;TFtri(t,D)表示TF(1,2)(t,D)与TF3线性组合;

TDF(t)表示改进后的IDF(t)。

2.根据权利要求1所述的基于三重词频方案的Ad‑hoc信息检索模型,其特征在于,通过添加查询项的IDF部分对Prox(t,q,D)进行优化,Prox(t,q,D)优化后为;