1.面向金融领域的混合因果关系提取方法,包括以下步骤:
步骤1:扩充训练语句、训练模型;从金融领域的研报、文章中获取相关的语句扩充语料,并分别标注有因果关系的句子和没有因果关系的句子,将其作为训练集训练BERT模型以判断因果关系的存在;
步骤2:提取中心词;找出句子中的中心词,并扩充中心词表,标注其常见位置和常用方式;
步骤3:查中心词表;获得输入的语句,对有中心词的句子,查找中心词表,获得该中心词的常见位置以及其常用方式;若没有中心词,则将模型变成三分类:无因果,前因后果和后因前果,然后按照排列组合的方式做到部分句子的划分;
步骤4:以中心词为界划分句子为两边;句子以中心词为界划为左右两边,并且依据标点符号进行分句,再进行相应的句子预处理,删去多余的句子;
步骤5:矫正中心词位置;对可能存在错误的中心词位置进行矫正;
步骤6:分类型进行因果识别;对中心词在中间、中心词在前面和中心词在后面的三种中心词所处位置的不同情况进行分开处理,通过找实体、判断俩俩因果关系的存在与否得到两个列表,实现一因多果、多因一果、一因一果和多因多果的识别,最后判断得到其中一个为原因列表,一个为结果列表;
步骤7:模型调优;对得到的初步模型结果进行人为判别及参数调优,通过数据集针对性扩容和超参数调优,提升模型的因果判断效果;
步骤2所述的找出句子中的中心词包括“导致”、“由于”、“因为”;所述的并扩充中心词表是进行同义词搜索可以找到其他能指示因果关系的词语加入到中心词表中;所述的常见位置是在中间、在前面、在后面三种,所述的常用方式是表征前因后果和表征前果后因两种;
步骤5所述的矫正中心词位置具体包括:
a)中心词应该在中间,但是左边没有存在名词的句子,会把它的位置重新设为前面;反之设为后面;
b)中心词在前面,右边没有两个存在名词的句子时进行矫正,右边只有一个存在实体的句子,设为中间,右边没有存在实体的句子,设为后面;
c)中心词在后面,左边没有两个存在名词的句子时进行矫正,左边有一个存在实体的句子,设为中间,左边没有存在实体的句子,设为前面;
步骤6所述的对以下三种中心词所处位置不同的情况进行分开处理,具体包括:
c)中心词在中间:找左右两边最近的实体,记为left和right,分别放到左列表和右列表中;左边其余句子与right依次组合并且放到训练好的BERT模型中进行因果关系的判断,如果存在因果关系则加到左列表中去,同理,右边其余句子与left依次组合并且放到模型进行因果关系的判断,如果存在因果关系则加到右列表中去;最后根据中心词的常用方式判断哪一个是原因列表,哪一个是结果列表;
d)中心词在前面:中心词后面最近的一个实体记为head,加到头列表中,剩余句子依次与head组合放入训练好的BERT模型进行因果关系的判断,如果存在因果关系就放入尾列表,反之放入临时列表,临时列表用于暂时储存可能是原因/结果所在句的句子,临时列表中能跟尾列表半数的句子构成因果关系就放入头列表中,最后判断头列表和尾列表哪一个是原因列表,哪一个是结果列表;
e)中心词在后面:中心词前面最近的一个实体记为tail,加到尾列表中,剩余句子依次与tail组合放入训练好的BERT模型进行因果关系的判断,如果存在因果关系就放入头列表,反之放入临时列表,临时列表用于暂时储存可能是原因/结果所在句的句子,临时列表中能跟头列表半数的句子构成因果关系就放入尾列表中,最后判断哪一个是原因列表,哪一个是结果列表。
2.如权利要求1所述的面向金融领域的混合因果关系提取方法,其特征在于:步骤7所述的数据集针对性扩容具体包括:在模型训练好后,随机拿若干条数据进行检测,然后对每个结果进行分析评价,如果错误的类型很普遍,针对这个类型找若干条数据对训练集集进行补充;将以“称”、“报道”、“据发现”为前缀的句子标记为无因果后加入到训练集中;如果错误的是个例,则将其改正后加入训练集;如此往复循环三次;
所述的超参数调优具体包括:根据BERT的相关论文,推荐的超参数调优为,learn‑rate:Adam:5e‑5,3e‑5,2e‑5Number of epochs:2,3,4;根据推荐的超参数,得到多个模型,通过比较其在测试集上的precision,recall和f1值,选择最好的模型提升判别效果。
3.实施权利要求1所述的面向金融领域的混合因果关系提取方法的系统,其特征在于:
包括依次连接的训练语句扩充和模型训练模块、中心词提取模块、查中心词表模块、句子划分模块、中心词位置矫正模块、因果识别模块、模型调优模块,其中,训练语句扩充和模型训练模块包括:从金融领域的研报、文章中获取相关的语句扩充语料,并分别标注有因果关系的句子和没有因果关系的句子,将其作为训练集训练BERT模型以判断因果关系的存在;
中心词提取模块包括:找出句子中的中心词,并扩充中心词表,标注其常见位置和常用方式;所述的找出句子中的中心词包括“导致”、“由于”、“因为”;所述的并扩充中心词表是进行同义词搜索可以找到其他能指示因果关系的词语加入到中心词表中;所述的常见位置是在中间、在前面、在后面三种,所述的常用方式是表征前因后果和表征前果后因两种;
查中心词表模块包括:获得输入的语句,对有中心词的句子,查找中心词表,获得该中心词的常见位置以及其常用方式;若没有中心词,则将模型变成三分类:无因果,前因后果和后因前果,然后按照排列组合的方式做到部分句子的划分句子划分模块包括:句子以中心词为界划为左右两边,并且依据标点符号进行分句,再进行相应的句子预处理,删去多余的句子;
中心词位置矫正模块包括:对可能存在错误的中心词位置进行矫正;具体包括:
a)中心词应该在中间,但是左边没有存在名词的句子,会把它的位置重新设为前面;反之设为后面;
b)中心词在前面,右边没有两个存在名词的句子时进行矫正,右边只有一个存在实体的句子,设为中间,右边没有存在实体的句子,设为后面;
c)中心词在后面,左边没有两个存在名词的句子时进行矫正,左边有一个存在实体的句子,设为中间,左边没有存在实体的句子,设为前面;
因果识别模块包括:对中心词在中间、中心词在前面和中心词在后面的三种中心词所处位置的不同情况进行分开处理,通过找实体、判断俩俩因果关系的存在与否得到两个列表,实现一因多果、多因一果、一因一果和多因多果的识别,最后判断得到其中一个为原因列表,一个为结果列表;具体包括:c)中心词在中间:找左右两边最近的实体,记为left和right,分别放到左列表和右列表中;左边其余句子与right依次组合并且放到训练好的BERT模型中进行因果关系的判断,如果存在因果关系则加到左列表中去,同理,右边其余句子与left依次组合并且放到模型进行因果关系的判断,如果存在因果关系则加到右列表中去;最后根据中心词的常用方式判断哪一个是原因列表,哪一个是结果列表;
d)中心词在前面:中心词后面最近的一个实体记为head,加到头列表中,剩余句子依次与head组合放入训练好的BERT模型进行因果关系的判断,如果存在因果关系就放入尾列表,反之放入临时列表,临时列表用于暂时储存可能是原因/结果所在句的句子,临时列表中能跟尾列表半数的句子构成因果关系就放入头列表中,最后判断头列表和尾列表哪一个是原因列表,哪一个是结果列表;
e)中心词在后面:中心词前面最近的一个实体记为tail,加到尾列表中,剩余句子依次与tail组合放入训练好的BERT模型进行因果关系的判断,如果存在因果关系就放入头列表,反之放入临时列表,临时列表用于暂时储存可能是原因/结果所在句的句子,临时列表中能跟头列表半数的句子构成因果关系就放入尾列表中,最后判断哪一个是原因列表,哪一个是结果列表;
模型调优模块包括:对得到的初步模型结果进行人为判别及参数调优,通过数据集针对性扩容和超参数调优,提升模型的因果判断效果。