1.一种基于场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，包括以下步骤：

1）模型预训练：数据来自公开可用的MS‑COCO数据集，该数据集是一个大规模的对象检测、分割、关键点检测和字幕数据集；输入该数据集之后，在经典的神经网络Faster‑CNN上对其进行预训练，检测图片中出现的物体种类和其位置；

2）场景图的训练：对模型预训练的结果进行无偏训练，并应用神经网络模型最终输出与场景图相关信息的文件，预测出图片中不同种类之间的关系；具体包括：

2.1）基于已有的场景图训练方法，使用神经网络Neural‑MOTIFS模型对场景图生成进行无偏训练；场景图无偏训练的过程：使用传统的场景图训练方法然后去偏差；首先用基于事实的因果图训练方法，即正常模型的训练框架；X是目标特征，先预测出目标标签Z，最终由图像I，目标特征X，目标标签Z共同预测谓语动词Y；预测谓语动词的形式为（I，X，Z）→Y；

训练损失的公式如下：

          （1）

其中，通过使用目标标签Z和谓词标签Y的交叉熵损失进行训练；

然后，使用同一个模型，用不同的方法；使用被干预的原始因果图方法进行训练；与上一个方法不同的是，去除了I→X，即目标特征X不受图片I的影响，也不决定目标标签Z的标签，给与X分配一个虚拟值，然后推断谓词是什么；根据得出的2个谓语动词Y，将两次结果相减；可以依靠观察到的结果 和它的反事实替代 之间的差异来消除偏见的影响，公式如下：              （2）

其中， 将作为无偏场景图的最终谓词得分， ， 分布是第一次和第二次得到的谓语动词；

2.2）输出结果，得到对应的json文件；对于每张图像，场景图信息保存为包含目标，该目标的得分情况，目标标签，两个种类之间的关系，关系标签，关系的得分，每个对象对应匹配所有51个谓词的概率；

3）知识图谱的自动扩充：基于概念网的知识图谱，可以对其进行扩充；可以通过新词得到新的知识，并添加到知识图谱中；具体包括：

3.1）在概念网官网获取相关的文件；

3.2）设计了知识图谱自动扩充方法，实施的具体步骤如下：首先，从百度百科，百度文库网站学习新词，实时跟进新词所代表的含义然后，运用BERT模型抽取概念与概念之间的关系；定位句子和两个实体的位置，提取句子的语义特征和实体的特征，再拼接三个特征进行关系的分类，其拼接并分类公式如下：           （3）

其中， 是最终得到的一个向量， 分别代表了1个句子和2个实体的向量，是拼接， 是权重系数，是偏置系数；

然后用 层进行分类，公式如下：

              （4）

其中，是最终输出的关系分类结果；

最后将新增的概念添加到原有的知识图谱中；

4）模型测试：对于训练完成的场景图模型进行测试，使用准确率（Accuracy）、精准率（Precision）、召回率（Recall）和F1_score来评估所提出方法的性能；

5）生成检索数据库：将场景图和概念网相关的文件信息进行提取并处理，然后导入到检索数据库中，最终组成本检索数据库；将场景图中相似度高的节点和关系进行合并，并将场景图和概念网对应的知识图谱库进行融合，最后将场景图和概念网合并成一个包含所有信息的知识图谱库；

6）数据库定时更新：使用了增量学习的方法可以实现对数据库的在线的更新，可以增加数据库的信息。

2.如权利要求1所述的一种基于场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，步骤1）所述的模型预训练包括：

1.1）数据集处理阶段，对MS‑COCO数据集进行处理，筛选出有特定种类的图片，过滤掉多余的图片；

1.2）在经典的神经网络Faster‑CNN上对其进行预训练；首先，用卷积层提取输入图像的特征，区域提案网络生成区域提议，根据特征图和区域提议提供的坐标[x,y,w,h]，然后经过感兴趣区域对齐，生成固定尺寸的特征图，最后利用 进行具体类别的分类。

3.如权利要求1所述的一种场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，步骤4）所述的模型测试包括以下过程：对于训练完成的场景图进行评测，使用准确率（Accuracy）、精准率（Precision）、召回率（Recall）和F1_score作为衡量标准：            （5）

                （6）

               （7）

            （8）

其中 分别表示标签集中第i个标签的真阳性、真阴性、假阳性和假阴性。

4.如权利要求1所述的一种场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，步骤5）所述的生成检索数据库包括以下过程：

5.1）处理文件：经过上述的处理后我们会得到对应的json文件，提取其中想要的内容，处理成场景图和概念网相应节点和关系的csv文件；

5.2）导入至检索数据库：将场景图和概念网对应节点和关系的csv文件导入至检索数据库中；

5.3）设计相似度合并算法：在场景图的知识图谱库中，将相似度高的节点和关系进行合并；在场景图中，会存在多个节点对应同一个对象的情况；首先，统计各节点在场景图中出现的频率，统计各节点出现频率公式如下：                 （9）

其中，是某节点出现次数， 是总节点数， 是某节点的出现频率；

逆文件频率表示关键词的普遍程度，该值越大，对于该节点有更好的区分能力，公式如下：            （10）

其中， 表示图片数量， 表示包括该节点 的图片数，1是用于防止图片数量为0的情况；

可通过上述两式计算对应某节点的文本词向量，公式如下：              （11）

最终再使用余弦相似度去计算节点之间的相关性，公式如下：             （12）

最终将相似度高的节点进行合并；基于本方法，在将相似度高的节点合并之后，还可以使用相同的方法合并相似度高的关系；

5.4）设计数据连接组件：在检索数据库中，将场景图和概念网对应的知识图谱库进行融合；将其代表相同含义的节点进行连接，这时节点的相似度决定两个节点是否可以连接；

首先，使用Canopy聚类算法得到k值；然后，使用K均值聚类算法，该算法以聚类簇数k和知识图谱中的所有节点 作为输入，该公式如下：             （13）

其中，表示输入的某节点， 是输出的簇， 表示第 个簇 的样本均值；该算法会选择合适的 ，使得簇内平方和最小，得出的相似度J最高；

最终分出相似度高的节点，将场景图和概念网中对应的节点连接起来，利用本体论中的关系来扩展用户问题识别的关键词，增加问题的搜索范围，提高问答系统的搜索完成率，形成最终的数据库；当我们在检索某个种类与另一个种类之间发生某种具体关系的实际情况时，会将该种类进行延伸，延伸至该种类下的各种小类，可以让我们获得更多的详细信息。

5.如权利要求1所述的一种场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，步骤6）所述的数据库定时更新包括以下过程：本数据库使用增量学习的方法在线进行更新；在本数据库中使用了基于回放的增量学习方法；需要保留旧任务的部分数据，以及利用旧数据与新数据一起训练模型。