1.一种基于图像识别的知识库构建方法,其特征在于,包括以下步骤:(1)、获取目标图像
获取包含待构建知识库相关的多张场景和实体的图像,每张图像中包含多个实体E1、E2、…、Ei、…,且每个实体又具有多个属性值A1,1、A1,2、…、A2,1、A2,2、…、Ai,j、…;
(2)、目标图像预处理
先将每一张图像转换为灰度图,再对灰度图进行平滑和锐化处理,最后全部保存在图像库;
(3)、搭建神经网络模型
神经网络模型由三个卷积神经网络CNN构成,其中,第二个和第三个CNN并联后串联在第一个CNN的后面,分别用于场景识别、实体识别和属性识别;其中,场景识别的结果以独热向量S表示,实体识别的结果以独热向量E表示,属性识别的结果以独热向量A表示;
(4)、利用神经网络模型识别图像
(4.1)、在图像库中随机选出一张图像输入至神经网络模型;
(4.2)、第一个CNN识别出该张图像中的场景,并输出独热向量Sk,下标k表示第k张图像;
(4.3)、待第一个CNN识别识别完成后,第二个和第三个CNN同时识别该张图像;
(4.3.1)、第二个CNN识别出该张图像中的实体E1、E2、…、Ei、…,并且记录下各实体在该张图像中所占像素范围P(E1)、P(E2)、…、P(Ei)、…;
(4.3.2)、第三个CNN识别出该张图像中每个实体下的属性A1,1、A1,2、…、A2,1、A2,2、…、Ai,j、…,并记录下各属性在该张图像中所占像素范围P(A1,1)、P(A1,2)、…、P(A2,1)、P(A2,2)、…、P(Ai,j)、…;
(5)、计算重合度
计算实体Ei的像素范围P(Ei)和属性Ai,j的像素范围P(Ai,j)的重合度O;
(6)、构建目标知识库
将重合度O与预设的重合度阈值进行比较,如果重合度大于或者等于重合度阈值,则表示所识别的实体和属性处于同一像素区域,即实体Ei和属性Ai,j之间相互匹配,并以(Sk,Ei,Ai,j)的格式保存于目标知识库中;
如果重合度小于重合度阈值,则按照步骤(5)所述方法计计算实体Ei的像素范围P(Ei)和属性Ai,j+1的像素范围P(Ai,j+1)的重合度,再返回步骤(6);然后以此类推,直到完成该张图像中所有实体和属性的匹配;
返回步骤(4.1),利用神经网络模型识别下一张图像,并按照步骤(5)-(6)所述方法进行依次处理,直到图像库中所有图像中所有实体和属性的匹配完成,从而构建出目标知识库。
2.根据权利要求1所述的一种基于图像识别的知识库构建方法,其特征在于,所述重合度O的取值范围为[0,1]。