利索能及
我要发布
收藏
专利号: 2018102137558
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于处理信息的分布式系统,包括:主控节点和多个数据处理节点;

所述主控节点,用于将检索请求发送给所述多个数据处理节点,其中,所述检索请求包括每个数据处理节点待获取的图片信息的地址,所述待获取的图片信息为预设图片集中的图片的图片信息,图片信息包括图片标识、图片特征和根据与图片特征的距离确定的至少一个聚类中心的标识;

每个数据处理节点,用于根据所接收的检索请求中的地址,获取图片信息,构建利用所获取的图片信息中的聚类中心的标识来指示图片标识和图片特征的索引;获取目标图片集中的图片的图片信息,确定在所述目标图片集中的图片所对应的聚类中心的标识与所述索引中的聚类中心的标识中,是否存在相同的聚类中心的标识;响应于确定存在,在所述索引指示的图片特征中,检索与所述目标图片集中的图片的图片特征相匹配的图片特征,确定相匹配的图片特征所对应的图片标识,其中,不同的数据处理节点获取的图片检索任务不同,所获取的图片信息也不同。

2.根据权利要求1所述的用于处理信息的分布式系统,其中,所述每个数据处理节点用于检索与所述目标图片集中的图片的图片特征相匹配的图片特征,包括:每个数据处理节点用于检索与目标图片集中的图片的图片特征的相似度高于相似度阈值的图片特征。

3.根据权利要求1所述的用于处理信息的分布式系统,其中,所述分布式系统还包括数据存储节点;

每个数据处理节点,还用于接收所述主控节点发送的图片处理请求,其中,所述图片处理请求包括每个数据处理节点待获取的图片的地址;根据接收到的图片处理请求所包括的地址,获取所述预设图片集中的至少一个图片,提取所述至少一个图片的图片特征;获取预设的多个聚类中心;对于所述至少一个图片中的每个图片,按照聚类中心与该图片的图片特征的距离从近到远的顺序,从所述多个聚类中心中,确定预设数量的聚类中心;将所述至少一个图片的图片标识、图片特征和所述预设数量的聚类中心的标识关联存储至所述数据存储节点。

4.根据权利要求1所述的用于处理信息的分布式系统,其中,

所述主控节点,还用于在预设图片集中图片的图片信息的地址中,确定每个数据处理节点待获取的图片信息的地址,生成包括所确定的图片信息的地址的检索请求,其中,不同数据处理节点待获取的图片信息不同。

5.根据权利要求1所述的用于处理信息的分布式系统,其中,所述分布式系统还包括合并节点;

所述合并节点,用于汇总对于所述检索请求所检索到的图片标识,发送所汇总的图片标识。

6.根据权利要求1所述的用于处理信息的分布式系统,其中,所确定的图片标识的数量为至少两个;

每个数据处理节点,还用于将至少两个图片标识划分为至少两个图片标识组,从每个图片标识组中选取图片标识作为与该图片标识组对应的新图片标识,其中,每个数据处理节点所确定的新图片标识的数量为指定数量。

7.一种用于分布式系统中的数据处理节点的信息处理方法,其中,所述分布式系统包括主控节点和数据处理节点,所述方法包括:接收所述主控节点发送的检索请求,其中,所述检索请求包括待获取的图片信息的地址,所述待获取的图片信息为预设图片集中的图片的图片信息,图片信息包括图片标识、图片特征和根据与图片特征的距离确定的至少一个聚类中心的标识;

根据所述地址,获取图片信息,构建利用所获取的图片信息中的聚类中心的标识来指示图片标识和图片特征的索引;

获取目标图片集中的图片的图片信息,确定在所述目标图片集中的图片所对应的聚类中心的标识与所述索引中的聚类中心的标识中,是否存在相同的聚类中心的标识,其中,不同的数据处理节点获取的图片检索任务不同,所获取的图片信息也不同;

响应于确定存在,在所述索引指示的图片特征中,检索与所述目标图片集中的图片的图片特征相匹配的图片特征,确定相匹配的图片特征所对应的图片标识。

8.根据权利要求7所述的方法,其中,所述检索与所述目标图片集中的图片的图片特征相匹配的图片特征,包括:检索与目标图片集中的图片的图片特征的相似度高于相似度阈值的图片特征。

9.根据权利要求7所述的方法,其中,所述分布式系统还包括数据存储节点;以及所述方法还包括:接收所述主控节点发送的图片处理请求,其中,所述图片处理请求包括所述数据处理节点待获取的图片的地址;

根据所述图片处理请求所包括的地址,获取所述预设图片集中的至少一个图片,提取所述至少一个图片的图片特征;

获取预设的多个聚类中心;

对于所述至少一个图片中的每个图片,按照聚类中心与该图片的图片特征的距离从近到远的顺序,从所述多个聚类中心中,确定预设数量的聚类中心;

将所述至少一个图片的图片标识、图片特征和所述预设数量的聚类中心的标识关联存储至所述数据存储节点。

10.根据权利要求7所述的方法,其中,所确定的图片标识的数量为至少两个;以及所述方法还包括:将至少两个图片标识划分为至少两个图片标识组,从每个图片标识组中选取图片标识作为与该图片标识组对应的新图片标识。

11.一种用于分布式系统中的数据处理节点的信息处理装置,其中,所述分布式系统包括主控节点和数据处理节点,所述装置包括:接收单元,用于接收所述主控节点发送的检索请求,其中,所述检索请求包括待获取的图片信息的地址,所述待获取的图片信息为预设图片集中的图片的图片信息,图片信息包括图片标识、图片特征和根据与图片特征的距离确定的至少一个聚类中心的标识;

构建单元,用于根据所述地址,获取图片信息,构建利用所获取的图片信息中的聚类中心的标识来指示图片标识和图片特征的索引;

确定单元,用于获取目标图片集中的图片的图片信息,确定在所述目标图片集中的图片所对应的聚类中心的标识与所述索引中的聚类中心的标识中,是否存在相同的聚类中心的标识,其中,不同的数据处理节点获取的图片检索任务不同,所获取的图片信息也不同;

检索单元,用于响应于确定存在,在所述索引指示的图片特征中,检索与所述目标图片集中的图片的图片特征相匹配的图片特征,确定相匹配的图片特征所对应的图片标识。

12.根据权利要求11所述的装置,其中,所述检索单元进一步用于:

检索与目标图片集中的图片的图片特征的相似度高于相似度阈值的图片特征。

13.根据权利要求11所述的装置,其中,所述分布式系统还包括数据存储节点;以及所述装置还包括:请求接收单元,用于接收所述主控节点发送的图片处理请求,其中,所述图片处理请求包括所述数据处理节点待获取的图片的地址;

获取单元,用于根据所述图片处理请求所包括的地址,获取所述预设图片集中的至少一个图片,提取所述至少一个图片的图片特征;

中心获取单元,用于获取预设的多个聚类中心;

中心确定单元,用于对于所述至少一个图片中的每个图片,按照聚类中心与该图片的图片特征的距离从近到远的顺序,从所述多个聚类中心中,确定预设数量的聚类中心;

存储单元,用于将所述至少一个图片的图片标识、图片特征和所述预设数量的聚类中心的标识关联存储至所述数据存储节点。

14.根据权利要求11所述的装置,其中,所确定的图片标识的数量为至少两个;以及所述装置还包括:标识确定单元,用于将至少两个图片标识划分为至少两个图片标识组,从每个图片标识组中选取图片标识作为与该图片标识组对应的新图片标识。

15.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求7-10中任一所述的方法。

16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求7-10中任一所述的方法。