利索能及
我要发布
收藏
专利号: 202111661609X
申请人: 上海商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据传输方法,其特征在于,应用于数据管理节点,所述方法包括:

接收至少一个数据产生节点发送的元数据,其中,所述元数据包括训练数据的标识号、所述训练数据所在的数据产生节点的节点信息以及至少一个预读取节点的节点信息;

接收所述预读取节点获取完成所述训练数据而生成的节点更新指令,所述节点更新指令携带所述预读取节点的节点信息;

将所述节点更新指令携带的预读取节点的节点信息,添加至可访问节点,得到更新后的可访问节点;

基于所述训练数据的标识号以及所述训练数据所在的数据产生节点的节点信息,从所述更新后的可访问节点中确定可访问节点,以及基于所述训练数据的标识号与所述至少一个预读取节点的节点信息,确定数据预读取节点;

向所述数据预读取节点中的至少一个预读取节点发送数据读取命令,使得所述至少一个预读取节点响应所述数据读取命令从所述可访问节点中的目标数据产生节点获取所述训练数据。

2.根据权利要求1所述的方法,其特征在于,所述向所述数据预读取节点中的至少一个预读取节点发送数据读取命令,包括:在接收到所述数据产生节点发送的元数据的情况下,基于所述数据预读取节点,向所述数据预读取节点中的至少一个预读取节点发送数据读取命令;和/或,响应于所述数据预读取节点中的目标预读取节点发送的数据查询请求,向所述目标预读取节点发送数据读取命令。

3.根据权利要求1所述的方法,其特征在于,所述向所述数据预读取节点中的至少一个预读取节点发送数据读取命令,使得所述至少一个预读取节点响应所述数据读取命令从所述可访问节点中的目标数据产生节点获取所述训练数据,包括:确定所述数据预读取节点中等待传输节点的数量;

在所述等待传输节点的数量不为零的情况下,从所述等待传输节点中确定任一等待传输节点为目标等待传输节点,以及从所述可访问节点中确定任一数据产生节点为所述目标数据产生节点,并向所述目标等待传输节点发送所述数据读取命令,使得所述目标等待传输节点响应所述数据读取命令从所述目标数据产生节点获取所述训练数据并保存,其中,所述数据读取命令携带所述目标数据产生节点的节点信息。

4.根据权利要求3所述的方法,其特征在于,所述从所述等待传输节点中确定任一等待传输节点为目标等待传输节点,以及从所述可访问节点中确定任一数据产生节点为所述目标数据产生节点,并向所述目标等待传输节点发送所述数据读取命令之后,还包括:确定所述数据预读取节点中正在传输节点的数量增加一;

在所述数据预读取节点中任一正在传输节点完成传输任务的情况下,确定所述正在传输节点的数量减少一。

5.一种数据传输方法,其特征在于,应用于预读取节点,所述方法包括:

接收数据管理节点发送的数据读取命令,其中,所述数据读取命令携带目标数据产生节点的节点信息;

基于所述目标数据产生节点的节点信息以及所述预读取节点需要的目标训练数据的标识号,从所述目标数据产生节点获取与所述标识号对应的训练数据,并将所述训练数据进行保存;

基于所述预读取节点的节点信息,生成节点更新指令;

将所述节点更新指令发送至所述数据管理节点,以使所述数据管理节点响应所述节点更新指令,并将所述预读取节点的节点信息添加至可访问节点得到更新后的可访问节点,其中,所述可访问节点是基于所述数据产生节点产生的训练数据的标识号以及所述数据产生节点的节点信息生成的。

6.根据权利要求5所述的方法,其特征在于,所述接收数据管理节点发送的数据读取命令之前,所述方法还包括:判断所述预读取节点中是否存在所述目标训练数据;

在所述预读取节点中不存在所述目标训练数据的情况下,基于所述目标训练数据的标识号,向所述数据管理节点发送数据查询请求,使得所述数据管理节点响应所述数据查询请求发送所述数据读取命令。

7.根据权利要求5所述的方法,其特征在于,所述基于所述目标数据产生节点的节点信息以及所述预读取节点需要的目标训练数据的标识号,从所述目标数据产生节点获取与所述标识号对应的训练数据,包括:基于所述目标数据产生节点的节点信息,确定所述目标训练数据所在的目标数据产生节点;

基于所述目标训练数据的标识号,生成数据获取请求;

将所述数据获取请求发送至所述目标数据产生节点,并接收所述目标数据产生节点响应于所述数据获取请求而发送的与所述标识号对应的训练数据。

8.一种数据传输方法,其特征在于,应用于数据产生节点,所述方法包括:

基于至少一个训练任务,产生至少一组训练数据,其中,每组训练数据具有不同的标识号;

基于所述每组训练数据所指示的数据内容,确定需要所述每组训练数据的至少一个预读取节点的节点信息;

基于所述每组训练数据的标识号、所述每组训练数据所在的数据产生节点的节点信息以及至少一个预读取节点的节点信息,生成对应的元数据;

将所述元数据发送至数据管理节点,使得所述数据管理节点对所述元数据进行管理,并使得每个预读取节点通过所述数据管理节点获取与所述标识号对应的训练数据,并使得每个预读取节点在获取所述训练数据后,生成携带所述预读取节点的节点信息的节点更新指令并发送至数据管理节点,以使所述数据管理节点将所述节点更新指令携带的预读取节点的节点信息添加至可访问节点中得到更新后的可访问节点,并基于所述训练数据的标识号以及所述训练数据所在的数据产生节点的节点信息,从所述更新后的可访问节点中确定可访问节点,以从所述可访问节点中获取所述训练数据。

9.根据权利要求8所述的方法,其特征在于,所述将所述元数据发送至数据管理节点之后,所述方法还包括:接收至少一个预读取节点的数据获取请求,并确定所述数据获取请求所携带的目标训练数据的标识号;

基于所述目标训练数据的标识号,将与所述标识号对应的训练数据发送至所述预读取节点。

10.一种数据传输装置,其特征在于,包括:

接收模块,用于接收至少一个数据产生节点发送的元数据,其中,所述元数据包括训练数据的标识号、所述训练数据所在的数据产生节点的节点信息以及至少一个预读取节点的节点信息;

所述接收模块还用于接收所述预读取节点获取完成所述训练数据而生成的节点更新指令,所述节点更新指令携带所述预读取节点的节点信息;

更新模块,用于将所述节点更新指令携带的预读取节点的节点信息,添加至可访问节点,得到更新后的可访问节点;

确定模块,用于基于所述训练数据的标识号以及所述训练数据所在的数据产生的节点信息,从所述更新后的可访问节点中确定可访问节点,以及基于所述训练数据的标识号与所述至少一个预读取节点的节点信息,确定数据预读取节点;

发送模块,用于向所述数据预读取节点中的至少一个预读取节点发送数据读取命令,使得所述至少一个预读取节点响应所述数据读取命令从所述可访问节点中的目标数据产生节点获取所述训练数据。

11.一种数据传输装置,其特征在于,包括:

命令接收模块,用于接收数据管理节点发送的数据读取命令,其中,所述数据读取命令携带目标数据产生节点的节点信息;

数据获取模块,用于基于所述目标数据产生节点的节点信息以及预读取节点需要的目标训练数据的标识号,从所述目标数据产生节点获取与所述标识号对应的训练数据,并将所述训练数据进行保存;

指令生成模块,用于基于所述预读取节点的节点信息,生成节点更新指令;

请求发送模块,用于将所述节点更新指令发送至所述数据管理节点,以使所述数据管理节点响应所述节点更新指令,并将所述预读取节点的节点信息添加至可访问节点得到更新后的可访问节点,其中,所述可访问节点是基于所述数据产生节点产生的训练数据的标识号以及所述数据产生节点的节点信息生成的。

12.一种数据传输装置,其特征在于,包括:

训练数据产生模块,用于基于至少一个训练任务,产生至少一组训练数据,其中,每组训练数据具有不同的标识号;

节点信息确定模块,用于基于所述每组训练数据所指示的数据内容,确定需要所述每组训练数据的至少一个预读取节点的节点信息;

元数据产生模块,用于基于所述每组训练数据的标识号、所述每组训练数据所在的数据产生节点的节点信息以及至少一个预读取节点的节点信息,生成对应的元数据;

训练数据发送模块,用于将所述元数据发送至数据管理节点,使得所述数据管理节点对所述元数据进行管理,并使得每个预读取节点通过所述数据管理节点获取与所述标识号对应的训练数据,并使得每个预读取节点在获取所述训练数据后,生成携带所述预读取节点的节点信息的节点更新指令并发送至数据管理节点,以使所述数据管理节点将所述节点更新指令携带的预读取节点的节点信息添加至可访问节点中得到更新后的可访问节点,并基于所述训练数据的标识号以及所述训练数据所在的数据产生节点的节点信息,从所述更新后的可访问节点中确定可访问节点,以从所述可访问节点中获取所述训练数据。

13.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任意一项所述的数据传输方法。

14.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的数据传输方法。