利索能及
我要发布
收藏
专利号: 202111658830X
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据传输方法,其特征在于,应用于中心服务器,所述方法包括:

接收至少一个数据生产端发送的元数据,并将所述元数据存储至先进先出的队列数据库,其中,所述元数据包括所述数据生产端的网络地址信息以及所述数据生产端所产生的训练数据的数据量大小;

响应于任一数据消费端的数据获取请求,在所述队列数据库为非空的情况下,从所述队列数据库中提取一条元数据发送至所述数据消费端,使得所述数据消费端基于所述元数据从所述数据生产端获取所述训练数据以对强化学习网络进行训练并与共同训练所述强化学习网络的其他数据消费端交换网络参数信息,其中,所述数据消费端基于所述网络地址信息与所述数据生产端建立通信连接,所述训练数据的数据量大小用于指示所述数据消费端需要获取的训练数据的数据量。

2.根据权利要求1所述的方法,其特征在于,所述接收数据生产端发送的元数据之前,所述方法还包括:基于所述中心服务器的网络地址信息,分别建立所述中心服务器与至少一个数据生产端之间的通信连接,以及所述中心服务器与至少一个数据消费端之间的通信连接。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

在所述队列数据库为空的情况下,进入等待状态,直至所述队列数据库中出现新的元数据,并将所述新的元数据发送至所述数据消费端。

4.一种数据传输方法,其特征在于,应用于数据生产端,所述方法包括:

通过运行至少一个强化学习环境,产生训练数据;

基于所述数据生产端的网络地址信息以及所述训练数据的数据量大小,生成元数据;

将所述元数据发送至中心服务器,使得数据消费端在所述中心服务器中的先进先出的队列数据库为非空的情况下,从所述队列数据库中获取所述元数据,并基于所述元数据从所述数据生产端获取所述训练数据以对强化学习网络进行训练并与共同训练所述强化学习网络的其他数据消费端交换网络参数信息,其中,所述数据消费端基于所述网络地址信息与所述数据生产端建立通信连接,所述训练数据的数据量大小用于指示所述数据消费端需要获取的训练数据的数据量。

5.根据权利要求4所述的方法,其特征在于,所述网络地址信息包括网络协议地址以及端口号;所述基于所述数据生产端的网络地址信息以及所述训练数据的数据量大小,生成元数据,包括:确定所述数据生产端的一个空闲端口的端口号;

基于所述空闲端口的端口号、所述数据生产端的网络协议地址以及所述训练数据的数据量大小,生成所述元数据。

6.根据权利要求5所述的方法,其特征在于,所述将所述元数据发送至中心服务器之后,所述方法还包括:响应于所述数据消费端发送的连接请求,基于所述空闲端口的端口号以及所述数据生产端的网络协议地址开启数据传输通道,以将所述训练数据发送至所述数据消费端。

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

在检测到所述数据消费端断开连接的情况下,关闭所述数据传输通道。

8.一种数据传输方法,其特征在于,应用于数据消费端,所述方法包括:

发送数据获取请求至中心服务器;

接收所述中心服务器响应于所述数据获取请求,且在所述中心服务器中的先进先出的队列数据库为非空的情况下,从所述队列数据库中提取并发送的元数据,其中,所述元数据包括数据生产端的网络地址信息以及所述数据生产端所产生的训练数据的数据量大小;

基于所述元数据,从所述数据生产端获取所述训练数据,并基于所述训练数据对强化学习网络进行训练,并与共同训练所述强化学习网络的其他数据消费端交换网络参数信息。

9.根据权利要求8所述的方法,其特征在于,所述基于所述元数据,从所述数据生产端获取所述训练数据,包括:对所述元数据进行解析,得到所述数据生产端的网络地址信息以及所述训练数据的数据量大小;

基于所述数据生产端的网络地址信息,生成连接请求,并向所述数据生产端发送所述连接请求;

接收所述数据生产端响应所述连接请求发送的所述训练数据,直至所接收到的数据量与所述数据量大小匹配。

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

在所接收到的数据量与所述数据量大小匹配的情况下,断开所述数据消费端与所述数据生产端之间的通信连接。

11.一种数据传输装置,其特征在于,包括:

元数据接收模块,用于接收至少一个数据生产端发送的元数据,并将所述元数据存储至队列数据库,其中,所述元数据包括所述数据生产端的网络地址信息以及所述数据生产端所产生的训练数据的数据量大小;

元数据发送模块,用于响应于任一数据消费端的数据获取请求,在所述队列数据库为非空的情况下,从所述队列数据库中提取一条元数据发送至所述数据消费端,使得所述数据消费端基于所述元数据从所述数据生产端获取所述训练数据以对强化学习网络进行训练并与共同训练所述强化学习网络的其他数据消费端交换网络参数信息;其中,所述数据消费端基于所述网络地址信息与所述数据生产端建立通信连接,所述训练数据的数据量大小用于指示所述数据消费端需要获取的训练数据的数据量。

12.一种数据传输装置,其特征在于,包括:

训练数据产生模块,用于通过运行至少一个强化学习环境,产生训练数据;

元数据生成模块,用于基于所述数据生产端的网络地址信息以及所述训练数据的数据量大小,生成元数据;

发送模块,用于将所述元数据发送至中心服务器,使得数据消费端在所述中心服务器的队列数据库为非空的情况下从所述队列数据库中获取所述元数据,并基于所述元数据从所述数据生产端获取所述训练数据以对强化学习网络进行训练并与共同训练所述强化学习网络的其他数据消费端交换网络参数信息,其中,所述数据消费端基于所述网络地址信息与所述数据生产端建立通信连接,所述训练数据的数据量大小用于指示所述数据消费端需要获取的训练数据的数据量。

13.一种数据传输装置,其特征在于,包括:

请求发送模块,用于发送数据获取请求至中心服务器;

接收模块,用于接收所述中心服务器响应于所述数据获取请求,且在队列数据库为非空的情况下,从所述队列数据库中提取并发送的元数据,其中,所述元数据包括数据生产端的网络地址信息以及所述数据生产端所产生的训练数据的数据量大小;

训练数据获取模块,用于基于所述元数据,从所述数据生产端获取所述训练数据,并基于所述训练数据对强化学习网络进行训练,并与共同训练所述强化学习网络的其他数据消费端交换网络参数信息。

14.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任意一项所述的数据传输方法。

15.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任意一项所述的数据传输方法。