1.一种视频融合方法,其特征在于,所述方法应用于视频融合服务器,所述视频融合服务器上安装有三维场景模型,所述方法包括:获取信令服务器发送的连接请求指令;其中,所述连接请求指令是所述信令服务器响应终端发送的连接请求信息得到的;所述终端上安装有三维视频融合应用;
与终端建立连接;
生成三维视频融合应用启动视频流;
将所述三维视频融合应用启动视频流发送至所述终端进行解码展示;
获取信令服务器发送的三维视频融合应用控制指令;其中,所述三维视频融合应用控制指令是所述信令服务器响应所述终端发送的操作信息生成的,所述终端响应于用户对三维视频融合应用的操作生成所述操作信息;其中,所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取,所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令,所述操作信息包括流媒体控制信息和三维场景模型控制信息;其中,所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的,所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的;所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器;
根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成操作结果动作视频流;
将所述操作结果动作视频流发送至所述终端进行解码展示。
2.根据权利要求1所述的视频融合方法,其特征在于,根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成操作结果动作视频流,包括:根据所述流媒体控制指令或者所述三维场景模型操作指令对三维场景模型按照DirectX协议和OpenGL协议进行场景渲染,得到渲染后的三维场景模型;
获取目标视频流,并将所述目标视频流进行解码;
与解码后的目标视频流以贴图的方式融合到渲染后的三维场景模型中,得到目标三维场景模型;
将所述目标三维场景模型至少按帧率参数和分辨率参数编码成操作结果动作视频流;
将所述操作结果动作视频流发送至所述终端进行解码展示,包括:
对所述操作结果动作视频流按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装,得到操作结果动作视频流;
将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。
3.根据权利要求1所述的视频融合方法,其特征在于,所述终端响应于用户对所三维视频融合应用的操作事件,将所述操作事件进行封装后得到所述操作信息。
4.一种视频融合方法,其特征在于,所述方法应用于信令服务器,所述方法包括:
获取终端发送的连接请求信息;其中,所述终端上安装有三维视频融合应用;
根据所述连接请求信息向安装有三维场景模型的视频融合服务器发送连接请求指令,以使所述视频融合服务器响应所述连接请求指令与所述终端建立连接并生成三维视频融合应用启动视频流,并将所述三维视频融合应用启动视频流发送至所述终端进行解码展示;
获取终端发送的操作信息;其中,所述终端响应于用户对所述三维视频融合应用的操作生成所述操作信息;
将所述操作信息解析成相对应的三维视频融合应用控制指令;
将所述三维视频融合应用控制指令发送至所述视频融合服务器,以使所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成操作结果动作视频流;将所述操作结果动作视频流发送至所述终端进行解码展示;
其中,所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取,所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令,所述操作信息包括流媒体控制信息和三维场景模型控制信息;其中,所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的,所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的;所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器。
5.一种视频融合方法,其特征在于,所述方法应用于终端,所述终端上安装有三维视频融合应用,所述方法包括:
向信令服务器发送连接请求信息,以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至视频融合服务器;
与所述视频融合服务器建立连接;
接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示;其中,所述视频融合服务器安装有三维场景模型,所述三维视频融合应用启动视频流是所述视频融合服务器响应所述连接请求指令生成的;
响应于用户对所述三维视频融合应用的操作并生成操作信息;
将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的三维视频融合应用控制指令并将所述三维视频融合应用控制指令发送至视频融合服务器;其中,所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取,所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令,所述操作信息包括流媒体控制信息和三维场景模型控制信息;其中,所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的,所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的;所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器;
接收所述视频融合服务器发送的操作结果动作视频流并解码展示,其中,所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成所述操作结果动作视频流。
6.一种视频融合装置,其特征在于,所述装置应用于视频融合服务器,所述视频融合服务器上安装有三维场景模型,所述装置包括:视频融合服务器第一获取模块,用于获取信令服务器发送的连接请求指令;其中,所述信令服务器响应终端发送的连接请求信息得到的;所述终端上安装有三维视频融合应用;
视频融合服务器连接模块,用于与终端建立连接;
视频融合服务器第一处理模块,用于生成三维视频融合应用启动视频流;
视频融合服务器第一发送模块,用于将所述三维视频融合应用启动视频流发送至所述终端进行解码展示;
视频融合服务器第二获取模块,用于获取信令服务器发送的三维视频融合应用控制指令;其中,所述三维视频融合应用控制指令是所述信令服务器响应终端发送的操作信息生成的,所述终端响应于用户对三维视频融合应用的操作生成所述操作信息;其中,所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取,所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令,所述操作信息包括流媒体控制信息和三维场景模型控制信息;其中,所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的,所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的;所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器;
视频融合服务器第二处理模块,用于根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成操作结果动作视频流;
视频融合服务器第二发送模块,用于将所述操作结果动作视频流发送至所述终端进行解码展示。
7.一种视频融合装置,其特征在于,所述装置应用于信令服务器,所述装置包括:
信令服务器第一获取模块,用于获取终端发送的连接请求信息;其中,所述终端上安装有三维视频融合应用;
信令服务器第一发送模块,用于根据所述连接请求信息向安装有三维场景模型的视频融合服务器发送连接请求指令,以使所述视频融合服务器响应所述连接请求指令与所述终端建立连接并生成三维视频融合应用启动视频流,并将所述三维视频融合应用启动视频流发送至所述终端进行解码展示;
信令服务器第二获取模块,用于获取终端发送的操作信息;其中,所述终端响应于用户对所述三维视频融合应用的操作生成所述操作信息;
信令服务器处理模块,用于将所述操作信息解析成相对应的三维视频融合应用控制指令;其中,所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取,所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令,所述操作信息包括流媒体控制信息和三维场景模型控制信息;其中,所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的,所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的;所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器;
信令服务器第二发送模块,用于将所述三维视频融合应用控制指令发送至安装有三维场景模型的视频融合服务器,以使所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成操作结果动作视频流;将所述操作结果动作视频流发送至所述终端进行解码展示。
8.一种视频融合装置,其特征在于,所述装置应用于终端,所述终端上安装有三维视频融合应用,所述装置包括:
终端第一获取模块,用于向信令服务器发送连接请求信息,以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至视频融合服务器;
终端连接模块,用于与所述视频融合服务器建立连接;
终端第一接收模块,用于接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示;其中,所述视频融合服务器安装有三维场景模型,所述三维视频融合应用启动视频流是所述视频融合服务器响应所述连接请求指令生成的;
终端第二获取模块,响应于用户对所述三维视频融合应用的操作并生成操作信息;
终端发送模块,用于将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的三维视频融合应用控制指令并将所述三维视频融合应用控制指令发送至视频融合服务器;其中,所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取,所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令,所述操作信息包括流媒体控制信息和三维场景模型控制信息;其中,所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的,所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的;所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器;
终端第二接收模块,用于接收所述视频融合服务器发送的操作结果动作视频流并解码展示,其中,所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成所述操作结果动作视频流。
9.一种视频融合系统,其特征在于,所述系统包括终端、信令服务器和视频融合服务器;所述终端上安装有三维视频融合应用,所述视频融合服务器上安装有三维场景模型;
所述终端,用于向信令服务器发送连接请求信息,与所述视频融合服务器建立连接;接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示;还用于响应于用户对所述三维视频融合应用的操作生成操作信息,将所述操作信息发送至信令服务器;接收所述视频融合服务器发送的操作结果动作视频流并解码展示;
所述信令服务器,用于响应所述连接请求信息生成连接请求指令,并将连接请求指令发送至视频融合服务器;还用于将所述操作信息解析成相对应的三维视频融合应用控制指令,将所述三维视频融合应用控制指令发送至视频融合服务器;其中,所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取,所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令,所述操作信息包括流媒体控制信息和三维场景模型控制信息;其中,所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的,所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的;所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器;
所述视频融合服务器,用于响应所述连接请求指令与终端建立连接,响应所述连接请求指令生成三维视频融合应用启动视频流,将所述三维视频融合应用启动视频流发送至终端;还用于根据所述三维视频融合应用控制指令拉取目标视频流,并将目标视频流与三维场景模型进行融合得到目标三维场景模型,将所述目标三维场景模型按预设参数生成所述操作结果动作视频流,将所述操作结果动作视频流发送至终端。