利索能及
我要发布
收藏
专利号: 2018108419134
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种获取数据资源的方法,其特征在于,包括:通过网络爬虫触发对数据资源更新系统的可扩展超文本传输请求,所述网络爬虫通过模拟目标方式获取所述数据资源更新系统的数据,所述目标方式为浏览器通过超文本传输协议HTTP获取所述数据资源更新系统的数据的方式,其中,所述数据资源更新系统为用于提供数据资源下载服务的网站系统;

将所述网络爬虫的可扩展超文本传输对象下的所有方法和所有属性保存到全局对象中,以备份所述网络爬虫的可扩展超文本传输对象下的所有方法和所有属性;

创建保存在所述全局对象中的所述可扩展超文本传输对象对应的可扩展超文本传输实例,遍历所述可扩展超文本传输实例的所有属性和所有方法,为所述可扩展超文本传输实例的各个方法生成其对应的代理方法,为所述可扩展超文本传输实例的各个属性生成其对应的代理属性,以得到所述可扩展超文本传输对象对应的可扩展超文本传输对象代理;

通过所述可扩展超文本传输对象代理截取所述可扩展超文本传输请求以及所述可扩展超文本传输请求对应的返回数据,以获取所述可扩展超文本传输请求对应的交互流量数据,所述交互流量数据包括所述可扩展超文本传输请求和所述返回数据,所述返回数据包括网页数据;

从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地。

2.根据权利要求1所述的方法,其特征在于,所述从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地包括:对所述交互流量数据进行分类,以确定所述交互数据流量中的各个流量数据所属的数据资源类别;

根据数据资源类别与下载目的的关联关系确定与所述第一下载目的对应的第一数据资源类别;

将所述交互流量数据中属于所述第一数据资源类别的流量数据保存到本地。

3.根据权利要求2所述的方法,其特征在于,所述对所述交互流量数据进行分类包括:根据所述交互流量数据的格式对所述交互流量数据进行分类。

4.根据权利要求2所述的方法,其特征在于,所述对所述交互流量数据进行分类包括:将所述交互流量数据作为预设的流量数据分类模型的输入对所述交互流量数据进行分类。

5.根据权利要求4所述的方法,其特征在于,所述对所述交互流量数据进行分类之前还包括:

确定多个流量数据以及所述多个流量数据所属的数据资源类别;

将所述多个流量数据以及所述多个流量数据所属的数据资源类别作为训练样本,基于分类算法对流量数据分类模型进行训练得到最逼近所述训练样本的流量数据分类模型;

将所述最逼近所述训练样本的流量数据分类模型确定为所述预设的流量数据分类模型。

6.根据权利要求1‑5任一项所述的方法,其特征在于,所述通过网络爬虫触发对数据资源更新系统的可扩展超文本传输请求包括:在本地创建所述网络爬虫的可扩展超文本传输对象,并为所述可扩展超文本传输对象注册回调方法;

设置与所述数据资源更新系统对应的后台服务器交互的参数和向所述后台服务器发送的流量数据;

启动与所述后台服务器的通信交互。

7.一种获取数据资源的装置,其特征在于,包括:请求触发模块,用于通过网络爬虫触发对数据资源更新系统的可扩展超文本传输请求,所述网络爬虫为通过模拟目标方式获取所述数据资源更新系统的数据的网络爬虫,所述目标方式为浏览器获取所述数据资源更新系统的数据的方式,其中,所述数据资源更新系统为用于提供数据资源下载服务的网站系统;

流量截取模块,用于将所述网络爬虫的可扩展超文本传输对象下的所有方法和所有属性保存到全局对象中,以备份所述网络爬虫的可扩展超文本传输对象下的所有方法和所有属性;创建保存在所述全局对象中的所述可扩展超文本传输对象对应的可扩展超文本传输实例,遍历所述可扩展超文本传输实例的所有属性和所有方法,为所述可扩展超文本传输实例的各个方法生成其对应的代理方法,为所述可扩展超文本传输实例的各个属性生成其对应的代理属性,以得到所述可扩展超文本传输对象对应的可扩展超文本传输对象代理;

通过所述可扩展超文本传输对象代理截取所述可扩展超文本传输请求对应以及所述可扩展超文本传输请求对应的返回数据,以获取所述可扩展超文本传输请求对应的交互流量数据,所述交互流量数据包括所述可扩展超文本传输请求中的数据和所述返回数据,所述返回数据包括网页数据;

保存模块,用于从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地。

8.一种获取数据资源的装置,包括处理器、存储器以及通信接口,所述处理器、存储器和通信接口相互连接,其中,所述通信接口用于传输数据,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,执行如权利要求1‑6任一项所述的方法。

9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1‑

6任一项所述的方法。