利索能及
我要发布
收藏
专利号: 2014107795118
申请人: 北京国双科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种网络爬虫请求的获取方法,其特征在于,包括:获取待爬虫的资源信息的验证码图片;

对所述验证码图片进行分割和降噪处理,得到多个第一图片;

对各个所述第一图片进行二值化处理得到各个所述第一图片的第一矩阵;

读取数据库中与各个所述第一矩阵对应的第二矩阵;

获取所述第二矩阵所指示的字符,得到验证码信息;

基于所述验证码信息和预先获取的用户信息生成网络爬虫请求,其中,所述网络爬虫请求用于获取所述资源信息。

2.根据权利要求1所述的获取方法,其特征在于,对所述验证码图片进行分割和降噪处理,得到多个第一图片包括:将所述验证码图片按照预设宽度分割得到多个第二图片;

对所述第二图片中的各个第一像素点进行亮度降噪处理,得到降噪后的所述第一图片,其中,对所述第二图片中的各个第一像素点进行亮度降噪处理,得到降噪后的所述第一图片包括:判断所述第一像素点的亮度是否大于第一预设阈值;

若所述第一像素点的亮度大于所述第一预设阈值,则设置所述第一像素点的灰度值为第一值;

若所述第一像素点的亮度不大于所述第一预设阈值,则设置所述第一像素点的灰度值为第二值。

3.根据权利要求2所述的获取方法,其特征在于,对所述第二图片中的各个第一像素点进行亮度降噪处理,得到降噪后的所述第一图片之前,所述获取方法包括:获取所述第二图片的高度和宽度;

使用所述第二图片的高度和宽度判断在所述第二图片上是否存在下一个第一像素点;

若所述第二图片上存在所述下一个第一像素点,则读取所述下一个第一像素点的亮度。

4.根据权利要求2所述的获取方法,其特征在于,若所述第一像素点的亮度大于所述第一预设阈值,则设置所述第一像素点的灰度值为第一值包括:若所述第一像素点的亮度大于所述第一预设阈值,则获取所述第一像素点的第一色度值和第二像素点的第二色度值,其中,所述第一像素点与所述第二像素点的距离小于第二预设阈值;

计算各个所述第二色度值与所述第一色度值的差值;

统计大于第三预设阈值的所述差值的数量;

若所述大于第三预设阈值的所述差值的数量不大于第四预设阈值,则设置所述第一像素点的灰度值为所述第一值;

若所述大于第三预设阈值的所述差值的数量大于第四预设阈值,则设置所述第一像素点的灰度值为所述第二值。

5.根据权利要求2至4中任意一项所述的获取方法,其特征在于,对各个所述第一图片进行二值化处理得到各个所述第一图片的第一矩阵包括:若所述第一图片的所述第一像素点的灰度值为所述第一值,设置所述第一像素点的二维值为第三值,若所述第一图片的所述第一像素点的灰度值为所述第二值,设置所述第一像素点的二维值为第四值,得到二维的所述第一矩阵。

6.根据权利要求2至4中任意一项所述的获取方法,其特征在于,读取数据库中与各个所述第一矩阵对应的第二矩阵包括:计算所述第一矩阵的和值,从所述数据库中读取与所述第一矩阵的和值相等的所述第二矩阵;

获取所述第二矩阵所指示的字符,得到验证码信息包括:按照映射关系读取所述第二矩阵所指示的所述字符,按照所述字符的顺序组成所述验证码信息。

7.一种网络爬虫请求的获取装置,其特征在于,包括:第一获取模块,用于获取待爬虫的资源信息的验证码图片;

分割降噪模块,用于对所述验证码图片进行分割和降噪处理,得到多个第一图片;

矩阵模块,用于对各个所述第一图片进行二值化处理得到各个所述第一图片的第一矩阵;

读取模块,用于读取数据库中与各个所述第一矩阵对应的第二矩阵;

第二获取模块,用于获取所述第二矩阵所指示的字符,得到验证码信息;

生成模块,用于基于所述验证码信息和预先获取的用户信息生成网络爬虫请求,其中,所述网络爬虫请求用于获取所述资源信息。

8.根据权利要求7所述的获取装置,其特征在于,所述分割降噪模块包括:分割子模块,用于将所述验证码图片按照预设宽度分割得到多个第二图片;

降噪子模块,用于对所述第二图片中的各个第一像素点进行亮度降噪处理,得到降噪后的所述第一图片,其中,所述降噪子模块包括:

判断单元,用于判断所述第一像素点的亮度是否大于第一预设阈值;

第一设置单元,在所述判断单元的判断结果为是的情况下,用于设置所述第一像素点的灰度值为第一值;

第二设置单元,在所述判断单元的判断结果为否的情况下,用于设置所述第一像素点的灰度值为第二值。

9.根据权利要求8所述的获取装置,其特征在于,所述获取分割降噪模块还包括:获取子模块,连接于所述分割子模块,用于获取所述第二图片的高度和宽度;

第一判断子模块,连接于所述获取子模块,用于使用所述第二图片的高度和宽度判断在所述第二图片上是否存在下一个第一像素点;

第一读取子模块,连接于所述第一判断子模块,在所述第一判断子模块的判断结果为是的情况下,用于读取所述下一个第一像素点的亮度。

10.根据权利要求8所述的获取装置,其特征在于,所述第一设置单元包括:色度子单元,连接于所述判断单元,在所述判断单元的判断结果为是的情况下,用于获取所述第一像素点的第一色度值和第二像素点的第二色度值,其中,所述第一像素点与所述第二像素点的距离小于第二预设阈值;

计算子单元,连接于所述色度子单元,用于计算各个所述第二色度值与所述第一色度值的差值;

统计子单元,连接于所述计算子单元,用于统计大于第三预设阈值的所述差值的数量;

第一设置子单元,连接于所述统计子单元,若所述大于第三预设阈值的所述差值的数量不大于第四预设阈值,则设置所述第一像素点的灰度值为所述第一值;

第二设置子单元,连接于所述统计子单元,若所述大于第三预设阈值的所述差值的数量大于第四预设阈值,则设置所述第一像素点的灰度值为所述第二值。

11.根据权利要求8至10中任意一项所述的获取装置,其特征在于,所述矩阵模块包括:第二判断子模块,用于判断所述第一图片的所述第一像素点的灰度值是否为所述第一值;

第三值子模块,用于在所述第二判断子模块的判断结果为是的情况下,设置所述第一像素点的二维值为第三值,得到二维的所述第一矩阵;

第四值子模块,用于在所述第二判断子模块的判断结果为否的情况下,设置所述第一像素点的二维值为第四值,得到二维的所述第一矩阵。

12.根据权利要求8至10中任意一项所述的获取装置,其特征在于,所述读取模块包括:计算子模块,用于计算所述第一矩阵的和值;第二读取子模块,用于从所述数据库中读取与所述第一矩阵的和值相等的所述第二矩阵;

所述第二获取模块包括:第三读取子模块,用于按照映射关系读取所述第二矩阵所指示的所述字符;组成子模块,用于按照所述字符的顺序组成所述验证码信息。