利索能及
我要发布
收藏
专利号: 2023108072030
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种开源太阳辐照度数据动态采集方法,其特征在于,包括如下步骤:

S1、开源数据的筛选和采集条件的分析

所述开源数据的筛选方法:对全球多个太阳辐照度数据进行筛选,选出可用于太阳辐照度预测及太阳能资源评估的数据源,获取所选数据的元信息,根据元信息将运行时间久、可靠性强、时空分辨率高的数据作为开源太阳辐照数据动态采集对象;

所述开源数据的采集条件分析:依次分析获取开源太阳辐照度数据源网站数据地址的规律,对待采集数据的形式、是否需要登陆账户以及密码、是否需要以ftp方式关联、是否需要变换数据格式进行统计分析;根据以上分析,将开源数据网站采集条件分为一般和特殊两类,分别制定开源太阳辐照度数据源数据的采集规则;

S2、数据采集

S2‑1、设定一般开源数据源网站采集规则,并进行数据采集;所述一般开源数据源网站采集规则为:根据数据地址的统一资源定位符、数据生成时间、时间间隔,站点,生成用户指定站点、时间、时间间隔的统一资源定位符,通过所述统一资源定位符定位到数据的位置,执行数据采集任务;

S2‑2、设定特殊开源数据源网站采集规则,并进行数据采集;所述特殊开源数据源网站采集规则为:通过输入账号与密码登录特殊网站的ftp服务器,通过服务器接口执行数据采集任务;

S2‑3、采集所述数据的清洗和入库,

所述数据的清洗和入库的方法为:

S2‑3‑1、读取csv文件中的太阳总辐照度G、太阳直接辐照度B、采集时间T、地点经度Lon、纬度Lat,将采集时间T转化为世界调整时间;

S2‑3‑2、设置G和B的物理上下限,计算地外太阳辐照度并将其作为上限,S2‑3‑3、缺失值处理;

S2‑3‑4、过滤太阳天顶角 时间段内记录的G和B,将对应的G和B标记为缺失值;

S2‑3‑5、将经过清洗的数据直接导入mysql数据库。

2.根据权利要求1所述的一种开源太阳辐照度数据动态采集方法,其特征在于,所述元信息包括种类、采集设备、采集频率、采集时间和维护频率。

3.根据权利要求1所述的一种开源太阳辐照度数据动态采集方法,其特征在于,所述步骤S2‑1中,根据一般开源数据源网站采集规则进行数据采集的方法为:S2‑1‑1、创建一个新任务,选择一般数据源X,选择数据源X下的某个站点,以年月日的形式给出需采集数据的开始时间与结束时间;

S2‑1‑2、通过数据源X的名字得到数据源统一资源定位符的一般格式,将选择的站点映射成站点编号,将数据的产生时间标准化,最后将资源定位符的一般格式、站点编号、标准化时间关联形成数据的具体统一资源定位符,通过循环的方式生成开始时间以及结束时间内的所有数据采集任务;

S2‑1‑3、执行数据采集任务并导出数据,运行配置好的采集任务,待数据采集完毕,将数据原本的zip格式或dat格式进行转换,统一以csv的方式进行导出。

4.根据权利要求1所述一种开源太阳辐照度数据动态采集方法、系统及存储介质,其特征在于,所述步骤S2‑2中,根据特殊开源数据源网站采集规则进行数据采集的方法为:S2‑2‑1、创建一个新任务,选择特殊开源数据源Y,输入该数据源网站的登录账户和密码,登陆该网站的ftp服务器;

S2‑2‑2、通过数据源Y的名字得到数据源路径前缀的一般格式,将数据的产生时间标准化,将路径前缀的一般格式、站点名称、标准化时间关联形成数据的具体采集路径,通过循环的方式生成开始时间以及结束时间内的所有数据采集任务;

S2‑2‑3、执行数据采集任务并导出数据,运行配置好的采集任务,待数据采集完毕,将数据原本的dat.gz格式进行转换,统一以csv的方式进行导出。

5.一种开源太阳辐照度数据动态采集系统,实现如权利要求1‑4任一项所述方法的步骤,其特征在于,包括后端主服务程序、采集规则配置前端和数据存储集群,所述采集规则配置前端,用于进行数据采集规则的配置,并将配置好的采集规则发送到后端主服务程序;

后端主服务程序,用于根据采集规则配置前端发送的配置好的采集规则进行数据采集,并对采集的数据进行清洗,最后导入数据存储集群。

6.根据权利要求5所述的一种开源太阳辐照度数据动态采集系统,其特征在于,所述后端主服务程序、采集规则配置前端和数据存储集群均部署在云服务器上。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1‑4任一项所述方法的步骤。