1.一种日志处理方法,其特征在于,所述方法包括:
确定告警日志的第一类属性对应的第一属性标识,所述第一类属性包括:所述告警日志的日志属性中属性值固定的至少一个属性,其中,所述告警日志为反映应用程序运行状态出现异常的日志,其中,每条告警日志包括属性值固定的第一类属性和属性值不固定的第二类型属性,所述第二类型属性包括所述应用程序的描述信息和方法调用路径;
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识,当判断结果为是时,确定所述告警日志的第二类属性对应的第二属性标识集,所述第二类属性包括:所述告警日志的日志属性中属性值可变动的至少一个属性;第二属性标识集包括第二类属性中每个属性的第二属性标识;
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
2.根据权利要求1所述的方法,其特征在于,所述确定告警日志的第一类属性对应的第一属性标识,包括:通过哈希函数计算第一类属性中各个属性的哈希值;
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
3.根据权利要求1所述的方法,其特征在于,所述确定所述告警日志的第二类属性对应的第二属性标识集,包括:通过Simhash算法计算所述第二类属性中每个属性的Simhash值,第二类属性中所有属性的Simhash值构成所述第二属性标识集。
4.根据权利要求1所述的方法,其特征在于,所述依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志,包括:计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度;
将各个相似度进行设定运算,得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度;
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值,当结果为是时,判定告警日志为重复告警日志;当结果为否时,判定告警日志不是重复告警日志。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在判断出所述告警日志不是重复告警日志后,存储所述第一属性标识、第二属性标识集至所述告警日志属性标识记录。
6.根据权利要求1至5任一项所述的方法,其特征在于,在判断出所述告警日志不为重复告警日志后,该方法进一步包括:利用预先配置的与所述告警日志关联的应用程序对应的指标提取规则,提取与所述告警日志相关的环境指标数据;
将所述环境指标数据以及告警日志发送至告警服务端,以使告警服务端结合所述环境指标数据以及告警日志,确定告警日志的告警信息,并输出所述告警信息,所述告警信息包括告警原因、告警日志所对应的异常事件、和/或解决异常事件的指引方法。
7.一种日志处理装置,其特征在于,所述装置包括:
第一属性标识确定模块,用于确定告警日志的第一类属性对应的第一属性标识,所述第一类属性包括:所述告警日志的日志属性中属性值固定的至少一个属性,其中,所述告警日志为反映应用程序运行状态出现异常的日志,其中,每条告警日志包括属性值固定的第一类属性和属性值不固定的第二类型属性,所述第二类型属性包括所述应用程序的描述信息和方法调用路径;
告警日志去重模块,用于判断已存储的告警日志属性标识记录中是否存在所述第一属性标识;
第二属性标识确定模块,用于在已存储的告警日志属性标识记录中存在所述第一属性标识时,确定所述告警日志的第二类属性对应的第二属性标识集,所述第二类属性包括:所述告警日志的日志属性中属性值可变动的至少一个属性;第二属性标识集包括第二类属性中每个属性的第二属性标识;
所述告警日志去重模块,还用于依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
8.根据权利要求7所述的装置,其特征在于,所述第一属性标识确定模块,具体用于:通过哈希函数计算第一类属性中各个属性的哈希值;
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
9.根据权利要求7所述的装置,其特征在于,所述第二属性标识确定模块,具体用于:通过Simhash算法计算所述第二类属性中每个属性的Simhash值,第二类属性中所有属性的Simhash值构成所述第二属性标识集。
10.根据权利要求7所述的装置,其特征在于,所述告警日志去重模块具体用于:计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度;
将各个相似度进行设定运算,得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度;
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值,当结果为是时,判定告警日志为重复告警日志;当结果为否时,判定告警日志不是重复告警日志。
11.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如下方法:确定告警日志的第一类属性对应的第一属性标识,所述第一类属性包括:所述告警日志的日志属性中属性值固定的至少一个属性,其中,所述告警日志为反映应用程序运行状态出现异常的日志,其中,每条告警日志包括属性值固定的第一类属性和属性值不固定的第二类型属性,所述第二类型属性包括所述应用程序的描述信息和方法调用路径;
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识,当判断结果为是时,确定所述告警日志的第二类属性对应的第二属性标识集,所述第二类属性包括:所述告警日志的日志属性中属性值可变动的至少一个属性;第二属性标识集包括第二类属性中每个属性的第二属性标识;
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
13.一种日志告警系统,其特征在于,所述系统包括:日志采集端和告警服务端;
日志采集端用于:确定告警日志的第一类属性对应的第一属性标识,所述第一类属性包括:所述告警日志的日志属性中属性值固定的至少一个属性,其中,所述告警日志为反映应用程序运行状态出现异常的日志,其中,每条告警日志包括属性值固定的第一类属性和属性值不固定的第二类型属性,所述第二类型属性包括所述应用程序的描述信息和方法调用路径;判断已存储的告警日志属性标识记录中是否存在所述第一属性标识,当判断结果为是时,确定所述告警日志的第二类属性对应的第二属性标识集,所述第二类属性包括:所述告警日志的日志属性中属性值可变动的至少一个属性;第二属性标识集包括第二类属性中每个属性的第二属性标识;依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志;将不是重复告警日志的告警日志发送至告警服务端;
告警服务端用于:接收日志采集端发送的告警日志,并根据所接收的告警日志生成告警信息。