1.一种基于深度学习的非法网站识别方法,其特征在于,包括以下步骤:S100:将网站的HTML内容输入至BERT‑CNN模型中,输出网站为非法网站的概率;
S200:将网站的图片输入至ResNet‑18模型中,输出网站为非法网站的概率;
S300:获取BERT‑CNN模型和ResNet‑18模型的输出,通过融合算法对这两个分类结果进行融合,得到待识别网站被预测为非法网站的概率,当被预测为非法网站的概率大于0.5,则该待识别网站为非法网站;
融合算法的计算公式如下:
;
表示考虑文本和图像特征后,第i个待识别网站被预测为非法网站的概率,和 分别表示第一特征权重系数和第二特征权重系数, 是基于BERT‑CNN模型预测的测试集中第i个网站为非法网站的概率, 基于ResNet‑18模型预测的测试集中第i个网站为非法网站的概率;
S400:对已判断其为非法网站的待识别网站的网站URL进行标记,并录入至非法网站库内储存;
在步骤S100中还包括:
S110,将第一网页文本和第二网页文本分别进行分句,生成第一句子集合和第二句子集合,第一句子集合包括第一网页文本分句的所有句子,第二句子集合包括第二网页文本分句的所有句子;
每间隔一段时间提取一次网页文本,直至提取到一个与第一次提取的网页文本不完全相同的网页文本为止,最后一次提取的网页文本即是第二网页文本,第一次提取的网页文本是第一网页文本;
S120,删除第一句子集合和第二句子集合中属于否定句的句子;
S130,将第一句子集合中的句子分别与第二句子集合中的句子进行一一对比,在每次对比时进行以下操作:删除重复的词,然后将不重复的词放入第一词库;
在步骤S130中还包括对第一词库缩减规模的处理,缩减规模后的第一词库中仅包括名词、动词、形容词、数词和量词;
S140,识别第一词库中属于敏感词的词来放入第二词库中;
S150,在步骤S110中的第一句子集合中提取包含第二词库的词的句子生成第三句子集合;
在步骤S110中的第二句子集合中提取包含第二词库的词的句子生成第四句子集合;
S160,从第一网页文本中删除不属于第三句子集合的句子获得第一文本;
从第二网页文本中删除不属于第四句子集合的句子获得第二文本;
将第二文本组合到第一文本之后获得第三文本,第三文本作为网站的HTML内容输入BERT‑CNN模型。
2.根据权利要求1所述的一种基于深度学习的非法网站识别方法,其特征在于,在步骤S120中否定句的定义是:一个句子中包含了奇数个否定词;
判断词语是否定词时将句子进行分词,然后将分词后的词与否定词的词库中的词进行匹配,如果匹配到相同的词,则判断该词为否定词;
否定词的词库为包括所有否定词的词库。
3.根据权利要求2所述的一种基于深度学习的非法网站识别方法,其特征在于,步骤S100还包括以下步骤:S101:将首页图片中的文本特征进行分词,并添加分类标记和分段标记,以及对应的位置编码;
S102:将编码后的文本输入BERT模型,获取模型在文本上的隐藏状态,提取最后一层的隐藏状态作为文本嵌入;
S103:获得的文本嵌入作为第一文本特征向量;
S104:将第一文本特征向量输入CNN模型,CNN模型包括基于卷积神经网络的局部特征卷积层、全连接层和分类器层,局部特征卷积层使用卷积核来提取文本中包含的关键短语局部显著特征,作为第二文本特征向量;
S105:高级特征向量输入到全连接层,全连接层的输出输入分类器层,在分类器层中使用SoftMax函数输出网站为非法网站的概率。
4.根据权利要求3所述的一种基于深度学习的非法网站识别方法,其特征在于,在步骤S104中,局部特征卷积层包含多个卷积操作,每个卷积操作产生一个显著特征,将这些特征串联起来形成高级特征向量,高级特征向量表示为:;
、 、 分别表示第1、2、y个卷积操作获得的显著特征,这个高级特征向量 作为局部特征卷积模块的输出,并被用于最终的文本分类任务;
对于一个卷积操作,采用一维卷积操作来生成特征图 ;
再对特征图 进行最大化池化,提取最大值 作为对应的显著特征;
使用卷积操作来提取文本中包含的关键短语局部显著特征。
5.根据权利要求1所述的一种基于深度学习的非法网站识别方法,其特征在于,在步骤S200中,还包括以下步骤:S201:经过ResNet‑18模型的卷积层和池化层对网站的图片进行初步降维和特征提取,得到网站的图片中的图像特征;
S202:ResNet‑18模型通过一系列堆叠的残差块构成了四个阶段,每个阶段都包含多个残差块,其中每个残差块由两个3×3大小的卷积层组成;
残差的计算公式为:
;
为当前残差块的输入, 为当前残差块的输出, 表示用来调整卷积层的权重参数,影响当前残差块的输入 的变换, 是残差部分,由两个或三个卷积层组成,将的输出与 相加后,通过非线性激活relu函数得到残差块的输出;
S203:最后一个残差块的输出送入到全局平均池化层中,以将每个通道的特征值进行平均,从而减少特征图的空间尺寸;
S204:通过一个全连接层将处理后的特征图映射到网站的分类标签,输出的结果通过SoftMax函数处理为概率值。
6.根据权利要求5所述的一种基于深度学习的非法网站识别方法,其特征在于,该识别方法还包括用于性能标准评价的混淆矩阵,性能标准评价的指标包括准确率、精确度、召回率以及统计量,混淆矩阵由真正例、真负例、假正例和假负例四个值组成。
7.根据权利要求6所述的一种基于深度学习的非法网站识别方法,其特征在于,准确率的表达式为:;
式中TP是指真正例,TN是指真负例,FP是指假正例,FN是指假负例;其中,TP是正确预测为非法网站的非法网站数量,TN是正确预测为正常网站的正常网站数量,FP是错误预测为非法网站的正常网站数量,FN是错误预测为正常网站的非法网站数量;
精确度的表达式为:
;
召回率的表达式为 :
。
8.根据权利要求7所述的一种基于深度学习的非法网站识别方法,其特征在于,F‑measure是召回率和精确度的调和平均数,其表达式为:;
表示调和平均数。
9.一种基于深度学习的非法网站识别系统,其特征在于,其通过如权利要求1‑8任一所述的基于深度学习的非法网站识别方法进行非法网站识别,包括:网页提取模块:用于从互联网上获取网页数据,并将其传递给后续的识别模型中;
数据预处理模块:对获取到的网页数据进行清洗、格式化和结构化,以便后续的分析和识别处理;
特征提取模块:从网页内容中提取特征信息,包括文本内容、图片和链接,用于后续的分类和识别;
分类模型模块:包括文本分类模型和图片分类模型,用于对网页内容进行分类,判断是否属于非法内容;
识别模块:基于预先设定的规则和策略,对网页内容进行规则匹配和识别,判断待识别网站为非法网站的概率;
非法网站库:用于记录和收集被判别为非法网站的URL信息。
10.一种存储介质,其特征在于,其存储了非暂时性计算机可读指令,当非暂时性计算机可读指令由计算机执行时,能够执行如权利要求1‑8中任一所述的一种基于深度学习的非法网站识别方法中的步骤。