利索能及
我要发布
收藏
专利号: 202211040227X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,其特征在于含有以下步骤:步骤1:搭建声纹识别模型结构并中毒模型;

步骤2:利用中毒模型提取训练样本的特征空间;

步骤3:对每一类的样本进行特征聚类;

步骤4:计算每个类别的聚类指标并识别中毒类别;

步骤5:根据特征降维识别中毒簇;

步骤6:重新训练一个干净的声纹识别模型并测试防御性能。

2.如权利要求1所述的基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,其特征在于,步骤1具体包括:将中毒样本加入到原始训练集中并训练一个声纹识别模型:Dtrain=Dbenign UDpoisoned (1)其中Dbenign为干净的训练样本,Dpoisoned为中毒样本,中毒样本的标签被恶意的标为目标类别,Dtrain表示中毒的训练集;然后指定模型的结构,层数以及各层的参数,采用的分类模型包含1D卷积层,1D池化层,批归一化层即BN层;该模型的参数主要有卷积层的数量和大小、池化层的大小、全连接层神经元的数量。

3.如权利要求1所述的基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,其特征在于,步骤2具体包括:将中毒训练集重新输入到预训练的声纹识别模型中,根据模型分类的结果,将同一个分类标签的样本划分为一类并提取样本的特征空间;

i=fθ′(Di), 0≤i≤N (2)

i表示模型预测的类别,N表示模型的分类任务数,fθ′表示预训练的模型,Di表示分类为第i类别的所有样本, n表示Di中样本的个数;l表示声纹识别模型的层数,第l‑1层就是softmax的前一层,即特征层,所以 表示声纹识别模型特征层的输出,Si表示分类为第i类别样本的特征矩阵,是一个n行μ列矩阵,即 表示第i个类别中第k个样本的特征, 特征的维度u由特征层的参数定义。

4.如权利要求1所述的基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,其特征在于,步骤3所述的对每一类的样本进行特征聚类包括:(3.1)在分类阶段,DNN会基于样本的输入特征识别正常样本,然而却根据样本的触发器识别中毒样本,因此这两种样本的分类差异所有不同,这一点在特征层中更明显的体现;

首先利用2‑means聚类将每一个类别的样本分为两簇,具体而言,先随机选取两个聚类中心点(3.2)计算所有样本特征到聚类中心点的距离,然后根据最近的距离确定样本所属的簇:i i

其中c(k)表示第i个类别中第k个样本所在的簇,c(k)=0或1;

(3.3)根据聚类的结果以及当前簇内的样本更新聚类中心点:其中1{}函数表示:若{}里条件为真,则结果为1,否则为0,用同一簇内点的平均特征作为新的聚类中心点, 表示更新后的聚类中心点;

(3.4)重复步骤2和步骤3直到聚类中心点不再改变,此时所有的样本会被分为两簇。

5.如权利要求1所述的基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,其特征在于,步骤4具体包括:利用聚类指标CH分数衡量每个类别聚类的效果,若是一个类别里没有中毒样本,那么这些样本的特征会很接近,它们会尽可能的凑成一簇,此时的聚类果会很差,CH分数较小,若是标签里存在中毒样本,根据它们与干净样本的差异会被明显的分为两簇,此时的聚类CH分数较大,CH分数计算公式如下:其中 表示簇间的协方差矩阵, 表示簇内的协方差矩阵;tr()表示矩阵的迹,n表示训练集的个数,m表示簇的个数,Zi表示第i个类别聚类结果的CH分数;在第二个式子中,表示第i个类别中的第q簇,α表示第q簇内样本的特征, 表示第q簇的聚类中心点;第三个式子中,nq表示第q簇内样本的数目, 表示第i个类别中所有样本的聚类中心点;提前设置一个CH分数阈值Zo来判断某类别是否中毒:小于该阈值的类别被认为是正常类别,则保留正常类别中的所有样本,大于阈值的类别被认为是中毒类别,继续执行下一步。

6.如权利要求1所述的基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,其特征在于,步骤5所述的根据特征降维识别中毒簇具体包括:(5.1)判断中毒类别中的中毒簇,用主成分分析Principal Component Analysis,PCA将样本的特征维度降至一维;首先对特征矩阵Si进行去平均化得到其中 是第k个样本的特征去平均化后的结果,即

奇异值分解是PCA的一种方式,是适用于任意矩阵的一种分解的方法,对于任意矩阵Si′总是存在一个奇异值分解公式如下:T

Si′=UλV (11)

其中Si′是一个n行μ列矩阵,U是n行n列矩阵,U里面的正交向量被称为左奇异向量,λ是一个n行μ列的对角矩阵,除了对角线其它元素都为0,对角线上的元素称为奇异值,是从大T到小排列的;V是一个μ行μ列的矩阵,它里面的正交向量被称为右奇异值向量;首先求Si′T TSi′的特征值与特征向量,用单位化的特征向量构成U;再求Si′Si′的特征值与特征向量,用T T单位化的特征向量构成V;将Si′Si′或Si′Si′的特征值求平方,构成λ;最后选择最大的特征T值对应的特征向量,即V 的第一个行向量(v1,v2,...vμ)用作特征的映射将特征降至一维,公式如下:T

Ai=Si′×(v1,v2,...vμ) (12)表示中毒类别的信号分数,其大小代表了样本传递给DNN的分类信号值;事实上,在模型的测试阶段,中毒样本会传递一个强烈的分类信号给DNN,使其分类成目标类别,因此可以通过降维后的信号判断中毒样本;

(5.2)根据信号分数确定并删除中毒簇:

因中毒样本拥有比正常样本更大的信号分数,所以找到信号分数最大的样本 其必定为中毒样本,那么该样本所在的那一簇就为中毒簇,设该簇内样本的索引为Ip,则删除此类别中索引为Ip的样本:Di′=Remove(Di[Ip]) (14)

其中,Di′表示第i类别中的干净样本。

7.如权利要求1所述的基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,其特征在于,步骤6具体包括:首先整合所有的干净数据,将其作为训练集修复模型:

D′train=D1′UD2′U...UD′N      (15)D′train表示干净的训练集,用此数据重新训练模型,保证训练后模型在测试集上的精度基本不会变化;然后衡量防御的效果,即计算后门攻击针对修复模型的攻击成功率;在测试阶段,后门样本采用与中毒样本相同的触发器,对于任意测试样本,加入触发器后,若模型预测为目标标签yt,则攻击成功;攻击成功率ASR的公式为:其中M表示生成的后门样本的个数, 表示后门样本 经修复后模型softmax层输出的概率分布,equal(.)用来衡量模型的输出与攻击的目标是否相等,ASR表示后门攻击的攻击成功率,ASR越低,表示防御的效果越好。