利索能及
我要发布
收藏
专利号: 2024103490472
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于语音识别系统的后门安全性评估方法,其特征在于,包括:根据预先获取的语音合成模型计算得到优化损失函数;

根据所述优化损失函数优化生成宿主样本及所述宿主样本的语音风格参数,并将所述宿主样本及所述语音发生参数组合生成宿主样本集;

将触发器注入所述宿主样本集中,组合生成中毒样本集,并将所述中毒样本集与预先获取的原始训练样本集组合生成混合训练样本集;

将待评估的干净语音模型在所述混合训练样本集中进行标准化训练,生成受害者模型;

将预先获取的干净测试样本以及带有隐形触发器的测试样本分别输入到所述受害者模型,进行精度测试及后门攻击;

根据所述精度测试及后门攻击的结果对所述受害者模型进行安全性评估;

其中,所述语音合成模型为条件变分自编码模型,表示为:;

式中, 表示为输出的音频样本, 为优化前的语音风格参数, 是合成音频的语义内容, 表示为语音合成函数;

设定 表示为音频样本 的语义内容为 ,且利用上述合成的音频文件满足 , 表示为音频样本中的语音内容;

所述优化损失函数,表示为:

式中, 表示为优化损失函数, 表示为干净语音训练模型的损失函数,表示为绝对值函数, 和 分别表示为优化前的语言风格参数的均值和方差,表示为调控正则化项的幅度调控参数;

经所述优化损失函数优化得到的优化后的语音风格参数,表示为:;

式中, 表示为优化后的语音风格参数, 表示为取极大值;

根据干净语音训练模型的基本任务类型构建并维护触发池,所述触发池内设有由音频片段构建生成的触发器;

根据触发器置信度计算得到触发器,所述触发器表示为:;

式中, 表示为触发器, 表示触发器置信度取极大值, 表示为触发器置信度;

所述触发器置信度,表示为:

式中, 表示为将触发器 分类到第i个转录类别的可能性, 表示为第i个类别的置信度计算权重。

2.根据权利要求1所述的用于语音识别系统的后门安全性评估方法,其特征在于,经触发器注入所述宿主样本集中组合生成中毒样本集,所述中毒样本集中的样本表示为:;

其中, 表示为中毒样本, 表示为宿主样本。

3.根据权利要求1所述的用于语音识别系统的后门安全性评估方法,其特征在于,所述带有隐形触发器的测试样本为干净测试样本通过输入触发器而获得的相对应样本,表示为:;

其中, 表示为带有隐形触发器的测试样本, 表示为干净测试样本。

4.根据权利要求1所述的用于语音识别系统的后门安全性评估方法,其特征在于,所述将预先获取的干净测试样本以及带有隐形触发器的测试样本分别输入到所述受害者模型,进行精度测试及后门攻击,包括:获取干净样本测试集,将其中的干净测试样本利用所述受害者模型进行预测分类,得到分类正确次数,若一次分类结果为干净分类标签,则视为分类正确一次;

将带有隐形触发器的测试样本输入所述受害者模型进行预测分类,得到后门攻击成功次数,若一次分类结果为恶意分类,则视为后门攻击成功一次。

5.根据权利要求4所述的用于语音识别系统的后门安全性评估方法,其特征在于,所述根据所述精度测试及后门攻击的结果对所述受害者模型进行安全性评估,包括:根据所述干净测试样本的预测分类结果中分类正确的次数计算干净样本分类精度;

且根据所述带有隐形触发器的测试样本的预测分类结果中后门攻击成功的次数计算攻击成功率;

其中,若所述干净样本分类精度与相对应模型的预设分类精度相差不超过5%,且后门攻击的成功率高于95%,待评估模型的安全性能不达标;相反,待评估模型的安全性能则达标。

6.一种用于语音识别系统的后门安全性评估装置,其特征在于,包括:宿主样本合成模块,被配置用于,根据语音合成模型计算得到优化损失函数,且根据所述优化损失函数优化生成宿主样本及所述宿主样本的语音风格参数,并将所述宿主样本及所述语音发生参数组合生成宿主样本集;

训练集确定模块,被配置用于,将触发器注入所述宿主样本集中,组合生成中毒样本集,并将所述中毒样本集与原始训练样本集组合生成混合训练样本集;

训练模型构建模块,被配置用于,将干净语音训练模型在所述混合训练样本集中进行标准化训练,生成受害者模型;

投毒训练模块,被配置用于,将干净测试样本以及带有隐形触发器的测试样本分别输入到所述受害者模型,进行精度测试及后门攻击;

以及,安全性评估模块,被配置用于,根据所述精度测试及后门攻击的结果对所述受害者模型进行安全性评估;

其中,所述语音合成模型为条件变分自编码模型,表示为:;

式中, 表示为输出的音频样本, 为优化前的语音风格参数, 是合成音频的语义内容, 表示为语音合成函数;

设定 表示为音频样本 的语义内容为 ,且利用上述合成的音频文件满足 , 表示为音频样本中的语音内容;

所述优化损失函数,表示为:

式中, 表示为优化损失函数, 表示为干净语音训练模型的损失函数, 表示为绝对值函数, 和 分别表示为优化前的语言风格参数的均值和方差, 表示为调控正则化项的幅度调控参数;

经所述优化损失函数优化得到的优化后的语音风格参数,表示为:;

式中, 表示为优化后的语音风格参数, 表示为取极大值;

根据干净语音训练模型的基本任务类型构建并维护触发池,所述触发池内设有由音频片段构建生成的触发器;

根据触发器置信度计算得到触发器,所述触发器表示为:;

式中, 表示为触发器, 表示触发器置信度取极大值, 表示为触发器置信度;

所述触发器置信度,表示为:

式中, 表示为将触发器 分类到第i个转录类别的可能性, 表示为第i个类别的置信度计算权重。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,执行如权利要求1 5中任一项所述用于语音识别系统的后门安全性评估方法~的步骤。