利索能及
我要发布
收藏
专利号: 2024107265384
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种移动应用程序通用语音窃听检测方法,其特征在于,包括:检测到麦克风访问行为,通过虚拟镜像技术获取屏幕信息;

所述通过虚拟镜像技术获取屏幕信息,包括:获取用户移动设备屏幕的相关参数;

创建虚拟屏幕,并根据从真实屏幕获取的相关参数对虚拟屏幕进行配置;

将虚拟屏幕转换为L‑YOLO框架可以读取的位图数据;

所述将虚拟屏幕转换为L‑YOLO框架可以读取的位图数据,包括:构建一个图像阅读器;

将图像阅读器的输入面与虚拟屏幕绑定;

为阅读器设置一个回调接口,当有新的图像可供读取时,将触发回调,并调用函数对图像进行检索;

将检索到的图像数据转化为可供L‑YOLO框架读取的位图数据;

通过预训练过的L‑YOLO模型对屏幕信息进行识别和定位,判断屏幕上是否出现了麦克风图标、且麦克风图标是否被用户触碰;

所述L‑YOLO模型的训练方法,包括:对训练数据进行马赛克增强和自适应缩放处理;

通过Focus结构、Convolution结构、CSP结构及SPP结构对马赛克增强和自适应缩放处理后的数据进行特征提取,获取特征图;

通过FPN和PAN对特征图进行处理,获取不同尺度下的图片特征;

利用获取的不同尺度下的图片特征,结合预设的损失函数对L‑YOLO模型进行训练;

所述损失函数loss包括定位损失函数 和置信损失函数 ,表示为:(1);

式中, 为样本总数,  为第 个样本, 为真实标签, 为预测标签, 是真实框与预测框之间的交并比, 为预测框中心点与目标框之间的距离, 为最小外接矩形c的对角线距离,是一个度量预测框与真实框长宽比的一致性参数;

所述通过预训练过的L‑YOLO模型对屏幕信息进行识别和定位,包括:根据L‑YOLO模型,得到麦克风图标坐标为 ;

判断在坐标范围内是否存在用户的触摸行为,实现窃听判断,具体包括:将用户手指在屏幕上的向下和向上分别建模为事件P和Q;

决策逻辑表示为:

(2);

其中 和 分别表示麦克风被调用时,手指所触碰的屏幕的横纵坐标值,min和max分别表示取最小值和最大值;

根据L‑YOLO模型的识别结果,判断麦克风访问行为是否为窃听行为。

2.根据权利要求1所述的移动应用程序通用语音窃听检测方法,其特征在于,所述方法还包括:检测到APP访问麦克风行为,判断当前App是否占用屏幕,如果App访问麦克风而不占用屏幕,则认为当前的麦克风访问行为为窃听,如果App占用屏幕,采用L‑YOLO模型进行窃听检测。

3.一种移动应用程序通用语音窃听检测装置,其特征在于,包括:屏幕获取模块,用于检测到麦克风访问行为,通过虚拟镜像技术获取屏幕信息;

其中,所述通过虚拟镜像技术获取屏幕信息,包括:获取用户移动设备屏幕的相关参数;

创建虚拟屏幕,并根据从真实屏幕获取的相关参数对虚拟屏幕进行配置;

将虚拟屏幕转换为L‑YOLO框架可以读取的位图数据;

所述将虚拟屏幕转换为L‑YOLO框架可以读取的位图数据,包括:构建一个图像阅读器;

将图像阅读器的输入面与虚拟屏幕绑定;

为阅读器设置一个回调接口,当有新的图像可供读取时,将触发回调,并调用函数对图像进行检索;

将检索到的图像数据转化为可供L‑YOLO框架读取的位图数据;

识别模块,用于通过预训练过的L‑YOLO模型对屏幕信息进行识别和定位,判断屏幕上是否出现了麦克风图标、且麦克风图标是否被用户触碰;

其中,所述L‑YOLO模型的训练方法,包括:对训练数据进行马赛克增强和自适应缩放处理;

通过Focus结构、Convolution结构、CSP结构及SPP结构对马赛克增强和自适应缩放处理后的数据进行特征提取,获取特征图;

通过FPN和PAN对特征图进行处理,获取不同尺度下的图片特征;

利用获取的不同尺度下的图片特征,结合预设的损失函数对L‑YOLO模型进行训练;

所述损失函数loss包括定位损失函数 和置信损失函数 ,表示为:(1);

式中, 为样本总数,  为第 个样本, 为真实标签, 为预测标签, 是真实框与预测框之间的交并比, 为预测框中心点与目标框之间的距离, 为最小外接矩形c的对角线距离,是一个度量预测框与真实框长宽比的一致性参数;

所述通过预训练过的L‑YOLO模型对屏幕信息进行识别和定位,包括:根据L‑YOLO模型,得到麦克风图标坐标为 ;

判断在坐标范围内是否存在用户的触摸行为,实现窃听判断,具体包括:将用户手指在屏幕上的向下和向上分别建模为事件P和Q;

决策逻辑表示为:

(2);

其中 和 分别表示麦克风被调用时,手指所触碰的屏幕的横纵坐标值,min和max分别表示取最小值和最大值;

判断模块,用于根据L‑YOLO模型的识别结果,判断麦克风访问行为是否为窃听行为。

4.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现权利要求1‑2中任一项所述方法的步骤。

5.一种计算机设备,其特征在于,包括:存储器,用于存储计算机程序/指令;

处理器,用于执行所述计算机程序/指令以实现权利要求1‑2中任一项所述方法的步骤。