1.一种在触摸屏上再现图像纹理特征的方法,其特征在于:包括以下步骤:
(1)利用公开纹理图像数据库,在外部服务器上分别构建精简的基于深度学习的纹理分类模型和振动加速度表示模型;
(2)开发适用于Android系统的应用软件,将在外部服务器上训练好的深度学习模型移植到触摸屏设备上;
(3)设计用于与触摸屏交互和力触觉再现的力触觉装置;
(4)用户使用力触觉装置在触摸屏上滑动时,由纹理触觉再现算法实时预测出在该交互条件下对新纹理图像的振动加速度信号,并通过振动触觉反馈向用户表达图像的纹理特征。
2.根据权利要求1所述的在触摸屏上再现图像纹理特征的方法,其特征在于:步骤(1)中,所述公开纹理图像数据库采用Penn Haptic纹理工具包(HaTT);所述基于深度学习的纹理分类模型是以HaTT数据库中的纹理图像为样本,在AlexNet网络结构中进行训练和测试得到的;所述基于深度学习的振动加速度表示模型是以HaTT数据库中的纹理图像、速度信号、按压力信号和振动加速度信号为样本,在一个基于高层特征融合的深度学习网络中进行训练和测试得到的。
3.根据权利要求1所述的一种在触摸屏上再现图像纹理特征的方法,其特征在于:步骤(2)中,所述触摸屏设备基于Android操作系统。
4.根据权利要求1所述的在触摸屏上再现图像纹理特征的方法,其特征在于:步骤(2)中,所述深度学习模型均采用TensorFlow框架构建,将训练好的深度学习模型移植到触摸屏设备上后,Android应用程序通过JNI技术调用深度学习模型中,由C++实现的方法。
5.根据权利要求1所述的在触摸屏上再现图像纹理特征的方法,其特征在于:步骤(3)中,所述力触觉装置为指套式或手持式。
6.根据权利要求1所述的一种在触摸屏上再现图像纹理特征的方法,其特征在于:步骤(4)中,所述纹理触觉再现算法,包括以下步骤:a.对于在触摸屏上显示的新纹理图像,首先使用步骤(1)中训练的图像纹理分类模型对其进行分类,以将其归类为HaTT库中的一个相近纹理,并获得该相近纹理在可变交互条件下对振动加速度信号的潜在表示;
b.力触觉装置在触摸屏上与新纹理图像交互时,触摸屏设备实时检测力触觉装置运动速度,并接收力触觉装置按压触摸屏的压力信息;然后,每间隔一段时间,对采集的速度和按压力信号执行短时傅里叶变换,得到时频分布图像;再将两种信号的时频分布图像,以及与新纹理相近的HaTT库中的纹理图像作为振动加速度表示模型的输入,预测出在该交互条件下对新纹理图像的振动加速度时频分布图像;
c.利用Griffin-Lim算法将振动加速度的时频分布图像重建为一维的振动加速度信号,将信号传送到力触觉装置中,使力触觉装置产生振动触觉反馈。