利索能及
我要发布
收藏
专利号: 2020109448714
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种辅助盲人感知外界环境的智能SOC终端,其特征在于,包括环境图像采集模块、环境图像识别模块和识别结果输出模块;

所述环境图像采集模块用于采集盲人在行走过程中所处环境的环境图像;

所述环境图像识别模块用于构建基于ARM和FPGA的异构体系,利用ARM将存储的环境图像数据分批搬运至FPGA中,再利用基于FPGA的可配置复用的卷积神经网络加速器对分批搬入的环境图像数据计算特征图,并利用ARM将FPGA输出的特征图和对应的网络权重分配搬出后进行目标识别;

所述环境图像识别模块具体包括ARM、FPGA和DDR;

所述DDR用于存储所述环境图像采集模块采集的环境图像数据,并且存储ARM从FPGA搬出的特征图和对应的网络权重数据;

所述ARM用于采用DMA控制器将DDR存储的环境图像数据分批搬运至FPGA中,同时在每批搬运过程中对FPGA中的卷积神经网络权重进行配置;并且采用DMA控制器将FPGA每批输出的特征图和对应的网络权重分配搬出至DDR,根据DDR中存储的所有特征图和对应的网络权重采用目标检测算法进行目标识别;

所述FPGA用于采用深层次卷积神经网络对ARM分批搬入的环境图像数据加速计算特征图;

所述FPGA包括卷积模块、累加模块、池化模块和填充模块,以对分批搬入的环境图像数据分别进行卷积、累加、池化及填充操作;所述FPGA在每次特征图搬运过程中将特征图的行列信息配置到FPGA的卷积模块、累加模块和池化模块;

所述识别结果输入模块用于向盲人输出识别结果。

2.根据权利要求1所述的辅助盲人感知外界环境的智能SOC终端,其特征在于,所述FPGA中的卷积模块具体采用深层次卷积神经网络将分批搬入的环境图像数据进行分类,得到特征图。

3.根据权利要求1所述的辅助盲人感知外界环境的智能SOC终端,其特征在于,所述FPGA采用的深层次卷积神经网络包括多层卷积层,每层卷积层对环境图像数据进行卷积计算后,再通过激活函数,然后进行最大池化处理,得到相应的特征图。

4.根据权利要求1所述的辅助盲人感知外界环境的智能SOC终端,其特征在于,所述环境图像识别模块输出的目标识别结果包括目前物体种类、目标物体概率和目标物体在盲人周围所处环境中的位置。