利索能及
我要发布
收藏
专利号: 2021107279186
申请人: 张家港江苏科技大学产业技术研究院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于云边端协同的物体识别系统,包括语音交互模块、图片存储模块、实时监控模块和图像识别智能语音手杖,所述语音交互模块、图片存储模块及实时监控模块的输出端与云服务器计算处理模块的输入端相连接,所述云服务器计算处理模块、语音测距报警模块、物体检测与识别模块、GPS位置信息采集模块及摔倒邮件呼救模块的输出端与图像识别智能语音手杖的输入端电性连接。

2.根据权利要求1所述的基于云边端协同的物体识别系统,其特征在于,所述图像识别智能语音手杖包括手杖主体、树莓派拓展板、语音模块、按键模块、超声波测距模块、PiCamera、USB摄像头、扩音器、陀螺仪与GPS模块,所述拓展板、语音模块、按键模块、超声波测距模块、PiCamera、USB摄像头、扩音器、陀螺仪与GPS定位模块均设置在手杖主体的内部,所述拓展板上设置有树莓派。

3.根据权利要求2所述的基于云边端协同的物体识别系统,其特征在于,所述语音模块、超声波测距模块、陀螺仪及按键模块的输出端与树莓派拓展板的输入端电性连接,所述树莓派拓展板、PiCamera的、USB摄像头、GPS定位模块及扩音器的输出端均与树莓派电性连接。

4.根据权利要求3所述的基于云边端协同的物体识别系统,其特征在于,所述超声波测距模块的型号为HC‑SR04,所述陀螺仪的型号为MPU6050,所述语音模块的型号为ReSpeaker2‑Mics Pi HAT。

5.根据权利要求1‑4中任意一项所述的基于云边端协同的物体识别方法,其特征在于,包括如下步骤:

S1、按键录音,按键按下状态作为判断依据,打开语音模块进行wav语音文件的录制;

S2、语音转文本,通过调用百度智能云语音技术API进行wav文件的txt转换;

S3、文本答复,通过调用图灵机器人AK对录入语音的文本文件进行答复;

S4、文本文件的语音输出,将上一步得到的答复文本转为mp3音频文件,进行语音输出;

S5、按键按下则运行树莓派小程序截取一帧图像,调用七牛云存储空间的API后可将其自动存储至云空间;

S6、Mjpg‑streamer可由sudo apt‑get install命令安装至树莓派,运行相应指令可将摄像头实时图像上传至局域网内,配置华为云服务器的安全组开启相应端口,分别在树莓派以及云服务器中安装Frp内网穿透工具后编辑相应ini文件以映射IP地址,分别在命令行中输入相应Frp内网穿透指令则可将实时图像共享至公网服务器内,输入相应网址则可连接成功,看到实时图像;

S7、通过对其返回的数据进行读取与判断,一旦y轴加速器超过安全阈值,则表明手杖倾斜,用户有跌倒危险,打开QQ邮件的smtp协议后则可通过命令发送求救邮件至指定邮箱,确保用户能够得到及时救援;

S8、通过串口通信工具得到其返回的经纬度信息,通过调用百度开放平台的AK密钥将此经纬度转为地理位置输出,系统会定时将此位置上传至第三方邮箱以得到定位结果方便搜寻;

S9、利用算法对下载的数据集进行处理,经过训练可得到物体检测模型;其次,通过进行机器视觉识别,捕捉摄像头画面中的各物体;

S10、在学习框架下利用神经网络训练出物体识别模型,对此模型进行部署即可得到画面中各物体的识别结果并给出准确率。

6.根据权利要求5所述的基于云边端协同的物体识别方法,其特征在于,所述S4中,文本文件的语音输出,将上一步得到的答复文本转为mp3音频文件,通过mplayer语音输出。

7.根据权利要求5所述的基于云边端协同的物体识别方法,其特征在于,所述S5中,按键按下则运行树莓派小程序fswebcam截取一帧图像,调用七牛云存储空间的API后可将其自动存储至云空间。

8.根据权利要求5所述的基于云边端协同的物体识别方法,其特征在于,所述S8中,通过minicom串口通信工具得到其返回的经纬度信息,通过调用百度开放平台的AK密钥将此经纬度转为地理位置输出,系统会定时将此位置上传至第三方邮箱以得到定位结果方便搜寻。

9.根据权利要求5所述的基于云边端协同的物体识别方法,其特征在于,所述S9中,利用YOLOV3算法对下载的COCO数据集进行处理,经过训练可得到物体检测模型;其次,通过Opencv进行机器视觉识别,捕捉摄像头画面中的各物体。

10.根据权利要求5所述的基于云边端协同的物体识别方法,其特征在于,所述S10中,在TensorFlow Lite学习框架下利用CNN卷积神经网络训练出物体识别模型,对此模型进行部署即可得到画面中各物体的识别结果并给出准确率。