1.一种内置离线AI智慧模型的盲人语音导航辅助方法,其特征在于,包括以下步骤:S01、通过红外‑可见光双目摄像头实时采集环境图像数据,同步获取惯性测量单元的六自由度运动姿态数据,所述红外‑可见光双目摄像头包含热成像传感通道;
S02、将所述环境图像数据输入预训练的多任务神经网络模型,生成包含盲道拓扑结构的三维语义地图与动态障碍物检测结果;
S03、基于深度强化学习算法对用户历史路径进行时空聚类分析,构建融合人体转向惯性的个性化习惯路线数据库;
S04、融合实时感知数据与离线地图数据库,通过贝叶斯概率图模型计算符合人体运动学约束的最优导航路径;
S05、将所述最优导航路径的结果转化为包含空间参照系描述的自然语言指令,通过骨传导耳机与触觉反馈装置实现多模态交互;
所述步骤S01中会对所述实时采集环境图像数据进行预处理,包括:S14、基于多尺度Retinex算法,在HSV色彩空间分离亮度分量V(x,y),通过高斯差分滤波器组提取图像反射层R(x,y)与光照层L(x,y),公式如下:;
其中, 为半径{5,15,30}像素的高斯核,wi={0.3,0.5,0.2};
S15、构建基于SwinTransformer的气象分类器,当识别到冰雹时激活路径曲率约束模块,限制转弯角度≤45°;
S16、基于非局部均值滤波算法,构建二维搜索窗内像素块相似度权重;
S17、在U‑Net解码器中嵌入对抗训练生成的雨雪退化先验模型;
所述步骤S04中所述通过贝叶斯概率图模型计算符合人体运动学约束的最优导航路径,包括:S41、获取离线地图数据库,并定义到当前行走的路段,并获取当前定位周边的障碍物坐标;
S42、获取的所述实时感知数据以点状位于所述离线地图数据库分布,并同步获取盲杖左右最大摆动幅度的第一坐标集合和行走身体左右摇晃的第二坐标集合;
S43、将位于所述离线地图数据库内的多个点状的图标进行连线,判断人体行走的轨迹,并预测未来行走下会触碰的障碍物,并提取该障碍物的坐标,并基于贝叶斯概率图模型计算生成修正指令。
2.根据权利要求1所述的一种内置离线AI智慧模型的盲人语音导航辅助方法,其特征在于,所述步骤S01中所述同步获取惯性测量单元的运动姿态数据中的所述运动姿态数据包括与所述环境图像数据每一帧图像的时间相位对应的六自由度运动姿态数据,其步骤包括:S11、建立IMU坐标系到红外‑可见光双目摄像头坐标系的刚性变换矩阵:;
其中,R为旋转矩阵,t为平移向量;
S12、对每一帧图像和IMU数据流插入同步时间戳;
S13、当检测到IMU数据延迟超过10ms时,启动卡尔曼滤波器预测运动状态:;
其中, 为在时刻k的状态估计值, 为状态转移矩阵,其表示 时刻到k时刻的动态演化规律, 为控制输入矩阵, 为控制输入向量, 为噪声向量。
3.根据权利要求1所述的一种内置离线AI智慧模型的盲人语音导航辅助方法,其特征在于,所述步骤S15中所述气象分类器的训练,包括:S151、构建合成训练数据集,使用UnrealEngine渲染200种降水场景,通过域随机化生成不同降水密度、风向角度的样本;
S152、通过双分支特征提取结构,所述双分支特包括:主分支处理RGB图像;
辅助分支分析热成像温度分布模式;
S153、训练初期使用小雨/小雪样本,最后增加至暴雨/暴雪极端天气的权重系数,分别导入步骤S16进行求取所述二维搜索窗内像素块相似度权重,以形成数据集合。
4.根据权利要求1所述的一种内置离线AI智慧模型的盲人语音导航辅助方法,其特征在于,所述步骤S03中构建所述个性化习惯路线数据库,包括:S31、通过GNSS/IMU融合定位模块记录轨迹数据,定位误差椭圆长半轴≤0.8米;
S32、采用时空密度聚类算法,时空邻域判定条件为:;
;
其中,r=1.2×平均步长,Δt=5分钟,(xi,y)i 为用户第i个轨迹点的二维坐标,(xj,y)j 为用户第j个轨迹点的二维坐标,ti,tj为轨迹点i,j的时间戳。
5.根据权利要求4所述的一种内置离线AI智慧模型的盲人语音导航辅助方法,其特征在于,在执行上述步骤S03中GNSS信号丢失时执行,包括:S71、基于IMU数据的航位推算:
;
;
其中, =0.2,v(t)为用户在时刻t的线速度,a(τ)为时刻τ的IMU加速度测量值,θ(t)为用户在时刻t的航向角,ω(τ)为时刻τ的IMU陀螺仪角速度,δ为磁力计测量的航向角与陀螺仪积分航向角的偏差;
S72、每2秒通过地标物识别结果修正累积误差,修正量计算为:;
其中,kp=0.8,ki=0.05,ex为当前时刻地标物识别位置与推算位置的偏差,Δx为定位误差修正量。
6.根据权利要求1所述的一种内置离线AI智慧模型的盲人语音导航辅助方法,其特征在于,所述步骤S42中的第一坐标集合是设备启用下盲杖左右最大摆动幅度的两个端点坐标,而第二坐标集合是所述红外‑可见光双目摄像头获取的所述环境图像数据下,图像的两侧边缘的直线距离,并基于该直线距离获取位于当前路段的直线两端的端点坐标。
7.一种非瞬时性计算机可读存储介质,所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序,其特征在于,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1‑6中任意一项所述的内置离线AI智慧模型的盲人语音导航辅助方法的步骤。
8.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1‑6中任意一项所述的内置离线AI智慧模型的盲人语音导航辅助方法的步骤。