1.一种基于NeRF神经网络的异构无人机视觉避障系统,其特征在于,包括核心模块以及分别与所述核心模块连接的激光雷达模块、无人机飞行控制模块、无人机单目摄像头模块和IMU惯导模块;
所述无人机单目摄像头模块,用于采集图像,得到原始图像;
所述IMU惯导模块,用于采集相机姿态;
所述核心模块,用于根据所述原始图像和相机姿态,得到全局地图;
所述激光雷达模块,用于根据所述全局地图,结合核心模块,得到路径规划结果;
所述无人机飞行控制模块,用于根据所述路径规划结果对无人机进行控制,实现无人机避障。
2.根据权利要求1所述基于NeRF神经网络的异构无人机视觉避障系统,其特征在于,所述核心模块包括APU应用程序处理器子模块以及与所述APU应用程序处理器子模块连接的FPGA可编辑逻辑子模块;
所述APU应用程序处理器子模块包括依次连接的激光雷达SLAM单元、全局地图单元和飞行路径规划单元;所述激光雷达SLAM单元与激光雷达模块连接;所述全局地图单元与FPGA可编辑逻辑子模块连接;所述飞行路径规划单元与无人机飞行控制模块连接;
所述FPGA可编辑逻辑子模块包括依次连接的MicroBlaze处理器单元和NeRF‑SLAM辐射神经场单元;所述NeRF‑SLAM辐射神经场单元包括NeRF‑SLAM建图子单元以及分别与NeRF‑SLAM建图子单元连接的图像采集子单元和姿态解算子单元;所述MicroBlaze处理器单元分别与NeRF‑SLAM建图子单元和全局地图单元连接;所述图像采集子单元与无人机单目摄像头模块连接;所述姿态解算子单元与IMU惯导模块连接。
3.根据权利要求1‑2任一所述的基于NeRF神经网络的异构无人机视觉避障系统的避障方法,其特征在于,基于NeRF神经网络的异构无人机视觉避障方法包括以下步骤:S1、通过无人机单目摄像头模块,得到原始图像;
S2、利用NeRF‑SLAM辐射神经场单元将所述原始图像建模成连续的5D辐射场,得到建图结果;
S3、通过MicroBlaze处理器单元将所述建图结果传输至全局地图单元,得到全局地图;
S4、根据所述全局地图,利用激光雷达SLAM单元与激光雷达模块,得到路径规划结果;
S5、利用飞行路径规划单元将所述路径规划结果传输至无人机飞行控制模块,实现无人机视觉避障。
4.根据权利要求3所述基于NeRF神经网络的异构无人机视觉避障系统的避障方法,其特征在于,所述步骤S2具体如下:S201、根据所述原始图像,利用NeRF‑SLAM辐射神经场单元的图像采集子单元,得到连续帧RGB图像;
S202、根据所述连续帧RGB图像,利用Hessian矩阵的结构优化NeRF‑SLAM模型,得到改进NeRF‑SLAM模型;
S203、根据所述改进NeRF‑SLAM模型,得到建图结果。
5.根据权利要求4所述基于NeRF神经网络的异构无人机视觉避障系统的避障方法,其特征在于,所述步骤S202中改进NeRF‑SLAM模型包括第一单隐层前馈神经网络SLFNN1、第二单隐层前馈神经网络SLFNN2、计算及位置编码模块、体渲染模块和GRU卷积模块;
所述计算及位置编码模块,用于获取场景位置和观察方向;
所述第一单隐层前馈神经网络SLFNN1,用于根据所述场景位置,得到体素密度和特征向量;
所述第二单隐层前馈神经网络SLFNN2,用于根据观察方向和特征向量,得到颜色;
所述体渲染模块,用于根据所述体素密度和颜色,得到体素输出;
所述GRU卷积模块,用于获取GRU卷积模块输出。
6.根据权利要求5所述基于NeRF神经网络的异构无人机视觉避障系统的避障方法,其特征在于,所述步骤S202具体如下:S2021、根据所述连续帧RGB图像,通过GRU卷积模块,得到密集光流、光流权重和GRU卷积模块输出;
S2022、根据所述密集光流和光流权重,利用深度箭头状块稀疏Hessian矩阵的Schur舒尔补,得到相机矩阵;
S2023、根据所述相机矩阵的Cholesky乔里斯基分解,得到第一姿态;
S2024、根据所述第一姿态,得到深度;
S2025、对Hessian矩阵进行块划分,得到块分割结果;所述块分割结果的表达式为:其中, 为Hessian矩阵;C为块摄像机矩阵;E为相机或深度非对角的Hessian矩阵;
为相机/深度非对角的Hessian矩阵的转置;P为对关键帧每像素深度对应的对角矩阵;
为在SE(3)群中相机姿态的李代数上的增量更新; 为对每像素逆深度的增量更新;为姿态残差;w为深度残差;b为残差向量;
S2026、根据所述块分割结果,得到深度边际协方差和姿态边际协方差;所述深度边际协方差和姿态边际协方差的表达式为:其中, 为深度边际协方差; 为每个关键帧像素的逆深度对应的对角矩阵的逆;
为每个关键帧像素的逆深度对应的对角矩阵的逆转置; 为姿态边际协方差;L为下三角矩阵的Cholesky乔里斯基分解因子; 为下三角矩阵的Cholesky乔里斯基分解因子的转置;
S2027、根据所述第一姿态、深度、姿态边际协方差、深度边际协方差和连续帧RGB图像,得到改进NeRF‑SLAM模型。
7.根据权利要求6所述基于NeRF神经网络的异构无人机视觉避障系统的避障方法,其特征在于,所述步骤S203具体如下:S2031、通过IMU惯导模块采集相机姿态,并利用NeRF‑SLAM辐射神经场单元的姿态解算子单元,得到第二姿态;
S2032、根据所述第一姿态、深度、姿态边际协方差、深度边际协方差和第二姿态,通过计算及位置编码模块进行高频编码,得到场景位置和观察方向;所述高频编码的表达式为:其中, 为高频编码的函数;p为位置向量; 为正弦函数; 为余弦函数;
S2033、根据所述场景位置,利用第一单隐层前馈神经网络SLFNN1,得到体素密度和特征向量;
S2034、根据所述观察方向和特征向量,利用第二单隐层前馈神经网络SLFNN2,得到颜色;
S2035、根据所述体素密度和颜色,通过体渲染模块,得到体素输出;所述体素输出的表达式为:其中, 为体素输出; 为射线从 到t沿射线累积透射率,即射线 到t不碰到任何粒子的概率; 为体素密度函数; 为颜色函数; 为所对应的光线;d为方向向量;为近端边界; 为远端边界;t为在相机光线上采样点离相机光心的距离;s为光线上的位置;
S2036、合并所述体素输出和GRU卷积模块输出,利用NeRF‑SLAM辐射神经场单元的NeRF‑SLAM建图子单元,经过局部建图、障碍物区域判断和占据栅格地图,得到建图结果。
8.根据权利要求7所述基于NeRF神经网络的异构无人机视觉避障系统的避障方法,其特征在于,所述建图结果的损失函数为:其中, 为建图结果的损失函数;T为第一姿态; 为神经参数; 为颜色损失函数;I为待渲染的彩色图像; 为被渲染的彩色图像; 为用于平衡深度和颜色监督的超参数; 为深度损失函数;D为深度; 为不确定性边际协方差; 为渲染的深度。