1.一种基于联合约束的语义SLAM系统，其特征在于，包括数据采集模块、神经网络模块、联合约束模块、数据融合模块、视觉前端模块、后端优化模块和语义地图模块，其中：数据采集模块，采用深度相机，用于采集室内环境的多帧深度图像和彩色图像，以获取深度图像序列和彩色图像序列；

神经网络模块，用于通过训练好BlitzNet网络模型，对彩色图像序列逐帧进行前向传播处理，以获取带有潜在动态目标框的检测图像和带有潜在动态目标实例的实例分割图像；

联合约束模块，用于对每一帧彩色图像与前一帧彩色图像进行特征匹配，并对匹配获取的每一特征匹配对的深度值构建深度约束，对潜在动态目标框区域内的特征点对构建极线约束，从而对该彩色图像所有特征点进行归类，以获取特征点各类别集合；

数据融合模块，用于对实例分割图像与特征点集合数据进行融合，以获取静态目标实例分割图像和动态目标实例分割图像；

视觉前端模块，用于通过稳定特征点计算深度相机位姿；

后端优化模块，用于通过深度相机位姿和特征点对应的三维空间路标点构建代价函数，对代价函数进行非线性优化，以获取全局最优相机位姿和路标点；

语义地图模块，用于根据深度相机的最优位姿建立点云地图，并将静态目标实例分割图像中带有语义的像素点映射到点云地图上，以获取语义点云地图。

2.一种基于联合约束的语义SLAM的实现方法，其特征在于，包括如下步骤：(1)数据采集模块获取图像序列：

数据采集模块对室内环境进行N次持续拍摄，得到N帧彩色图像和N帧深度图像，并按照拍摄时间由前到后顺序分别对N帧彩色图像和N帧深度图像进行排序，得到彩色图像序列C1,C2,...,Ci,...,CN和深度图像序列D1,D2,...,Di,...,DN，i＝1,2,...,N，N≥100；

(2)神经网络模块获取检测图像和实例分割图像：

神经网络模块采用通过COCO数据集训练的模型参数的BlitzNet网络模型，对彩色图像序列中的N帧彩色图像逐帧进行前向传播处理，得到带有潜在动态目标框的检测图像CD1,CD2,...,CDi,...,CDN，以及带有潜在动态目标实例的实例分割图像CS1,CS2,...,CSi,...,CSN；

(3)联合约束模块获取不同的特征点类别集合DSP2、EP2、SP2、DP2和S：(3a)联合约束模块对C1和C2分别进行ORB特征提取得到特征集合P1和P2，并对P1和P2进行匹配，得到多个特征匹配对，然后采用深度约束方法，将P2中所有满足深度约束的特征点归为深度稳定特征点集合DSP2；

(3b)联合约束模块将DSP2中位于目标检测图像CD2的动态目标框内的特征点归为潜在动态特征点集合PP2，将DSP2中位于CD2的潜在动态目标框外的特征点归为环境特征点集合EP2；

(3c)联合约束模块通过EP2计算基础矩阵F，然后采用极线约束方法，将PP2中满足极线约束的特征点归为静态特征点集合SP2，其余的特征点归为动态特征点集合DP2，并将EP2和SP2合并为稳定特征点集合S2；

(4)数据融合模块获取静态目标实例分割图像CSS2和动态目标实例分割图像CDS2：数据融合模块计算C2的动态特征点比率和潜在动态特征点比率，并将实例分割图像CS2中动态特征点比率和潜在动态特征点比率均小于预设的比率阈值的实例归为静态目标实例，其余的实例归为动态目标实例，得到静态目标实例分割图像CSS2和动态目标实例分割图像CDS2；

(5)视觉前端模块获取深度相机的位姿ξ2和三维空间中的路标点集合L2：(5a)视觉前端模块采用迭代最近点ICP方法，并通过C2的可用特征点S2，以及S2在C1中对应的匹配点，计算C2深度相机的位姿ξ2；

(5b)视觉前端模块通过相机内参和ξ2，将S2的像素坐标转化三维空间坐标，得到三维空间中的路标点集合L2；

(5c)视觉前端模块按照获取ξ2和L2的方法获取C3,C4,...,Ci,...,CN的深度相机位姿ξ3,ξ4,...,ξi,...,ξN和路标点集合L3,L4,...,Li,...,LN；

(6)后端优化模块获取全局最优的深度相机位姿和路标点：

后端优化模块将L2,L3,...,Li,...,LN合并为路标点集合L，其中包括路标点p1,p2,...,pj,...,pM，构建以深度相机位姿ξ2,ξ3,...,ξi,...,ξN和路标点p1,p2,...,pj,...,pM为变量的代价函数Loss，并利用列文伯格‑马夸尔特方法对代价函数Loss进行非线性优化，得到全局最优深度相机位姿ξ2',ξ3',...,ξi',...,ξN'和三维空间中的路标点p1',p2',...,pj',...,pM'；

(7)语义地图模块获取语义点云地图：

(7a)语义地图模块对彩色图像序列C2,C3,...,Ci,...,CN进行逐帧处理，将第i帧彩色图像Ci中深度值不为0的像素点归为像素点集合YPi，并利用数据融合模块获取的CDSi中的动态目标实例信息将YPi中不属于动态目标实例的像素点归为像素点集合CPi；

(7b)语义地图模块通过相机内参和ξi，计算CPi在三维空间中的三维坐标位置，利用点云库PCL生成三维空间点，并将生成的所有三维空间点合并成点云PLi；

(7c)语义地图模块利用数据融合模块中的静态目标实例分割图像CSSi获取的语义信息，对CSSi中静态目标实例的像素点对应的点云进行语义标注，得到语义点云PLi'；

(7d)语义地图模块对语义点云PL2',PL3',...,PLi',...,PLN'进行拼接，得到全局语义点云地图PL。

3.根据权利要求2所述的基于联合约束的语义SLAM的实现方法，其特征在于，步骤(3a)中所述的深度约束方法，实现步骤为：(3a1)构建以P2中的每一个特征点 的像素坐标为中心且大小为3×3的图像块，并计算每一个图像块的平均深度值：其中(x,y)表示 的像素坐标，depth(x,y)表示 的深度值；

(3a2)通过 和 在C1中的匹配特征点 计算特征匹配对深度值距离Dd：(3a3)设置阈值θ，并将P2中Dd小于θ的特征点归为深度稳定特征点集合DSP2，实现对Dd的深度约束。

4.根据权利要求2所述的基于联合约束的语义SLAM的实现方法，其特征在于，步骤(3c)中所述的极线约束方法，实现步骤为：(3c1)通过相机的内参x轴缩放因子fx、y轴缩放因子fy、x轴平移因子cx、y轴平移因子cyT T将PP2中的每一个特征点 的像素坐标[us,vs]转化为归一化坐标[uc,vc,1] ：(3c2)采用RANSAC方法选取EP2中的八个特征点，并采用八点法通过八个特征点匹配对T计算基础矩阵F，然后通过F和[uc,vc,1]计算 的极线l：(3c3)通过F、l、 和 在C1中的匹配特征点 计算特征匹配对极线距离De：(3c4)设置阈值η，并将PP2中De小于η的特征点归为静态特征点集合SP2，其余的特征点归为动态特征点集合DP2，实现对De的极线约束。

5.根据权利要求2所述的基于联合约束的语义SLAM的实现方法，其特征在于，步骤(4)所述的静态目标实例和动态目标实例，获取方法为：(4a)统计环境特征点集合EP2的数目 静态特征点集合SP2的数目 和动态特征点集合DP2的数目 并计算动态特征点比率τd和潜在动态特征点比率τr：(4b)设定τd的阈值为0.5，τr的为0.15，当τd≤0.5且τr≤0.15时，则将检测框内的实例分割目标归为静态目标实例，其余的实例分割目标归为动态目标实例。

6.根据权利要求2所述的基于联合约束的语义SLAM的实现方法，其特征在于，步骤(5b)所述的三维空间中的路标点集合L2，获取方法为：T

(5b1)通过相机的内参将S2中的每一个特征点的像素坐标[us,vs]转化为归一化坐标T[uc,vc,1]：

T

(5b2)通过归一化坐标计算相机坐标P'＝[X',Y',Z']：(5b3)通过相机位姿ξ2中的旋转矩阵R和平移向量t，将相机坐标P'转化为世界坐标Pw：‑1 T

Pw＝R (P'‑t)＝[X,Y,Z]           (10)(5b4)将位于Pw的三维空间点定义为路标点p，并将p归为路标点集合L2。

7.根据权利要求2所述的基于联合约束的语义SLAM的实现方法，其特征在于，步骤(6)所述的构建代价函数，实现步骤为：T

(6a)根据相机位姿ξ2中的旋转矩阵R和平移向量t，将L中的路标点pj三维坐标[X,Y,Z]转化为相机坐标pj'：T

pj'＝Rpj+t＝[X',Y',Z']                   (11)T T

(6b)通过相机坐标[X',Y',Z']计算归一化坐标[uc,vc,1]：(6c)通过相机的内参计算像素坐标Pj＝[us,vs]：

(6d)通过S2中与pj对应的特征点像素坐标Pj'计算误差e2：(6e)按照步骤(7a)‑(7d)的方法对ξ3、ξ4、…、ξi、…、ξN依次进行相同的操作，得到e3、e4、…、ei、…、eN；

(6f)对e2,e3,...,ei,...,eN进行求和，得到代价函数Loss：