利索能及
我要发布
收藏
专利号: 2017103666713
申请人: 西南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于忆阻交叉阵列与Q学习的机器人路径规划系统,包括忆阻交叉阵列,其特征在于,还包括读写控制开关、状态检测与选择模块、列选择开关、控制器、随机选择模块、第一比较器、第二比较器、延迟单元以及运算模块,其中:读写控制开关:用于控制忆阻交叉阵列的读写操作,设置有读电压Vr输入端和写电压Vw输入端;

状态检测与选择模块:当需要根据状态执行相应动作时,用于检测当前环境状态st,执行动作at并得到环境回报rt;当需要对Q值进行更新时,用于输出前一个时刻的环境状态,并选择相应的行线,使其加载写电压Vw,并持续时间Tw,更新忆阻阵列的输出值;

列选择开关:用于选择对应的列线;

控制器:用于控制当前时刻是随机选择模块工作还是第一比较器工作;

随机选择模块:通过生成一随机数作为列线选择的判断标准;

第一比较器:用于比较所有列线的电压值,并将电压值最大的一列选择送入延迟单元中;

第二比较器:用于比较所有列线的电压值,并将电压值最大的一列选择送入运算模块中;

延迟单元:将输出电压延迟一个时间步长;

运算模块:用于根据环境回报rt、延迟单元的输出电压以及第二比较器的输出电压计算得到写电压Vw以及施加时间Tw;

所述运算模块按照 计算更新当前状态忆阻值所需要

的写电压Vw,其中α为学习率,γ为折扣率,rt为机器人在状态st下执行动作at后环境给的回报状态,V(st,at)为延迟单元输出的电压值, 为第二比较器输出的电压值;

所述环境回报rt按照 计算,其中系数c控制着收敛速度,dt是机器人与目标点之间的距离;利用(x,y,ω)表示机器人当前坐标位置和旋转角,θ表示机器人运动方向与水平方向的夹角,当dt≤l1,l1为预设阈值,调整ω让机器人朝向目标点,然后让机器人以直线的方式趋近于目标点;如果在机器人趋近目标点的过程中没有遇到障碍物,则执行动作按以下两种情况设置:

1)在每一个离散的时间步t内,当机器人与目标点在同一水平线上时,机器人的位置调整为(x±d0,y,0°),直到它到达目标点;当机器人与目标点在同一垂直线上,机器人的位置调整为(x,y±d0,90°);

2)在每一个离散的时间步t内,当机器人与目标点不在同一水平或垂直线上,有下列四种情况:Ⅰ:当机器人的坐标满足:x

Ⅱ:当机器人的坐标满足:x>xtarget and y

Ⅲ:当机器人的坐标满足:xytarget.计算出θ后将机器人的位置调整为(x+x′,y-y′,360°-θ)直到它到达终点,x′和y′都是预设的步进;

Ⅳ:当机器人的坐标满足:x>xtarget and y>ytarget.计算出θ后将机器人的位置调整为(x-x′,y-y′,180°+θ)直到它到达终点,x′和y′都是预设的步进;

其中:θ=arcsin(|ytarget-y|/dt),θ∈[0,90°];(xtarget,ytarget)表示目标点的坐标位置。

2.根据权利要求1所述的基于忆阻交叉阵列与Q学习的机器人路径规划系统,其特征在于,系统电路和控制程序设置在机器人控制芯片中。

3.根据权利要求1所述的基于忆阻交叉阵列与Q学习的机器人路径规划系统,其特征在于,所述忆阻交叉阵列中的忆阻器由两层TiO2薄膜夹在两个铂片电极板构成,其中一层为掺杂层,相应的氧空位使得这个区域具有较强的导电性,另一层为非掺杂层,具有较高的阻抗。

4.根据权利要求1所述的基于忆阻交叉阵列与Q学习的机器人路径规划系统,其特征在于,系统设置有用于限定Q学习次数的最小阈值和最大阈值。