基于深度强化学习和社会力模型的移动机器人自主避障
网络安全与数据治理 2023年3期
李恒，刘轻尘，马麒超
（中国科学技术大学信息科学技术学院，安徽合肥230026）
摘要： 深度强化学习在移动机器人自主避障领域已得到广泛应用，其基本原理是通过模拟环境中的不断试错，结合奖励机制提升机器人的避障性能。然而，针对不同任务场景，网络训练效率存在显著差异。同时，在人群密集的场景中，机器人的行为可能对人类造成干扰。为了应对训练效率低下和机器人行为不符合社会规范的问题，提出了一种将社会力模型融入深度强化学习的自主避障策略。该策略首先将人类未来的运动轨迹考虑进奖励函数，以确保机器人理解人类意图并避免闯入人类的舒适区。其次，在训练过程中引入先验的传统控制器模型，并设计了一种基于概率的切换开关，以随机切换控制器输出，提高机器人的探索效率。实验结果表明，所提出的方法能够增加机器人与人类之间的安全距离，同时实现平稳导航。
中圖分類號：TP273
文獻標識碼：A
DOI:10.19358/j.issn.2097-1788.2023.03.011
引用格式：李恒，劉輕塵，馬麒超.基于深度強化學習和社會力模型的移動機器人自主避障［J］.網(wǎng)絡安全與數(shù)據(jù)治理，2023,42(3):68-73，79.
文獻標識碼：A
DOI:10.19358/j.issn.2097-1788.2023.03.011
引用格式：李恒，劉輕塵，馬麒超.基于深度強化學習和社會力模型的移動機器人自主避障［J］.網(wǎng)絡安全與數(shù)據(jù)治理，2023,42(3):68-73，79.
Autonomous obstacle avoidance for mobile robots based on deep reinforcement learning and social force model
Li Heng，Liu Qinchen，Ma Qichao
(School of Information Science and Technology, University of Science and Technology of China, Hefei 230026, China)
Abstract： Deep reinforcement learning has been widely applied in the field of mobile robot autonomous obstacle avoidance Its basic principle is to simulate continuous trialanderror in the environment and improve the robot’s obstacle avoidance performance by combining reward mechanisms However, the training efficiency of the network varies significantly depending on the task scene, and in crowded scenes, the robot’s behavior may cause interference with humans To address the problems of low training efficiency and robots behaving inappropriately, this paper proposes a selfobstacle avoidance strategy that incorporates the social force model into deep reinforcement learning The strategy firstly considers the future trajectory of humans in the reward function to ensure that the robot understands human intentions and avoids entering the human comfort zone Secondly, during the training process, a priori traditional controller model is introduced and a probabilitybased switching method is designed to randomly switch controller outputs to improve the robot’s exploration efficiency The experimental results show that the proposed method can increase the safety distance between the robot and humans while achieving smooth navigation.
Key words : eep reinforcement learning; social force model; autonomous obstacle avoidance
0 引言
自主避障是移動機器人應用中的基礎技術，其可以確保機器人在機場和購物中心等人流擁擠場景中實現(xiàn)安全導航。人類有觀察他人以調整自身行為的能力，因此可以輕松穿過人群。然而，在高度動態(tài)和擁擠的場景中進行自主避障仍然是移動機器人的一項艱巨任務。傳統(tǒng)導航框架中的避碰模塊通常將動態(tài)障礙物視為靜態(tài)，例如動態(tài)窗口方法（DWA），或者僅根據(jù)某些交互規(guī)則關注下一步行動，例如互惠速度障礙（RVO）和最優(yōu)互惠碰撞避免（ORCA）。由于這些方法僅通過被動反應防止碰撞，并且通常使用人為定義的函數(shù)以保證安全，因此會導致機器人的運動不自然、短視和不安全。相比之下，強化學習導航技術可以通過不斷地探索和學習增強機器人的感知能力，從而實現(xiàn)更有力的決策。
本文詳細內容請下載：http://www.ihrv.cn/resource/share/2000005258
作者信息：
李恒，劉輕塵，馬麒超
（中國科學技術大學信息科學技術學院，安徽合肥230026）
此內容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉載。