Настройка гиперпараметров искусственной нейронной сети для навигации мобильной платформы

Цель исследования. Основной целью работы является повышение эффективности работы нейросетевой модели при навигации мобильной робототехнической платформы в статических и динамически сгенерированных средах.

Методы. Для решения поставленной задачи были предложены точная настройка и оптимизация гиперпараметров нейронной сети. Для стимулирования агентов исследовать окружающую среду была проведена корректировка системы вознаграждений, предполагающая повышение вознаграждения при уменьшении расстояния от агента до целевой точки и увеличение штрафа при движении в направлении, противоположном конечной точке, и при прохождении каждой последующей сцены. Такое распределение вознаграждений и штрафов побуждает агентов активно обучаться и способствует сокращению общего количества сцен. С целью уменьшения объема данных, обрабатываемых нейронной сетью, была введена нормализация входных векторов. Было уменьшено время обучения модели нейронной сети благодаря параллельному обучению агентов и, как следствие, увеличения опыта в результате исследования окружающей среды.

Результаты. Предложенный подход позволил сократить время обучения на 30% и повысить эффективность навигации мобильной платформы на 10% в динамически сгенерированной среде и на 22% в статической среде по сравнению с неоптимизированной моделью.

Заключение. Предложенное решение может быть использовано совместно с другими методами трассировки и навигации, когда обученная нейронная сеть работает одновременно с уже отработанными и проверенными алгоритмами навигации. Например, если мобильная платформа подключает обученную нейронную сеть только для корректировки положения в пространстве и предотвращения столкновений с другими объектами

1. Artificial intelligence and collaborative robot to improve airport operations / F. Donadio, J. Frejaville, S. Larnier, S Vetault // In Online Engineering & Internet of Things. 2018. Р. 973-986. https://doi.org/10.1007/978-3-319-64352-6_91.

2. Kejia robot–an attractive shopping mall guider / Y. Chen, F. Wu, W. Shuai, N. Wang, R. Chen, X. Chen // In International Conference on Social Robotics. 2015. P. 145-154. https://doi.org/10.1007/978-3-319-25554-5_15.

3. Robot Navigation System in Stochastic Environment based on Reinforcement Learning on Lidar Data / D. Dudarenko, A. Kovalev, I. Tolstoy, I. Vatamaniuk // Proceedings of 14th International Conference on Electromechanics and Robotics Zavalishin's Readings. 2019; 525-536. https://doi.org/10.1007/978-981-13-9267-2_44.

4. Dudarenko, Rubtsova, Kovalev, Sivchenko Reinforcement Learning Approach for Navigation of Ground Robotic Platform in Statically and Dynamically Generated Environments. 19th IFAC conference on technology, culture and international stability TECIS ( в печати).

5. Reignier P., Hansen V., Crowley J.L. Incremental supervised learning for mobile robot reactive control // Robotics and autonomous systems. 1997. № 19(3-4). P. 247-257. https://doi.org/10.1016/S0921-8890(96)00054-1

6. Deep Learning for Visual Navigation of Unmanned Ground Vehicles: A review / N. O’Mahony, S. Campbell, L. Krpalkova, D. Riordan, J. Walsh, A. Murphy, C. Ryan // In 2018 29th Irish Signals and Systems Conference (ISSC). 2018. №1-6. https://doi.org/10.1109/ISSC.2018.8585381

7. Kim K.S., Kim D.E., Lee J.M. Deep Learning Based on Smooth Driving for Autonomous Navigation. 2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). 2018. P. 616-621.

8. Woods J.O., Christian J.A. Lidar-based relative navigation with respect to noncooperative objects. Acta Astronautica. 2016. № 126. P. 298-311. https://doi.org/10.1016/j.actaastro.2016.05.007

9. Multisensor Online Transfer Learning for 3D LiDAR-based Human Detection with a Mobile Robot / Z. Yan, L. Sun, T. Duckctr, N. Bellotto // In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. P. 7635-7640. https://doi.org/10.1109/IROS.2018.8593899

10. Tracking People in a Mobile Robot From 2D LIDAR Scans Using Full Convolutional Neural Networks for Security in Cluttered Environments / Á.M. Guerrero-Higueras, C. Álvarez-Aparicio, M.C.C. Olivera, F.J. Rodríguez-Lera, C. Fernández-Llamas, F.M. Rico, V. Matellán // Frontiers in neurorobotics. 2018. №12. P. 1-13. https://doi.org/10.3389/fnbot.2018.00085

11. Kim Y.H., Jang J.I., Yun S. End-to-end deep learning for autonomous navigation of mobile robot // 2018 IEEE International Conference on Consumer Electronics (ICCE). 2018. №1-6. https://doi.org/10.1109/ICCE.2018.8326229.

12. Khnissi K., Seddik C., Seddik H. Smart Navigation of Mobile Robot Using Neural Network Controller // 2018 International Conference on Smart Communications in Network Technologies (SaCoNeT). 2018. P. 205-210. https://doi.org/10.1109/ SaCoNeT.2018.8585616.

13. Variable Speed Robot Navigation by an ACO Approach / T. Lei, C. Luo, G.E. Jan, K. Fung // In International Conference on Swarm Intelligence. 2019. P. 232-242. https://doi.org/10.1007/978-3-030-26369-0_22.

14. Traversability Assessment and Trajectory Planning of Unmanned Ground Vehicles with Suspension Systems on Rough Terrain / Y.K. Zhang, Yang, M. Fu, M. Wang // Sensors. 2019. №19(20). P. 4372. https://doi.org/10.3390/s19204372.

15. Robot navigation of environments with unknown rough terrain using deep reinforcement learning / K. Zhang, F. Niroui, M. Ficocelli, G. Nejat // In 2018 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). 2018. P. 1-7. https://doi.org/10.1109/SSRR.2018.8468643.

16. Learning navigation behaviors end-to-end with autorl / HT. L. Chiang, A. Faust, M. Fiser, A. Francis. IEEE Robotics and Automation Letters. 2019. № 4(2). P. 2007-2014. https://doi.org/10.1109/LRA.2019.2899918.

17. Jang J.S.R. ANFIS: adaptive-network-based fuzzy inference system // IEEE transactions on systems, man, and cybernetics. 1993. № 23(3). P. 665-685. https://doi.org/10.1109/21.256541.

18. Mobile robot navigation in unknown static environments using ANFIS controller / A. Pandey, S. Kumar, K.K. Pandey, D.R. Parhi // Perspectives in Science. 2016. №8. P. 421423. https://doi.org/10.1016/j.pisc.2016.04.094

19. Pandey A., Parhi D.R. Multiple mobile robots navigation and obstacle avoidance using minimum rule based ANFIS network controller in the cluttered environment // International Journal of Advanced Robotics and Automation. 2016. № 1(1). P. 1-11. https://doi.org/10.15226/2473-3032/1/1/00102

20. Smart W.D., Kaelbling L.P. Effective reinforcement learning for mobile robots // Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No. 02CH37292). 2002. № 4. P. 3404-3410. https://doi.org/10.1109/ROBOT.2002.1014237

21. Tai L., Paolo G., Liu M. Virtual-to-real deep reinforcement learning: Continuous control of mobile robots for mapless navigation // In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2017. P. 31-36. https://doi.org/10.1109/IROS.2017.8202134

22. Curiosity-driven exploration by self-supervised prediction / D. Pathak, P. Agrawal, A.A. Efros, T. Darrell // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2017. P. 16-17. URL: http://openaccess.thecvf.com/content_cvpr_2017_workshops/w5/papers/Pathak_Curiosity-Driven_Exploration_by_ CVPR_2017_paper.pdf.

23. Proactive Localization System Concept for Users of Cyber-Physical Space / A. Saveliev, D. Malov, A. Edemskii, N. Pavliuk // In International Conference on Interactive Collaborative Robotics. ICR 2018. Lecture Notes in Computer Science. 2018; 11097: 233238. https://doi.org/10.1007/978-3-319-99582-3_24

24. Ватаманюк И.В., Савельев А.И. Мобильная робототехническая платформа как компонент киберфизического интеллектуального пространства // Экстремальная робототехника. 2017. №1. P. 37-42.