Разработка метода локализации в замкнутой и насыщенной объектами среде

Цель исследования. Целью работы является исследование и разработка методов локализации сверхлегкого беспилотного летательного аппарата (БПЛА) в насыщенной объектами замкнутой среде, основанных на симантико-топологических данных, получаемых из окружения. Целью работы также явля-ется разработка программного обеспечения и выбор аппаратного комплекса для запуска и опробации разработанного решения. 

Методы. Для реализации поставленной цели были проведен обзор и сравнение существующих решений. Оптимизация архитектуры нейронной сети для детектирования объектов. Разработка алгоритма составления графа объектов, отражающего их взаимосвязи. Разработка алгоритма сравнения графов для определения положения БПЛА. Внедрение решения по повышению точности определения геометрического центра задетектированных объектов. Использование методов определения ключевых точек (SIFT, SURF) для решения проблемы идентификации объектов одного класса.

Результаты. Результатом работы является разработанный метод локализации на основе симантикотопологических данных, получаемых из окружения. Также разработан пакет программного обеспечения, основанный на платформе ROS2 humble, и реализованный на аппаратной части, основанной на плате Rockchip 3588. Эксперименты проводились на готовых наборах данных (KUM dataset) и с использованием БПЛА в помещении. 

Заключение. Разработанная система локализации представляет собой перспективный шаг в направлении создания эффективных и гибких систем, способных работать в сложных условиях. В будущем планируется интегрировать данный метод с другими датчиками для повышения робастности в динамичных условиях, добавить алгоритмы визуальной одометрии для повышения точности локализации БПЛА, и расширить применение системы на БПЛА, используемых в других отраслях (инспекция инфраструктуры, поиск и спасение.

1. Evaluating Multispectral Images and Vegetation Indices for Precision Farming Applications from UAV Images / S. Candiago, F. Remondino, M De Giglio, M. Dubbini, M. Gattelli // Remote Sensing. 2015. https://doi.org/10.3390/rs70404026.

2. Duan T., Chapman S.C. Dynamic monitoring of NDVI in wheat agronomy and breeding trials using an unmanned aerial vehicle // Field Crops Research. 2017. URL: https://www.researchgate.net/publication/317423059_Dynamic_monitoring_of_NDVI_in_wheat_agronomy_and_breeding_trials_using_an_unmanned_aerial_vehicle

3. Tan Yi., Li S. Automatic inspection data collection of building surface based on BIM and UAV // Automation in Construction. 2021. URL: https://www.sciencedirect.com/science/article/abs/pii/S0926580521003320?via%3Dihub

4. Mader D., Blaskow R., Westfeld P. Potential of uav-based laser scanner and multispectral camera data in building inspection // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2016. URL: https://isprsarchives.copernicus.org/articles/XLI-B1/1135/2016/

5. Ibrahim Motawa, Alexandra Kardakou Unmanned aerial vehicles (UAVs) for inspection in construction and building industry // The 16th International Operation & Maintenance Conference, 2018. URL: https://pure.ulster.ac.uk/en/publications/unmannedaerial-vehicles-uavs-for-inspection-in-construction-and-

6. Motawa I., Kardakou A. Unmanned aerial vehicles (UAVs) for inspection in construction and building industry // The 16th International Operation & Maintenance Conference. 2018. URL: https://pure.ulster.ac.uk/en/publications/unmanned-aerial-vehicles-uavsfor-inspection-in-construction-and-

7. Handley D.D., Yu P.L., Wechsler S.P. GPS-Denied UAV Localization Using Satellite Navigation and Inertial Sensors // International Conference on Robotics and Autonomous Systems. 2019. URL: https://www.researchgate.net/publication/335140533_GPS-Denied_UAV_Localization_using_Pre-existing_Satellite_Imagery

8. Hacohen S., Medina O. Improved GNSS Localization and Byzantine Detection in UAV Swarms // Sensors. 2020. https://doi.org/10.3390/s20247239.

9. Accurate Localisation Based on GNSS and Propagation Knowledge for Safe Applications in Guided Transport / J. Marais, S. Ambellouis, A. Flancquart, S. Lefebvre, C. Meurie, Y. Ruichek // Procedia - Social and Behavioral Sciences. URL: https://www.sciencedirect.com/science/article/pii/S1877042812027930

10. Past, present, and future of simultaneous localization and mapping: Toward the robustperception age / C. Cadena, L. Carlone, H. Carrillo, Y. Latif, D. Scaramuzza, J. Neira, I. Reid, J.J. Leonard // IEEE Trans. Robot. 2016. https://doi.org/10.1109/TRO.2016.2528477

11. Khairuddin A.R., Haron H. Review on simultaneous localization and mapping // 2015 IEEE International Conference on Control System, Computing and Engineering (ICCSCE). URL: https://ieeexplore.ieee.org/document/7482163

12. Sumikura S., Shibuya M., Sakurada K. OpenVSLAM: A versatile visual SLAM framework // Proceedings of the 27th ACM International Conference on Multimedia. 2019.

13. Labb´e M., Michaud F. RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation // Journal of Field Robotics.

14. Kinnari J., Verdoja F., Kyrki V. GNSS-denied geolocalization of UAVs by visual matching of onboard camera images with orthophotos // 2021 20th International Conference on Advanced Robotics (ICAR). URL: https://arxiv.org/pdf/2103.14381.pdf

15. Precise Visual-Inertial Localization for UAV with the Aid of A 2D Georeferenced Map. / J. Mao, L. Zhang, X. He, H. Qu, X. Hu // 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). URL: https://arxiv.org/ftp/arxiv/papers/2107/2107.05851.pdf

16. Klein L.C., Klein L.C., Klein L.C. A Machine Learning Approach to Robot Localization Using Fiducial Markers in RobotAtFactory 4.0 Competition // Sensors. 2023. URL: https://www.mdpi.com/1424-8220/23/6/3128

17. Semantic loop closure detection based on graph matching in multi-objects scenes / Q. Cao, Y. Zhang, Y. Liu, G. Lv // Journal of Visual Communication and Image Representation. 2021. https://doi.org/10.1016/j.jvcir.2021.103072

18. X-View: Graph-Based Semantic Multi-View Localization / A. Gawel, C., Del Don R. Siegwart, J. Nieto, C. Cadena // IEEE Robotics and Automation Letters. 2019. URL: https://ieeexplore.ieee.org/document/8281068

19. Object Detection on COCO test-dev Leaderboard. URL:https://paperswithcode.com/sota/object-detection-on-coco