Алгоритм построения 3d сцен распознанных объектов по картам глубин

Цель исследования. Разработка алгоритма построения 3d сцен распознанных объектов по синтезируемым картам глубин, с целью повышения быстродействия обработки изображений в режиме реального времени.

Методы. Алгоритм построения 3d сцен основывается на методе построения стереоизображений с помощью трехуровневой нечеткой модели построения карт глубин. На первом уровне этой модели определяются границы объектов с помощью модифицированного алгоритма Канни, на втором уровне вычисляются значения диспарантности на основе модифицированного методами нечеткой логики алгоритма суммы абсолютных разностей, и на заключительном уровне вначале вычисляются градиенты расстояний от границ изображений до краев распознанных объектов и затем по полученным значениям диспарантности на втором и третьем уровне нечеткой иерархической модели вычисляются уточненные значения диспаритета, по которым осуществляется построение карты глубин и 3d сцен распознанных объектов.

Результаты. Разработан алгоритм построения 3d сцен распознанных объектов по синтезируемым картам глубин. Определено, что предложенный алгоритм имеет лучшее быстродействие по сравнению с существующими алгоритмами построения карт глубин, такими как алгоритм сопряженных точек и пирамидальный алгоритм.

Заключение. Результаты экспериментальных исследований показали, что предложенный алгоритм имеет меньшую сложность по сравнению с анализируемыми алгоритмами (сопряженных точек и пирамидальный). Минимальное среднее время выполнения операции построения 3d сцен составило порядка 1-2 минуты, что почти в 120 раз лучше по сравнению с алгоритмом сопряженных точек.

1. Elhashash M., Qin R. Cross-view SLAM solver: Global pose estimation of monocular ground-level video frames for 3D reconstruction using a reference 3D model from satellite images // ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188, 62–74. https://doi.org/10.1016/j.isprsjprs.2022.03.018

2. Bobyr M., Arkhipov A., Emelyanov S., Milostnaya N. A method for creating a depth map based on a three-level fuzzy model// Engineering Applications of Artificial Intelligence, 2023, 117. https://doi.org/10.1016/j.engappai.2022.105629

3. Аврашков П. П., Коськин Н. А., Константинов И. С. Оценка эффективности различных моделей конвертации изображений в стереоформат с помощью карт глубины // Научно-технический вестник Поволжья. 2020. № 12. С. 165-168.

4. Потапов А. А., Гуляев Ю. В., Никитов С. А. Новейшие методы обработки изображений. М.: Физико-математическая литература, 2008. 496 с.

5. Гусев В. В. Оценка точности алгоритмов корреляционного совмещения и алгоритмов получения пирамидального представления изображений // Сфера знаний: структурные преобразования и перспективные направления развития научной мысли. Казань, 2018. С. 308-311.

6. Никитин С. В., Грузман И. С. Алгоритм поиска сопряженных точек // Электронные средства и системы управления. Материалы докладов Международной научно-практической конференции. 2007. № 1. С. 51-54.

7. Бобырь М. В., Архипов А. Е., Якушев А. С. Распознавание оттенка цветовой метки на основе нечёткой кластеризации // Информатика и автоматизация. 2021. № 20(2). С. 407-434.

8. Реализация одного метода цифровой обработки изображений на параллельном компьютере / В. А. Франц, В. В. Воронин, В. И. Марчук, Д. С. Гавриленко // Информационные технологии. Радиоэлектроника. Телекоммуникации. 2011. № 1. С. 312-317.

9. Белова О. П. Параллельная цифровая обработка изображений на базе ПЛИС на примере реализации медианного фильтра // Передовые инновационные разработки. Перспективы и опыт использования, проблемы внедрения в производство: cборник научных статей по итогам четвертой международной научной конференции. Казань: ООО «Конверт», 2019. Ч. 2. С. 105-110.

10. Баев А. А., Роженцов А. А. Применение параллельных вычислений в задачах обработки изображений флуоресцентных точечных излучателей // Известия Российской академии наук. Серия физическая. 2018. Т. 82, № 12. С. 1666-1670. DOI 10.1134/S0367676518120037.

11. Кий К. И., Анохин Д. А., Подопросветов А. В. Программная система обработки изображений с параллельными вычислениями // Программирование. 2020. № 6. С. 41-54. DOI 10.31857/S0132347420060047.

12. Бобырь М.В., Дородных А.А., Якушев А.С. Устройство и программная модель управления пневматическим мехатронным комплексом // Мехатроника, автоматизация, управление. 2018;19(9):612-617. https://doi.org/10.17587/mau.19.612-617

13. Daeef F. Application of the computer vision system for controlling a mobile robot in a dynamic environment // Computing, Telecommunications and Control. 2020. Vol. 13. No. 1. P. 19-30. DOI 10.18721/JCSTCS.13102.

14. Построение карты глубины с использованием модернизированного фильтра Канни. Часть 1 / М. В. Бобырь, А. Е. Архипов, А. С. Якушев, Ц. Цао // Промышленные АСУ и контроллеры. 2021. № 4. С. 12-20. DOI 10.25791/asu.4.2021.1271.

15. Построение карты глубины с использованием модернизированного фильтра Канни. Часть 2 / М. В. Бобырь, А. Е. Архипов, А. С. Якушев, С. Бхаттачарья // Промышленные АСУ и контроллеры. 2021. № 5. С. 3-15. DOI 10.25791/asu.5.2021.1277.

16. Костюхина Г. В., Шлеймович М. П. Настройка модифицированного детектора Канни на основе модели энергетических признаков вейвлет-преобразования // Южно-Сибирский научный вестник. 2019. № 2(26). С. 123-128. DOI 10.25699/SSSB.2019.2(26).32536.

17. Ракова В. В., Болсуновская М. В., Звягин П. Н. Точность распознавания контуров моделированных льдин // Полярная механика. 2018. № 4. С. 185-193.

18. Нечетко-логические методы в задаче детектирования границ объектов / М. В. Бобырь, А. Е. Архипов, С. В. Горбачев,Ц. Цао, С. Б. Бхаттачарья // Информатика и автоматизация. 2022. Вып. 21, том 2, с. 376–404.

19. Прикладные нейро-нечеткие вычислительные системы и устройства / М. В. Бобырь, С. Г. Емельянов, А. Е. Архипов, Н. А. Милостная. М.: Издательский Дом "Инфра-М", 2023. 263 с. (Научная мысль). DOI 10.12737/1900641.

20. Емельянов С. Г., Бобырь М. В., Бондаренко Б. А. Нечетко-логическая система распознавания цвета с помощью быстродействующего дефаззификатора // Известия Юго-Западного государственного университета. 2022; 27(4): 103-116. https://doi.org/

21. 21869/2223-1560-2022-26-4-103-116.

22. Bobyr M. V., Milostnaya N. A., Bulatnikov V. A. The fuzzy filter based on the method of areas' ratio // Applied Soft Computing. 2022. Vol. 117. P. 108449. DOI 10.1016/j.asoc.2022.108449.

23. Емельянов С. Г., Бобырь М. В., Крюков А. Г. Исследование свойств алгоритма поиска в ширину для нахождения маршрута передвижения роботов // Известия ЮгоЗападного государственного университета. 2022; 26(4): 39-56. https://doi.org/10.21869/2223-1560-2022-26-4-39-56.

24. Bobyr M. V., Emelyanov S. G. A nonlinear method of learning neuro-fuzzy models for dynamic control systems // Applied Soft Computing. 2020. Vol. 88. P. 106030. DOI 10.1016/j.asoc.2019.106030.

25. Bobyr M. V., Yakushev A. S., Dorodnykh A. A. Fuzzy devices for cooling the cutting tool of the CNC machine implemented on FPGA // Measurement. 2020. Vol. 152. P. 107378. DOI 10.1016/j.measurement.2019.107378.