Система технического зрения в задаче определения расстояний от видеокамеры до объекта

Цель исследования. Разработка вычислительного процесса в системе технического зрения, позволяющего определять расстояние до объектов от одной видеокамеры на основе трансформации RGB данных, полученных от КМОП-видеокамеры, в трехмерные координаты, показывающие расположение объекта на 3d сцене.

Методы. Научная статья посвящена методам определения расстояний от видеокамеры до объектов, имеющих важное значение в области компьютерного зрения и когнитивного моделирования. Исследование охватывает разнообразные подходы, используемые для оценки расстояний с помощью видеоаналитики, традиционных моделей анализа изображений и машинного обучения. Рассматривается метод, основанный на классическом алгоритме детектирования маркеров, включающий новейший подход, реализующий принцип нейро-нечеткого обучения в системе технического зрения. Особое внимание уделяется визуальной оценке эффективности и точности предложенного нейронечеткого подхода при оценке передвижений исполнительных механизмов мехатронного комплекса. Это исследование предоставляет обзор современного состояния методов определения расстояний от видеокамеры до объектов и предложения по дальнейшему улучшению и развитию данной области.

Результаты. Предложенная в данном исследовании методология определения расстояний от системы технического зрения до объектов представляет собой значимый шаг в развитии методов позиционирования приводов мехатронных комплексов. Методология была апробирована в реальных условиях и продемонстрировала значительное улучшение точности позиционирования приводов. В ходе вычислительных экспериментов удалось в режиме реального времени определять трехмерные координаты (центр масс) детектируемых объектов. Это привело к улучшению позиционирования приводов мехатронного комплекса на 12% по сравнению с аналогичными решениями, что важно для достижения требуемых показателей производительности и эффективности производственной системы.

Заключение. Точность разработанной методологии была проверена на различных тестовых наборах данных, включая сценарии с различными условиями освещения, измененным фоном и распознаванием различных типов объектов. Результаты экспериментов подтвердили эффективность предложенной методики и её применимость в реальных условиях, обеспечивая улучшение точности позиционирования приводов мехатронного комплекса.

1. Потапов А. А., Гуляев Ю. В., Никитов С. А. Новейшие методы обработки изображений. М.: Физико-математическая литература, 2008. 496 с. ISBN 978-5-9221-0841-6.

2. Прикладные нейро-нечеткие вычислительные системы и устройства / М. В. Бобырь, С. Г. Емельянов, А. Е. Архипов, Н. А. Милостная. М.: Издательский Дом "Инфра-М", 2023. 263 с. (Научная мысль). ISBN 978-5-16-017976-6. DOI 10.12737/1900641.

3. Быстрый алгоритм расшифровки изображения объекта в структурированном свете для измерения трёхмерного профиля в условиях нелинейности оптического тракта / С. В. Двойнишников, Г. В. Бакакин, В. А. Павлов, В. Г. Меледин // Измерительная техника. 2023. № 8. С. 36-41. DOI 10.32446/0368-1025it.2023-8-36-41.

4. Quantifying interfacial interactions for improved membrane antifouling: A novel approach using triangulation and surface element integration method / X. You, L. Shen, Y. Zhao, D. Ling Zhao, J. Teng, H. Lin, … M. Zhang // Journal of Colloid and Interface Science. 2023. https://doi.org/10.1016/j.jcis.2023.06.117

5. Пешхоев А. А. Эффективность применения метода триангуляции с использованием Beacon маячков для определения местоположения внутри помещений // Вестник науки. 2019. Т. 4, № 5(14). С. 527-529.

6. Chen M., Bärwolff G., Schwandt H. Time-of-flight technology applied in pedestrian movement detection // In Transportation Research Procedia. 2014. Vol. 2. P. 189–194. Elsevier. https://doi.org/10.1016/j.trpro.2014.09.028

7. Klempt W. Review of particle identification by time of flight techniques // Nuclear Instruments and Methods in Physics Research. Section A: Accelerators, Spectrometers, Detectors and Associated Equipment. 1999. Vol. 433. № 1-2. P. 542-553. DOI 10.1016/S0168-9002(99)00323-X.

8. Зарипова А. Д., Зарипов Д. К., Усачев А. Е. Визуализация дефектов высоковольтных изоляторов на инфракрасных изображениях с помощью методов компьютерного зрения // Научная визуализация. 2019. Т. 11, № 2. С. 88-98. DOI 10.26583/sv.11.2.07.

9. Гераськин Д. П. Количественная оценка эффективности инфракрасной системы технического зрения медицинского работника тепловизионной диагностики // Известия высших учебных заведений. Электромеханика. 2000. № 2. С. 93-96.

10. Объективное определение остроты зрения у пациентов с поражением макулярной области c помощью инфракрасной видеонистагмографии / Е. П. Поручикова, З. И. Мамедов, И. А. Лоскутов, О. Л. Поручикова // Эффективная фармакотерапия. 2022. Т. 18, № 45. С. 6-13. DOI 10.33978/2307-3586-2022-18-45-6-12.

11. Смирнов Д. А., Тер-Саакян А. С., Делендик А. М. Алгоритм начальной выставки управляемых летательных аппаратов с помощью бортовой системы технического зрения и наземного лазерного маяка // Авиационные системы в XXI веке: тезисы докладов юбилейной Всероссийской научно-технической конференции. М.: Государственный научно-исследовательский институт авиационных систем, 2022. С. 139-140.

12. Елистратов В. В. Об использовании лазерных устройств технического зрения на автомобильной технике // Аспирант и соискатель. 2007. № 3(40). С. 126.

13. Борисов Е. Г. Комбинированная телевизионно-ультразвуковая система технического зрения // Вопросы радиоэлектроники. Серия: Техника телевидения. 2011. № 1. С. 91-99.

14. Данишевский О. В., Парфенов А. В., Станкевич В. В. Современные решения робототехнического зрения универсальной кибернетической платформы // Вопросы радиоэлектроники. 2019. № 5. С. 32-38.

15. Аврашков П. П., Коськин Н. А., Константинов И. С. Оценка эффективности различных моделей конвертации изображений в стереоформат с помощью карт глубины // Научно-технический вестник Поволжья. 2020. № 12. С. 165-168.

16. Bobyr M., Arkhipov A., Emelyanov S., Milostnaya N. A method for creating a depth map based on a three-level fuzzy model // Engineering Applications of Artificial Intelligence, 2023, 117. https://doi.org/10.1016/j.engappai.2022.105629

17. Бобырь М. В., Архипов А. Е., Милостная Н. А. Метод расчета карты глубин на основе мягких операторов // Системы и средства информатики. 2019. Т. 29, вып. 2. C. 71–84. https://doi.org/10.14357/08696527190207

18. Бобырь М. В., Архипов А. Е., Якушев А. С. Распознавание оттенка цветовой метки на основе нечёткой кластеризации // Информатика и автоматизация. 2021. № 20(2). С. 407-434.

19. Нечетко-логические методы в задаче детектирования границ объектов / М. В. Бобырь, А. Е. Архипов, С. В. Горбачев [и др.] // Информатика и автоматизация. 2022. Т. 21, № 2. С. 376-404. DOI 10.15622/ia.21.2.6.

20. Растяжение гистограммы // CoderLessons. 2022. URL: https://coderlessons.com/tutorials/akademicheskii/tsifrovaia-obrabotka-izobrazhenii/rastiazhenie-gistogrammy.

21. Эквализация гистограмм // LightHouse Software. 2022. URL: https://lhs-blog.info/programming/dlang/ekvalizacziya-gistogramm/.

22. Обработка изображения // NDT-testing. 2022. URL: https://ndttesting.ru/porogovaja-obrabotka-izobrazhenij.html.

23. Простейшая кластеризация изображений методом к-средних // Habr. 2022. URL: https://habr.com/ru/articles/165087/.

24. Распознавание образов с помощью искусственного интеллекта // Habr. 2023. URL: https://habr.com/ru/articles/709432/ (Дата обращения 25.01.2023).

25. Киселева Т. В., Маслова Е. В., Бычков А. Г. Машинное обучение для решения задач распознавания образов // ИТНОУ: Информационные технологии в науке, образовании и управлении. 2021. № 2(18). С. 19-24. doi: 10.47501/itnou.2021.2.19-24

26. Белим С. В., Ларионов С. Б. Сегментация изображений на основе алгоритма выделения сообществ на графе // Математические структуры и моделирование. 2016. № 3(39). С. 74-85.

27. Сорокин Д. В., Крылов А. С. Метод активных контуров для сегментации изображений. М.: МАКС Пресс, 2022. 16с.

28. Вычисление оптического потока методом Лукаса-Канаде // Habr. 2023. URL: https://habr.com/ru/articles/169055/.

29. Чигринский В. В., Матвеев И. А. Исследование движения структуры радужной оболочки глаза методом оптического потока // Математические методы распознавания образов. 2017. Т. 18. № 1. С. 108-109.

30. Белоконь А. В., Проскурин А. В., Фаворская М. Н. Классификация методов синтеза текстур // Актуальные проблемы авиации и космонавтики. 2011. Т. 1. № 7. С. 350-351.

31. Синтез изображений с помощью глубоких нейросетей // Компьютерные науки. 2023. URL: https://youtu.be/_rfmEzb6YP4.

32. Bobyr M. V., Milostnaya N. A., Bulatnikov V. A. The fuzzy filter based on the method of areas' ratio // Applied Soft Computing. 2022. Vol. 117. P. 108449. DOI 10.1016/j.asoc.2022.108449.

33. Bobyr M. V., Emelyanov S. G. A nonlinear method of learning neuro-fuzzy models for dynamic control systems // Applied Soft Computing. 2020. Vol. 88. P. 106030. DOI 10.1016/j.asoc.2019.106030.

34. Бобырь М.В., Дородных А.А., Якушев А.С. Устройство и программная модель управления пневматическим мехатронным комплексом // Мехатроника, автоматизация, управление. 2018;19(9):612-617. https://doi.org/10.17587/mau.19.612-617

35. Fragmented plant leaf recognition: Bag-of-features, fuzzy-color and edge-texture histogram descriptors with multi-layer perceptron / J. Chaki, N. Dey, L. Moraru, F. Shi // Optik. 2019. № 181. Рр. 639–650. doi:10.1016/j.ijleo.2018.12.107

36. Boukezzoula R., Coquin D., Nguyen T. L., Perrin S. Multi-sensor information fusion: Combination of fuzzy systems and evidence theory approaches in color recognition for the NAO humanoid robot // Robotics and Autonomous Systems. 2018. № 100. Рр. 302–316. Doi: 10.1016/j.robot.2017.12.002

37. Bobyr M. V., A Yakushev. S., Dorodnykh A. A. Fuzzy devices for cooling the cutting tool of the CNC machine implemented on FPGA // Measurement. 2020. Vol. 152. P. 107378. DOI 10.1016/j.measurement.2019.107378.