Технология виртуального сопряжения в процессе имитационного моделирования сложнофункциональных модулей систем управления промышленных роботов и многокоординатных мехатронных систем

Цель исследования. Разработка инструмента для отладки интеллектуальных алгоритмов системы управления, включающих в себя отработку системы технического зрения и планирования программной траектории движения промышленных роботов.
Методы. Для достижения поставленной цели был проведен обзор существующих средств имитационного моделирования. Представлен протокол бесконтактного взаимодействия человека и робота. Разработан алгоритм распознавания жестовых команд на основе разности трехмерных двоичных микроблоков и построении скелета человеческого тела. Представлен пример использования программного средства ROBOGuid для имитационного моделирования движения промышленного робота в рамках разработки и отладки собственных методов управления, ориентированных на реальные объекты.
Результаты. Использование цифровых двойников технологического оборудования для имитации и отображения реальных технологических процессов в виртуальной среде, в контексте формирования новой концепции индустрии 4.0 и шестого технологического уклада, позволяет совершенствовать основные и вспомогательные производственные процессы, а также проводить анализ, исследование и оценку экономической эффективности новых технологических и технических решений. Имитационное моделирование позволяет разработать эргономичные способы взаимодействия человека с мехатронными объектами. Предлагаемое в работе решение протестировано на примере отработки сложного пространственного контура, имитирующего фрезерование детали. Экспериментальные исследования предложенного в работе алгоритма распознавания жестовых команд проведены на общедоступном наборе данных UCF101, результаты сравниваются с известными подходами распознавания действий человека.
Заключение. Разработанный модуль сопряжения был использован на примере отработки сложного пространственного контура, имитирующего фрезерование детали, а метод системы бесконтактного управления роботом показал свою эффективность и необходимость развития этого направления.

1. Индустрия 4.0 в станкостроении / А. А. Грибков, М. С. Морозкин, В. Р. Купцов, П. М. Пивкин, А. А. Зеленский // СТИН. 2021. № 4: 9-11. https://www.elibrary.ru/item.asp?id=44870393

2. SinuTrain for SINUMERIK Operate. Siemens; 2021 [процитировано 10 ноября 2021]. https://new.siemens.com/global/en/markets/machinebuilding/machine-tools/cnc4you/sinutrain-uebersicht.html.

3. ShopTurn; 2021 [процитировано 10 ноября 2021]. Доступно: https://docviewer.yandex.ru/?tm=1634583248&tld=ru&lang=ru&name=TUST_0404_ru.pdf&text=ShopTurn&url=https%3A//support.industry.siemens.com/dl/files/019/28803019/att_32871/v1/TUST_0404_ru.pdf&lr=213&mime=pdf&l10n=ru&sign=d0d5accb52e1d8a43751b49e7d44e6ce&keyno=0.

4. ShopMill; 2021 [процитировано 10 ноября 2021]. Доступно: https:// docviewer.yandex.ru/?tm=1634583319&tld=ru&lang=ru&name=TUSM_1209_ru_ru-RU.pdf&text= Shop-Shop-Mill&url=https%3A//support.industry.siemens.com/dl/files/295/41131295/att_80704/v1/TUSM_1209_ru_ru-RU.pdf&lr=213&mime=pdf&l10n=ru&sign=89ed36f9c3c96b52801a3f382b11df71&keyno=0.

5. Vericut; 2021 [процитировано 10 ноября 2021]. Доступно: http:// vericut.ru/index.php/products/products

6. Simulate Robot Applications. RoboDK; 2021 [процитировано 11 ноября 2021]. Доступно: https://robodk.com/index.

7. ROBOGuid; 2021 [процитировано 11 ноября 2021]. Доступно: https://www.fanuc.eu/ru/ru/роботы/принадлежности/roboguide.

8. Высокопроизводительная система числового программного управления на базе программируемых логических интегральных схем / А.А. Зеленский, М.А. Харьков, С.П. Ивановский, Т.Х. Абдуллин // Вестник Воронежского государственного технического университета. 2018, 14(5): 8–12.

9. Высокопроизводительная цифровая система на основе ПЛИС для управления движением многокоординатных станков и промышленных роботов / А.А. Зеленский, Т.Х. Абдуллин, Ю.В. Илюхин, М.А. Харьков // СТИН. 2019, (8): 5-8.

10. Зеленский А.А., Абдуллин Т.Х., Алепко А.В. Особенности построения в реальном времени s-образной кривой разгона/торможения при кусочно-линейной интерполяции поверхностей сложной формы. Робототехника и техническая кибернетика. 2021, 9 (3): 17–26.

11. Zhao H., Zhu L.M., Ding H. A real-time look-ahead interpolation methodology with curvature-continuous B-spline transition scheme for CNC machining of short line segments. International Journal of Machine Tools & Manufacture. 2013, 65: 88-98. https://doi.org/10.1016/j.ijmachtools.2012.10.005

12. Using neuro-accelerators on FPGAs in collaborative robotics tasks. Proceedings Volume 11876 / A. Zelensky, E. Semenishchev, A. Alepko, T. Abdullin, Y. Ilyukhin, V. Voronin // Optical Instrument Science, Technology, and Applications II. 2021, 118760O. https://doi.org/10.1117/12.2600582

13. Heterogeneous neuromorphic processor based on risc-v architecture for real-time robotics tasks / A. Zelensky, A. Alepko, V. Dubovskov, V. Kuptsov // Proceedings of SPIE - The International Society for Optical Engineering. 2. Сер. "Artificial Intelligence and Machine Learning in Defense Applications II". 2020, 115430L. https://doi.org/10.1117/12.2574470

14. Karel. Википедия; 2021 [обновлено 14 февраля 2021; процитировано 10 ноября 2021]. Доступно: https://ru.wikipedia.org/wiki/Karel.

15. TCP/IP. Википедия; 2021 [обновлено 28 октября 2021; процитировано 10 ноября 2021]. Доступно: https://ru.wikipedia.org/wiki/TCP/IP.

16. Chen C., Jafari R., Kehtarnavaz N. UTD-MHAD: A Multimodal Dataset for Human Action Recognition Utilizing a Depth Camera and a Wearable Inertial Sensor. Proceedings of IEEE International Conference on Image Processing, 2015. https://doi.org/10.1109/ICIP.2015.7350781

17. Serrano-Cuerda J., Fernández-Caballero A., López M. Selection of a visible-light vs. thermal infrared sensor in dynamic environments based on confidence measures. Applied Sciences. 2014, 4(3): 331-350. https://doi.org/10.3390/app4030331

18. Модель объединения изображений, полученных с датчиков различной природы / М.М. Жданова, В.В. Воронин, Р.А. Сизякин, Н.В. Гапон, О.С. Балабаева // Динамика технических систем «ДТС-2019»: сб. тр. XV междунар. науч.-техн. конф. 2019, 81-84.

19. Fusion of color and depth information for human actions recognition / V. Voronin, M. Zhdanova, E. Semenishchev, A. Zelensky, O. Tokareva // Signal Processing, Sensor/ Information Fusion, and Target Recognition XXIX. 2020, Т. 11423. https://doi.org/10.1117/12.2560130.

20. Solmaz B., Assari S. M., Shah M. Classifying web videos using a global video descriptor. Machine vision and applications. 2013, 24(7): 1473-1485. https://doi.org/10.1007/s00138-012-0449-x

21. Human activity recognition for efficient human-robot collaboration / M. Zhdanova, V. Voronin, E. Semenishchev, Y. Ilyukhin, A. Zelensky // Proc. International Society for Optics and Photonics. 2020, 115430K. https://doi.org/10.1117/12.2574133.

22. Wan Q. et al. Face description using anisotropic gradient: thermal infrared to visible face recognition. Mobile Multimedia/Image Processing, Security, and Applications. 2018, 106680V. https://doi.org/10.1117/12.2304898.

23. Zhao G., Pietikäinen M. Dynamic texture recognition using volume local binary patterns. Springer. 2006, 165-177. https://doi.org/10.1007/978-3-540-70932-9_13.

24. Maenpaa T. The Local Binary Pattern Approach to Texture Analysis: Extensions and Applications. 2004. https://www.elibrary.ru/item.asp?id=8860330.

25. Parametric local multiview hamming distance metric learning / D. Zhai, X. Liu, H. Chang, Y. Zhen, X. Chen, M. Guo, W. Gao // Pattern Recognition. 2018, 75: 250-262. https://doi.org/10.1016/j.patcog.2017.06.018

26. Mehta R., Eguiazarian K. E. Texture classification using dense micro-block difference. IEEE Transactions on Image Processing. 2016, 25(4): 1604-1616 https://doi.org/10.1109/TIP.2016.2526898.

27. Belagiannis V., Zisserman A. Recurrent human pose estimation. 12th IEEE International Conference on Automatic Face & Gesture Recognition. 2017: 468-475. https://doi.org/10.1109/FG.2017.64

28. Soomro K., Zamir A. R., Shah M. UCF101: A Dataset of 101 Human Action Classes From Videos in The Wild. CRCV-TR-12-01. 2012. https://arxiv.org/abs/1212.0402

29. Bag of visual words and fusion methods for action recognition: comprehensive study and good practice / X. Peng, L. Wang, X. Wang, Y. Qiao // Computer Vision and Image Understanding. 2016, 150: 109-125 https://doi.org/10.1016/j.cviu.2016.03.013