Двухэтапный подход к распознаванию коррозии металлических конструкций с использованием сверточных нейронных сетей в ходе проведения инспекций промышленных объектов

Цель исследования: Распознавание коррозии на металлических конструкциях является серьезной проблемой в проведение инспекций промышленных объектов. Существующие подходы к анализу изображений имеют тенденцию использовать все изображения для распознавания участков, поврежденных коррозией, что не подходит как для структурного анализа, так как процент ошибок при таком подходе очень велик. В условиях прогнозирования коррозии по всему изображению возможны ошибки, связанные с прогнозируемой маской не на металлической конструкции. В связи с этим необходимо удалять результаты прогнозирования положительного класса для участков, поврежденных коррозией, но не размещенных на металлической конструкции. Поэтому в данной работе авторы разработали двухэтапный подход к распознаванию коррозии металлических конструкций, тем самым достигая цель – повышение точности распознавания.
Методы. В этой статье мы применяем две модели глубокого обучения, ориентированные на семантическую сегментацию (DeepLabv3, BiSeNetV2) для обнаружения коррозии, которые работают лучше с точки зрения точности и времени и требуют меньшего количества аннотированных образцов по сравнению с другими глубокими моделями, например, Unet, FCN, Mask-RCNN. В работе предложен новый подход к распознаванию металлических участков, поврежденных коррозией, на основе совмещения двух сверточных нейронных сетей для более точного пиксельного предсказания глубинными моделями архитектуры DeepLabv3 и BiSeNetV2.
Результаты. В ходе экспериментальных исследований проводился расчет точности и F1 меры с использованием моделей FCN, Unet, Mask-RCNN, а также предложенного подхода. На основании полученных результатов был сделан вывод о том, что предложенный подход состоящий в совмещении сетей DeepLabv3 и BiSeNetV2 на 3 % повышает точность и F1 меру для алгоритма Unet, на 10% точность и 2% F1 меру для Mask R-CNN и на 12 % точности и 4 % F1 меру для FCN сети. Экспериментальные результаты и сравнения с реальными наборами данных подтверждают эффективность предложенной схемы даже для очень сложных изображений с множеством типов дефектов. Производительность оценивалась на базе данных, аннотированной экспертами.
Заключение. В статье проведен анализ существующих решений в области распознавания металлических конструкций, поврежденных коррозией, и выявлены недостатки существующих решений, основанных либо на детекции очагов коррозии, либо на попиксельной сегментации полного изображения. В данной работе предложен новый подход к распознаванию металлических участков, поврежденных коррозией, на основе совмещения двух сверточных нейронных сетей для более точного пиксельного предсказания DeepLabv3 и BiSeNetV2. Производительность оценивается на базе данных, аннотированной экспертами по метрикам Precision и F1-score

1. Image processing algorithms for crack detection in welded structures via pulsed eddy current thermal imaging / Z. Liu, G. Lu, X. Liu, X. Jiang, and G. Lodewijks // IEEE Instrumentation & Measurement Magazine. 2017. Vol. 20. N. 4. P. 34–44.

2. An application of swarm of quadcopters for searching operations / Р.В. Мещеряков, П.М. Трефилов, А.В. Чехов, С.А. Диане, К.Д. Русаков, Е.А. Лесив, М.А. Колодочка, К.О. Щукин, А.К. Новосельский, Е.И. Гончарова // IFAC-PapersOnLine. Sozopol, Bulgaria: Elsevier, 2019. Vol. 52, is. 25. P. 14-18 .

3. Automatic crack detection for tunnel inspection using deep learning and heuristic image post-processing / E. Protopapadakis, A. Voulodimos, A. Doulamis, N. Doulamis, T. Stathaki // Applied Intelligence. 2019. Vol. 49. No. 7. P. 2793–2806.

4. Вычислительный метод распознавания образов по видеоизображениям с использованием глубинных нейронных сетей со сверточными и рекуррентными слоями с приложениями для транспортных систем / О.С. Амосов, С.Г. Амосова, С.В. Жиганов, Ю.С. Иванов // Информатика и системы управления. 2019. № 1 (59). С. 18-35.

5. Амосов О.С., Амосова С.Г. The Neural Network Method for Detection and Recognition of Moving Objects in Trajectory Tracking Tasks according to the Video Stream // Proceedings of the 26th Saint Petersburg International Conference on Integrated Navigation Systems (ICINS2019). СПб.: Institute of Electrical and Electronics Engineers Inc, 2019. С. 43-46.

6. 1-D convolutional neural network based on the inner ear principle to automatically assess human’s emotional state / Topical Problems of Agriculture, Civil and Environmental Engineering (TPACEE 2020) / А.О. Исхакова, Д.А. Вольф, Р.Р. Галин, М.В. Мамченко // E3S Web of Conferences. Moscow: E3S Web Conf., 2020. Vol. 224.

7. Амосов О.С., Амосова С.Г., Иочков И.О. Вычислительный метод на основе глубоких нейронных сетей для обнаружения и классификации дефектов, возникающих в заклепочных соединениях авиационной техники // Материалы 12-й Международной конференции «Управление развитием крупномасштабных систем» (MLSD'2019, Москва). М.: ИПУ РАН, 2019. С. 736-738.

8. Бобырь М. В. Проектирование нейронных и нечетких моделей в области вычислительной техники и систем управления. М.: Аргамак-Медиа, 2018. 110 с.

9. Corrosion Identification of Fittings Based on Computer Vision / Z. Tian, G. Zhang, Y. Liao, R. Li, F. Huang // International Conference on Artificial Intelligence and Advanced Manufacturing (AIAM). 2019. P. 592-597. https://doi.org/10.1109/AIAM48774.2019.00123.

10. Young-Jin Cha, Wooram Choi, Oral Buy¨ uk¨ ozt ¨ urk, ¨ Deep learning-based crack damage detection using convolutional neural networks // Computer-Aided Civil and Infrastructure Engineering. 2017. Vol. 32. No. 5. P. 361– 378.

11. Road crack detection using deep convolutional neural network / L. Zhang, F. Yang, Y.D. Zhang, Y. J. Zhu // IEEE international conference on image processing (ICIP). IEEE, 2016. P. 3708–3712.

12. Soukup D., Huber-Mork R. Convolutional neural networks for steel surface defect detection from photometric stereo images, in International Symposium on Visual Computing. Springer, 2014. P. 668–677.

13. Fu-Chen Chen, Mohammad R Jahanshahi. Nbcnn: Deep learning-based crack detection using convolutional neural network and na¨ıve bayes data fusion // IEEE Transactions on Industrial Electronics. 2017. Vol. 65. N. 5. P. 4392–4400.

14. Chen LC., Zhu Y., Papandreou G., Schroff F., Adam H. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation. In: Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds) Computer Vision – ECCV 2018. ECCV 2018. Lecture Notes in Computer Science. Vol 11211. Springer, Cham.

15. Yu Changqian, Gao Changxin, Wang,Jingbo, Yu,Gang, Shen Chunhua, Sang Nong. BiSeNet V2: Bilateral Network with Guided Aggregation for Real-time Semantic Segmentation. 2020

16. Automatic brain tumor detection and segmentation using u-net based fully convolutional networks / H. Dong, G. Yang, F. Liu, Y. Mo, Y. Guo // Annual conference on medical image understanding and analysis. Springer, 2017. P. 506–517.

17. Das S., Hollander C. D., Suliman S. Automating Visual Inspection with Convolutional Neural Networks // Annual Conference of the PHM Society, 2019. N. 11(1).

18. Chollet F.: Xception: Deep learning with depthwise separable convolutions. In: CVPR. 2017.

19. Воротнев Д. В., Голованов Р. В. Методика обучения бинарных классификаторов в задачах сегментации изображений // Известия высших учебных заведений. Электроника. 2019. Т. 24. № 3. С. 279-290. https://doi.org/10.24151/1561-5405-2019-24-3-279-290.

20. Бобырь М. В., Ноливос С. К. А., Матиез Л. А. С. Алгоритм ускоренной обработки изображений в системах технического зрения интеллектуальных мобильных роботов // Медико-экологические информационные технологии - 2020 : сборник научных статей по материалам XХIII Международной научно-технической конференции: в 2 ч. Курск, 2020. С. 200-205.