Идентификация человека по походке в видеопотоке

Цель исследования. Данная работа посвящена проблеме идентификации человека по походке с помощью нейросетевых моделей распознавания, ориентированных на работу с RGB изображениями. Главным преимуществом использования нейросетевых моделей перед существующими методами анализа двигательной активности является получение изображений из видеопотока без предобработки кадров, увеличивающей время анализа.
Методы. В данной работе был предложен подход к идентификации человека по походке, который основывается на идее многоклассовой классификации на видеопоследовательностях. Оценка качества функционирования разработанного подхода производилась на основе набора данных CASIA Gait Database, включающего в себя более 15000 видеопоследовательностей. В качестве классификаторов были апробированы 5 нейросетевых артитектур: трехмерная сверточная нейронная сеть I3D, а также 4 архитектуры, представляющие собой сверточно-рекуррентные сети, такие, как однонаправленная и двунаправленная LTSM, однонаправленная и двунаправленная GRU, скомбинированные со сверточной нейронной сетью архитектуры ResNet, используемой в данных архитектурах в качестве экстрактора визуальных признаков.
Результаты. Согласно результатам проведенного тестирования, разработанный подход предоставляет возможность осуществлять идентификацию человека в видеопотоке в режиме реального времени без использования специализированного оборудования. По результатам его апробации с помощью рассматриваемых нейросетевых моделей точность идентификации человека составила более 80% для сверточно-рекуррентных моделей и 79% для модели I3D.
Заключение. Предложенные модели на основе архитектуры I3D и сверточно-рекуррентных архитектур показали более высокую точность, чем существующие методы решения задачи идентификации человека по походке. За счет возможности покадровой обработки видео наиболее предпочтительным классификатором для разработанного подхода является использование сверточно-рекуррентных архитектур на основе однонаправленной LSTM или GRU моделей соответственно.

1. Распознавание лиц на групповых фотографиях с использованием алгоритмов сегментации / А.И. Шерстобитов, В.П. Федосов, В.А. Приходченко, М.В. Тимофеев // Известия Южного федерального университета. Технические науки. 2013. 11(148). URL: https://cyberleninka.ru/article/n/raspoznavanie-lits-na-gruppovyh-fotografiyah-sispolzovaniem-algoritmov-segmentatsii

2. Sokolova A., Konushin A. Gait recognition based on convolutional neural networks // International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences. 2017. XLII-2/W4. P. 207-212. https://doi.org/isprs-archives-XLII-2-W4-207-2017

3. Sokolova A., Konushin A. Pose-based deep gait recognition // IET Biometrics. 2018. 8(2). P. 134-143. https://doi.org/10.1049/iet-bmt.2018.5046

4. Han J., Bhanu B. Individual recognition using gait energy image // IEEE transactions on pattern analysis and machine intelligence. 2005. 28(2). P. 316-322. https://doi.org/10.1109/TPAMI.2006.38

5. Лютов В.С., Конушин А.С., Арсеев С.П. Распознавание человека по походке и внешности // Программирование. 2018. № 4. C. 97-106. https://doi.org/10.31857/S000523100000515-0

6. Соколова А.И., Конушин А.С. Методы идентификации человека по походке в видео // Труды Института системного программирования РАН. 2019. №31(1). C. 69- 82. https://doi.org/10.15514/ISPRAS-2019-31(1)-5

7. Alotaibi M., Mahmood A. Improved gait recognition based on specialized deep convolutional neural network // Computer Vision and Image Understanding. 2017. № 164. P. 103-110. https://doi.org/10.1016/j.cviu.2017.10.004

8. Малашин Р.О., Луцив В.Р. Восстановление силуэта руки в задаче распознавания жестов с помощью адаптивной морфологической фильтрации бинарного изображения // Оптический журнал. 2013. № 80(11). С. 54-61.

9. Frame difference energy image for gait recognition with incomplete silhouettes / C. Chen, J. Liang, H. Zhao, H. Hu, J. Tian // Pattern Recognition Letters. 2009. №30(11). P. 977-984. https://doi.org/10.1016/j.patrec.2009.04.012

10. Castro F.M., Marín-Jimenez M.J., Medina-Carnicer R. Pyramidal Fisher Motion for Multiview Gait Recognition // 2014 22nd International Conference on Pattern Recognition, Stockholm. 2014. Р. 1692-1697. https://doi.org/doi:10.1109/ICPR.2014.298

11. Kaaniche M.B., Bremond F. Tracking hog descriptors for gesture recognition // 2009 Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance. IEEE, 2009. Р. 140-145. https://doi.org/10.1109/AVSS.2009.26

12. Realtime video classification using dense hof/hog / J.R.R. Uijlings, I.C. Duta, N. Rostamzadeh, N. Sebe // Proceedings of international conference on multimedia retrieval. 2014. Р. 145-152. https://doi.org/10.1145/2578726.2578744

13. Feng Y., Li Y., Luo J. Learning effective gait features using LSTM // 2016 23rd International Conference on Pattern Recognition (ICPR). IEEE, 2016. Р. 325-330. https://doi.org/0.1109/ICPR.2016.7899654

14. Hochreiter S., Schmidhuber J. Long short-term memory // Neural computation. 1997. № 9(8). Р. 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735

15. Learning spatiotemporal features with 3d convolutional networks / D. Tran, L. Bourdev, R. Fergus, L. Torresani, M. Paluri // Proceedings of the IEEE international conference on computer vision. 2015. Р. 4489-4497. https://doi.org/10.1109/ICCV.2015.510

16. Carreira J., Zisserman A. Quo vadis, action recognition? A new model and the kinetics dataset // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017. P. 6299-6308. https://doi.org/10.1109/CVPR.2017.502

17. Hara K., Kataoka H., Satoh Y. Learning spatio-temporal features with 3D residual networks for action recognition // Proceedings of the IEEE International Conference on Computer Vision Workshops. 2017. P. 3154-3160. https://doi.org/10.1109/ICCVW.2017.373

18. Hara K., Kataoka H., Satoh Y. Can spatiotemporal 3d cnns retrace the history of 2d cnns and imagenet? // Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2018. P. 6546-6555. https://doi.org/10.1109/CVPR.2018.00685

19. Saveliev A., Uzdiaev M., Dmitrii M. Aggressive Action Recognition Using 3D CNN Architectures // 2019 12th International Conference on Developments in eSystems Engineering (DeSE). IEEE, 2019. P. 890-895. https://doi.org/10.1109/10.1109/DeSE.2019.00165

20. Learning phrase representations using RNN encoder-decoder for statistical machine translation / K. Cho, B. Van Merriënboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio // arXiv preprint arXiv:1406.1078. 2014. URL: https://arxiv.org/abs/1406.1078

21. Beyond short snippets: Deep networks for video classification / J. Yue-Hei Ng, M. Hausknecht, S. Vijayanarasimhan, O. Vinyals, R. Monga, G. Toderici // Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. P. 4694-4702. https://doi.org/10.1109/CVPR.2015.7299101

22. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. P. 770- 778. https://doi.org/10.1109/CVPR.2016.90

23. Going deeper with convolutions / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich // Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. P. 1-9. https://doi.org/10.1109/CVPR.2015.7298594

24. What is Log Loss? [Quoted May 6, 2020]. URL: https://www.kaggle.com/dansbecker/what-is-log-loss

25. Kingma D.P., Ba J. Adam. A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014. URL: https://arxiv.org/abs/1412.6980

26. Logsoftmax vs softmax [Quoted May 6, 2020]. URL: https://discuss.pytorch.org/t/logsoftmax-vs-softmax/21386

27. A comprehensive study on cross-view gait based human identification with deep cnns / Z. Wu, Y. Huang, L. Wang, X. Wang, T. Tan // IEEE transactions on pattern analysis and machine intelligence. 2016. № 39(2). Р. 209-226. https://doi.org/10.1109/ TPAMI.2016.2545669

28. Invariant feature extraction for gait recognition using only one uniform model / S. Yu, H. Chen, Q. Wang, L. Shen, Y. Huang // Neurocomputing. 2017. 239. Р. 81-93. https://doi.org/10.1016/j.neucom.2017.02.006

29. GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Network / S. Yu, H. Chen, E.B.G. Reyes, N. Poh // In Proc. of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2017. Р. 532-539. https://doi.org/10.1109/CVPRW.2017.80