priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2022-65-3-194-203pribor-233Research ArticleКОМПЬЮТЕРНОЕ ЗРЕНИЕ И ПЛАНИРОВАНИЕ ДВИЖЕНИЯ РОБОТОВ В ЗАДАЧАХ МАНИПУЛИРОВАНИЯCOMPUTER VISION AND ROBOT MOVEMENT PLANNING IN MANIPULATION TASKSСегментация объектов с функцией дообученияObjects segmentation with retraining functionНенаховИ. Д.NenakhovI. D.

Ненахов Иван Дмитриевич — студент; факультет систем управления и робототехники, лаборатория биомехатроники и энергоэффективной робототехники.

Санкт-Петербург

Ivan D. Nenakhov — Student; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics.

St. Petersburg

ivdmne@gmail.comАртемовК.ArtemovK.

Артемов Кирилл — аспирант; факультет систем управления и робототехники, лаборатория биомехатроники и энергоэффективной робототехники; инженер-исследователь.

Санкт-Петербург

Kirill Artemov — Post-Graduate Student; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; Engineer-Researcher.

St. Petersburg

kaartemov@itmo.ruЗабихифарС.ZabihifarS.

Забихифар СейедХассан — канд. техн. наук; лаборатория робототехники; инженер-разработчик.

Москва

Seyedhassan Zabihifar — PhD; Sberbank, Robotics Laboratory; Engineer-Designer.

Moscow

zabikhifar.s@sberbank.ruСемочкинА. Н.SemochkinA. N.

Семочкин Александр Николаевич — канд. физ.-мат. наук, доцент; лаборатория робототехники; гл. инженер-разработчик.

Москва

Aleksandr N. Semochkin — PhD, Associate Professor; Sberbank, Robotics Laboratory; Сhief Engineer-Designer.

Moscow

Semochkin.A.N@sberbank.ruКолюбинС. А.KolyubinS. A.

Колюбин Сергей Алексеевич — д-р техн. наук, доцент; факультет систем управления и робототехники, лаборатория биомехатроники и энергоэффективной робототехники; вед. научный сотрудник.

Санкт-Петербург

Sergey A. Kolyubin — Dr. Sci., Associate Professor; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; Leading Researcher.

St. Petersburg

s.kolyubin@itmo.ruУниверситет ИТМОITMO UniversityСбербанкSberbank202201122024653194203Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/233

Рассматриваются способы расширения набора распознаваемых классов объектов для задачи их сегментирования, где необходимо построить маску объекта, а также узнать его класс. Для первой задачи использованы методы, не зависящие от классов предметов и являющиеся наиболее устойчивыми к изменениям формы; для второй задачи проанализированы методы, основанные на итеративном обучении (iterative learning), и методы метрического обучения (metric learning). Второй подход выбран в качестве основного, и для него протестированы различные архитектуры нейронных сетей. Проведена классификация объектов с использованием алгоритма k ближайших соседей. В качестве набора данных для обучения нейронной сети использован набор COIL-100, а после обученная модель протестирована на собственном наборе данных. Проведенные эксперименты показывают, что используемый метод позволяет обрабатывать 7-8 изображений в секунду на видеокарте GTX 1050 ti с 4 Гбайт видеопамяти с точностью классификации в 99 %.

Ways to expand the set of recognized object classes for the task of segmenting them, where it is necessary to build an object mask, as well as to find out its class, are considered. For the first task, methods that do not depend on the classes of subjects and are the most resistant to shape changes were used; for the second task, methods based on iterative learning and methods of metric learning are analyzed. The second approach is chosen as the main one, and various neural network architectures are tested for it. The classification of objects using the k nearest neighbors algorithm is carried out. The COIL-100 set is used as a data set for training a neural network, and after that the trained model was tested on its own data set. The experiments show that the method used allows processing 7-8 images per second on a GTX 1050 ti graphics card with 4 GB of video memory with a classification accuracy of 99%.

метрическое обучениеитеративное обучениесегментацияклассификациясверточные нейронные сетиробототехникараспознавание изображенийmetric learningiterative learningsegmentationclassificationconvolutional neural networksroboticsimage recognitionReferencesKrizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // Advances in Neural Information Processing Systems / Ed.: F. Pereira, C. J. C. Burges, L. Bottou, K. Q. Weinberger. Curran Associates Inc., 2012. Vol. 25. P. 1097—1105.Krizhevsky A., Sutskever I., Hinton G.E. Advances in Neural Information Processing Systems, 2012, vol. 25, pp. 1097–1105, https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf.Deep Residual Learning for Image Recognition / Kaiming He, Xi-Angyu Zhang, Shaoqing Ren, Jian Sun // CoRR. 2015. Vol. ab-s/1512.03385. [Электронный ресурс]: http://arxiv.org/abs/1512.03385.He K., Zhang X., Ren Sh., Sun J. CoRR, 2015, vol. abs/1512.03385. http://arxiv.org/abs/1512.03385.MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications / A. G. Howard, Menglong Zhu, Bo Chen et al. // CoRR. 2017. Vol. abs/1704.04861. [Электронный ресурс]: http://arxiv.org/abs/1704.04861.Howard A.G., Zhu M., Chen B. et al. CoRR, 2017, vol. abs/1704.04861, http://arxiv.org/abs/1704.04861.Mask R-CNN / Kaiming He, G. Gkioxari, P. Doll ar, R. B. Girshick // CoRR. 2017. Vol. abs/1703.06870. [Электронный ресурс]: http://arxiv.org/abs/1703.06870.He K., Gkioxari G., Doll ar P., Girshick R.B. CoRR, 2017, vol. abs/1703.06870, http://arxiv.org/abs/1703.06870.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / Shaoqing Ren, Kaiming He, R. Girshick, Jian Sun // Advances in Neural Information Processing Systems / Ed.: C. Cortes, N. Lawrence, D. Lee et al. Curran Associates Inc., 2015. Vol. 28. P. 91—99. [Электронный ресурс]: https://proceedings.neurips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf.15.Ren Sh., He K., Girshick R., Sun J. Advances in Neural Information Processing Systems, 2015, vol. 28, pp. 91–99, https://proceedings.neurips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf.15.Kirkpatrick J., Pascanu R., Rabinowitz N. et al. Overcoming catastrophic forgetting in neural networks // Proc. of the National Academy of Sciences. 2017. N 114(13). P. 3521—3526.Kirkpatrick J., Pascanu R., Rabinowitz N., Veness J., Desjardins G., Rusu A.A., Milan K., Quan J., Ramalho T., Grabska-Barwinska A., Hassabis D., Clopath C., Kumaran D., and Hadsell R. Overcoming catastrophic forgetting in neural networks, 2017, no. 13(114), pp. 3521–3526.Zenke F., Poole B., Ganguli S. Continual Learning Through Synaptic Intelligence // Proc. of the 34th Intern. Conf. on Machine Learning. Sydney, Australia. 2017. Vol. 70. P. 3987—3995,Zenke F., Poole B., and Ganguli S. Proceedings of the 34th International Conference on Machine Learning, Sydney, Australia, 2017, vol. 70, pр. 3987–3995.Lomonaco V., Maltoni D. CORe50: A New Dataset and Benchmark for Continuous Object Recognition // Proc. of the 1st Annual Conf. on Robot Learning. PMLR. 2017. Vol. 78. P. 17—26.Lomonaco V. and Maltoni D. Proceedings of the 1st Annual Conference on Robot Learning, PMLR, 2017, vol. 78, Proceedings of Machine Learning Research, pр. 17–26.Progressive Neural Networks / A. A. Rusu, N. C. Rabinowitz, G. Desjardins, H. Soyer, J. Kirkpatrick, K. Kavukcuoglu, R. Pascanu, R. Hadsell. // arXiv preprint arXiv:1606.04671, 2016.Rusu A.A., Rabinowitz N.C., Desjardins G., Soyer H., Kirkpatrick J., Kavukcuoglu K., Pascanu R., and Hadsell R. arXiv preprint, arXiv:1606.04671, 2016.Hayes T. L., Cahill N. D., Kanan C. Memory Efficient Experience Replay for Streaming Learning // arXiv preprint arXiv:1809.05922, 2018.Hayes T.L., Cahill N.D., and Kanan Ch. arXiv preprint, arXiv:1809.05922, 2018.Rebuffi S. A., Kolesnikov A., Sperl G., Lampert C. H. iCaRL: Incremental Classifier and Representation Learning // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii. 2017.Rebuffi S.-a., Kolesnikov A., Sperl G., and Lampert Ch.H. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii, 2017.Hoffer E., Nir A. Deep metric learning using Triplet network // Intern. Workshop on Similarity-Based Pattern Recognition. Springer, Cham, 2015.Hoffer E. and Nir A. International Workshop on Similarity-Based Pattern Recognition, Springer, Cham, 2015.Columbia Object Image Library (COIL-100) / S. A. Nene, S. K. Nayar, H. Murase. // Tech. Report CUCS-006-96. 1996. February.Nene S.A., Nayar S.K., and Murase H. Columbia Object Image Library (COIL-100), Technical Report CUCS-006-96, February 1996.Wu Yuxin. Detectron2, 2019. [Электронный ресурс]: https://github.com/facebookresearch/detectron2.Wu Y. Detectron2, https://github.com/facebookresearch/detectron2, 2019.Pytorch: An Imperative Style, High-Performance Deep Learning Library / A. Paszke, S. Gross, F. Massa et al. // Advancesin Neural Information Processing Systems 32 / Ed.: H. Wallach,H. Larochelle, A. Beygelzimer et al. Curran Associates Inc., 2019. P. 8024—8035.Paszke A., Gross S., Massa F. et al. Advancesin Neural Information Processing Systems 32, Curran Associates, Inc., 2019, pp. 8024–8035.Musgrave K. ., Belongie S., Lim S.-N. Pytorch metric learning // arXiv preprint, arXiv:2008.09164, 2020.Musgrave K., Belongie S., and Lim S.-N. arXiv preprint, arXiv:2008.09164, 2020.

The authors declare that there are no conflicts of interest present.