priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2024-67-7-574-585pribor-145Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOTS, MECHATRONICS AND ROBOTIC SYSTEMSМодель сухой кисти для робототехнической живописиDry Brush Model for Robotic PaintingКаримовА. И.KarimovA. I.

Артур Искандарович Каримов — канд. техн.наук; кафедра систем автоматизированного проектирования; доцент

Санкт-Петербург

Artur I. Karimov — PhD; Department of Computer-Aided Design Systems; Associate Professor

St. Petersburg

aikarimov@etu.ruСтрельниковМ. Д.StrelnikovM. D.

Максим Дмитриевич Стрельников —  кафедра систем автоматизированного проектирования; техник

Санкт-Петербург

Maksim D. Strelnikov — Department of Computer-Aided Design Systems; Technician

St. Petersburg

maksim_stv@mail.ruМазинС. В.MazinS. V.

Сергей Владимирович Мазин —  кафедра систем автоматизированного проектирования; техник

Санкт-Петербург

Sergey V. Mazin - Department of Computer-Aided Design Systems; Technician

St. Petersburg

sergei1420011@gmail.comГорюновД. С.GoryunovD. S.

Дмитрий Сергеевич Горюнов — кафедра систем автоматизированного проектирования; техник

Санкт-Петербург

Dmitry S. Goryunov - Department of Computer-Aided Design Systems; Technician

St. Petersburg

mindvorg@gmail.comКулагинМ. В.KulaginM. V.

Максим Вадимович Кулагин — кафедра систем автоматизированного проектирования; ассистент

Санкт-Петербург

Maksim V. Kulagin - Department of Computer-Aided Design Systems; AssistantSt. Petersburg

mvkulagin@etu.ruКаримовТ. И.KarimovT. I.

Тимур Искандарович Каримов — канд. техн.наук; кафедра систем автоматизированного проектирования; доцент

Санкт-Петербург

 

Timur I. Karimov — PhD;  Department of Computer-Aided Design Systems; Associate Professor

St. Petersburg

tikarimov@etu.ruСанкт-Петербургский государственный электротехнический университет „ЛЭТИ“ им. В. И. УльяноваSt. Petersburg Electrotechnical University “LETI”202427112024677574585Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/145

Рассматривается одно из направлений компьютерного творчества — робототехническая живопись, объединяющая передовые алгоритмы генерирования изображений с современной мехатроникой. Представлены результаты разработки модели кисти для робота-художника, основанного на коллаборативном роботе Jaka Zu 3. Особое внимание уделяется эффекту сухой кисти — техническому приему, при котором „воздушные“, текстурные мазки наносятся кистью с небольшим количеством краски. Ранее этот прием не использовался в машинной живописи целенаправленно. Описана экспериментальная установка, включающая коллаборативный робот Jaka Zu 3 с кистью, стол, холст, фотоаппарат, а также систему освещения. Введено понятие интегральной плотности мазка, характеризующее количество краски, остающееся на холсте, при исполнении мазка сухой кистью. На основе опытных данных предложена новая математическая модель, позволяющая управлять шириной мазка, оставляемого кистью, и его интегральной плотностью. Полученные результаты могут быть востребованы как при компьютерной имитации живописи, так и в практических реализациях конструкций роботов-художников.

 Robotic painting, which combines advanced image generation algorithms with modern mechatronics, is considered as one of the areas of computer creativity. Results of developing a brush model for a robot artist based on the collaborative robot Jaka Zu 3, are presented. Particular attention is paid to the dry brush effect, a technique in which “airy”, textured strokes are applied with a brush containing a small amount of paint. This technique has not been used in machine painting on purpose before. An experimental setup is described, including a collaborative robot Jaka Zu 3 with a brush, a table, a canvas, a camera, and a lighting system. The concept of integral brushstroke density is introduced, which characterizes the amount of paint remaining on the canvas when a brushstroke is applied with a dry brush. Based on the experimental data, a new mathematical model is proposed that allows one to control the width of brushstrokes and their integral density. The obtained results can be used both in computer imitation of painting and in practical implementations of robot artist designs.

робототехникаробототехническая живописьробот-художниксухая кистьJaka Zu 3roboticsrobotic paintingrobot artistdry brushJaka Zu 3ReferencesOppenlaender J. The creativity of text-to-image generation // Proc. of the 25th Intern. Academic Mindtrek Conf. 2022. P. 192–202. DOI: 10.1145/3569219.3569352.Oppenlaender J. Proceedings of the 25th International Academic Mindtrek Conference, 2022, рр. 192–202, DOI: 10.1145/3569219.3569352.Scalera L., Seriani S., Gasparetto A., Gallina P. A novel robotic system for painting with eyes // Advances in Italian Mechanism Science: Proc. of the 3rd Intern. Conf. of IFToMM Italy 3. 2021. P. 191–199.Scalera L., Seriani S., Gasparetto A., Gallina P. Advances in Italian Mechanism Science: Proceedings of the 3rd International Conference of IFToMM, Italy, 2021, рр. 191–199.Gallina P. Neural network painting defect classification using Karhunen–Loeve transformation // Optics and Lasers in Engineering. 1999. Vol. 32, N 1. P. 29–40.Gallina P. Optics and Lasers in Engineering, 1999, no. 1(32), pp. 29–40.Scalera L., Seriani S., Gasparetto A., Gallina P. Non-photorealistic rendering techniques for artistic robotic painting // Robotics. 2019. Vol. 8, N 1. P. 10.Scalera L., Seriani S., Gasparetto A., Gallina P. Robotics, 2019, no. 1(8), pp. 10.Lindemeier T., Metzner J., Pollak L., Deussen O. Hardware-based nonphotorealistic rendering using a painting robot // Comput. Graph. Forum. 2015. N 34 (2). P. 311–323.Lindemeier T., Metzner J., Pollak L., Deussen O. Comput. Graph. Forum, 2015, no. 2(34), pp. 311–323.Marx D., Vangobot L. K. CloudPainter [Электронный ресурс]: http://www.cloudpainter.com/blog/2016/10/19/doug-marx-and-luke-kellys-vangobot, 08.01.2024.Doug Marx and Luke Kelly’s Vangobot, Cloudpainter, http://www.cloudpainter.com/blog/2016/10/19/doug-marx-and-luke-kellys-vangobot.Winner of the 2018 Robot Art prize. Cloudpainter [Электронный ресурс]: http://www.cloudpainter.com, 08.01.2024.Winner of the 2018 Robot Art prize, Cloudpainter, http://www.cloudpainter.com.https://www.liatgrayver.com/ABOUT/, 08.01.2024.https://www.liatgrayver.com/ABOUT.Grinberg I. et al. Implicit collaboration with a drawing machine through dance movements // Proc. of the 8th ACM Symp. on Computational Fabrication. 2023. P. 1–2. DOI: 10.1145/3623263.3629150.Grinberg I. et al. Proceedings of the 8th ACM Symposium on Computational Fabrication, 2023, рр. 1–2, DOI: 10.1145/3623263.3629150.Lin Y. et al. It is your turn: Collaborative ideation with a co-creative robot through sketch // Proc. of the 2020 CHI Conf. on Human Factors in Computing Systems. 2020. P. 1–14.Lin Y. et al. Proceedings of the 2020 CHI Сonference on human factors in computing systems, 2020, рр. 1–14.Scalera L. et al. Human–robot interaction through eye tracking for artistic drawing // Robotics. 2021. Vol. 10, N 2. P. 54.Scalera L. et al. Robotics, 2021, no. 2(10), pp. 54.Beltramello A. et al. Artistic robotic painting using the palette knife technique // Robotics. 2020. Vol. 9, N 1. P. 15.Beltramello A. et al. Robotics, 2020, no. 1(9), pp. 15.Scalera L. et al. Airbrush robotic painting system: Experimental validation of a colour spray model //Advances in Service and Industrial Robotics: Proc. of the 26th Intern. Conf. on Robotics in Alpe-Adria-Danube Region, RAAD 2017. Springer International Publ., 2018. P. 549–556.Scalera L. et al. Advances in Service and Industrial Robotics: Proceedings of the 26th International Conference on Robotics in Alpe-Adria-Danube Region, RAAD 2017, Springer International Publishing, 2018, рр. 549– 556.Sun Y., Xu Y. A calligraphy robot—Callibot: Design, analysis and applications // IEEE Intern. Conf. on Robotics and Biomimetics (ROBIO), IEEE. 2013. P. 185–190.Sun Y., Xu Y. 2013 IEEE International Conference on Robotics and Biomimetics (ROBIO), IEEE, 2013, рр. 185–190.Scalera L., Seriani S., Gasparetto A., Gallina P. Watercolour Robotic Painting: a Novel Automatic System for Artistic Rendering // Journal of Intelligent & Robotic Systems. 2018. P. 1–16.Scalera L., Seriani S., Gasparetto A., Gallina P. Journal of Intelligent & Robotic Systems, 2018, рр. 1–16.Karimov A. et al. A Robot for Artistic Painting in Authentic Colors // Journal of Intelligent & Robotic Systems. 2023. Vol. 107, N 3. P. 34.Karimov A. et al. Journal of Intelligent & Robotic Systems, 2023, no. 3(107), pp. 34.Karimov A. et al. Advanced tone rendition technique for a painting robot //Robotics and Autonomous Systems. 2019. Vol. 115. P. 17–27.Karimov A. et al. Robotics and Autonomous Systems, 2019, vol. 115, рр. 17–27.Gülzow J. M., Grayver L., Deussen O. Self-improving robotic brushstroke replication // Arts. MDPI. 2018. Vol. 7, N 4. P. 84.Gülzow J.M., Grayver L., Deussen O. Arts, MDPI, 2018, no. 4(7), pp. 84.Zeng K. et al. From image parsing to painterly rendering // ACM Trans. Graph. 2009. Vol. 29, N 1. P. 2:1–2:11.Zeng K. et al. ACM Trans. Graph, 2009, no. 1(29), pp. 2:1–2:11.Chu N. et al. Detail-preserving paint modeling for 3D brushes // Proc. of the 8th Intern. Symp. on Non-Photorealistic Animation and Rendering. 2010. P. 27–34.Chu N. et al. Proceedings of the 8th International Symposium on Non-Photorealistic Animation and Rendering, 2010, рр. 27–34.Guo C. et al. The simulation of the half-dry stroke based on the force feedback technology // 8th Intern. Conf. on Graphic and Image Processing (ICGIP 2016). SPIE, 2017. Vol. 10225. P. 420–426.Guo C. et al. Eighth International Conference on Graphic and Image Processing (ICGIP 2016), SPIE, 2017, vol. 10225, рр. 420–426.Zhao J. et al. An inverse problem for Bingham type fluids //Journal of Computational and Applied Mathematics. 2022. Vol. 404. P. 113906.Zhao J. et al. Journal of Computational and Applied Mathematics, 2022, vol. 404, рр. 113906.Sorbie K. S. Polymer-Improved Oil Recovery. Springer Science & Business Media, 2013.Sorbie K. S. Polymer-improved Oil Recovery, Springer Science & Business Media, 2013.Гусев Ю. И., Карасев И. Н., Кольман-Иванов Э. Э. Конструирование и расчет машин химических производств. М.: Машиностроение, 1985.Gusev Yu.I., Karasev I.N., Kolman-Ivanov E.E. Konstruirovaniye i raschet mashin khimicheskikh proizvodstv (Design and Calculation of Chemical Production Machines), Moscow, 1985. (in Russ.)Eberhard U. et al. Determination of the effective viscosity of non-Newtonian fluids flowing through porous media // Frontiers in Physics. 2019. Vol. 7. P. 71.Eberhard U. et al. Frontiers in Physics, 2019, vol. 7, рр. 71.

The authors declare that there are no conflicts of interest present.