<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">pribor</journal-id><journal-title-group><journal-title xml:lang="ru">Известия высших учебных заведений. Приборостроение</journal-title><trans-title-group xml:lang="en"><trans-title>Journal of Instrument Engineering</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">0021-3454</issn><issn pub-type="epub">2500-0381</issn><publisher><publisher-name>Национальный исследовательский университет ИТМО</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.17586/0021-3454-2024-67-6-500-510</article-id><article-id custom-type="elpub" pub-id-type="custom">pribor-62</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>РОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>ROBOTS, MECHATRONICS AND ROBOTIC SYSTEMS</subject></subj-group></article-categories><title-group><article-title>Mоделирование шаблонов сенсорно-моторных навыков для программирования роботов в задачах контактного манипулирования</article-title><trans-title-group xml:lang="en"><trans-title>Modeling patterns of sensory-motor skills for programming robots in contact manipulation tasks</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Ваддах</surname><given-names>Али</given-names></name><name name-style="western" xml:lang="en"><surname>Waddah</surname><given-names>Ali</given-names></name></name-alternatives><bio xml:lang="ru"><p>Ваддах Али — аспирант, факультет систем управления и робототехники, Международная лаборатория Биомехатроники и энергоэффективной робототехники, инженер </p><p>Санкт-Петербург</p></bio><bio xml:lang="en"><p>Waddah Ali — Post-Graduate Student, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics, Engineer</p><p> St. Petersburg</p></bio><email xlink:type="simple">waddahkh.ali94@gmail.com</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Колюбин</surname><given-names>С. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Kolyubin</surname><given-names>S. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Сергей Алексеевич Колюбин — докт. техн. наук, факультет систем управления и робототехники,Международная лаборатория Биомехатроники и энергоэффективной робототехники, профессор, г.н.с</p><p>Санкт-Петербург</p></bio><bio xml:lang="en"><p>Sergey A. Kolyubin — Dr. Sci.,  Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics, Professor, Chief Researcher</p><p>St. Petersburg</p></bio><email xlink:type="simple">s.kolyubin@itmo.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Университет ИТМО</institution></aff><aff xml:lang="en"><institution>ITMO University</institution></aff></aff-alternatives><pub-date pub-type="collection"><year>2024</year></pub-date><pub-date pub-type="epub"><day>25</day><month>11</month><year>2024</year></pub-date><volume>67</volume><issue>6</issue><fpage>500</fpage><lpage>510</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Национальный исследовательский университет ИТМО, 2024</copyright-statement><copyright-year>2024</copyright-year><copyright-holder xml:lang="ru">Национальный исследовательский университет ИТМО</copyright-holder><copyright-holder xml:lang="en">Национальный исследовательский университет ИТМО</copyright-holder><license xlink:href="https://pribor.ifmo.ru/jour/about/submissions#copyrightNotice" xlink:type="simple"><license-p>https://pribor.ifmo.ru/jour/about/submissions#copyrightNotice</license-p></license></permissions><self-uri xlink:href="https://pribor.ifmo.ru/jour/article/view/62">https://pribor.ifmo.ru/jour/article/view/62</self-uri><abstract><p>Подход к обучению на основе демонстрации привлекает все больше внимания при программировании сенсорно-моторных навыков роботов. В то же время большинство работ сосредоточено на сценариях с управлением по положению, тогда как различные прикладные области и работа в динамической среде требуют безопасного и устойчивого физического взаимодействия, где критически важно оценивать соответствующий профиль силы/момента контакта вдоль траектории. Разработана методика планирования экспериментов и сбора и обработки данных для обучения моделей, кодирующих сенсорно-моторные навыки динамического взаимодействия манипулятора с окружением. Для этих целей комплексируются данные, поступающие от системы оптического захвата движения и силомоментного датчика, измеряемые при выполнении человеком последовательности действий. Рассмотрен пример резки скальпелем различных материалов по заданным траекториям. В качестве генератора эталонного движения используется регрессионная модель на основе смеси гауссиан (GMM/GMR), на вход которой поступают метки времени и материала, а на выходе выводятся предсказанные значения векторов пространственного положения, скоростей и сил и моментов контакта инструмента. Проведено 120 экспериментов с тремя различными материалами (пеноплекс, пробка и ПВХ) — по 40 на каждый материал. Представлены алгоритмы для обработки данных, результаты обучения модели и ее верификации. Для предсказаний скорости и положения инструмента получены значения среднеквадратического отклонения соответственно 7,12 и 10,69 %, а также 14,33 % — для мощности как метрики точности соответствия профиля сил и моментов контакта вдоль движения.</p></abstract><trans-abstract xml:lang="en"><p>Learning from demonstration approach is gaining interest for programming robot sensory-motor skills. At the same time, most of the works are addressing manipulation scenarios with position-based control, while various application domains and work in dynamic environment require safe and stable physical interaction where assessing proper force/torque profile along motion is crucial. This study is aimed at developing experiment planning and data collection and processing procedure for training robot behavior priors for dynamic interaction tasks. We fuse motion capture and force-torque sensory data within robot-out-of-loop setting to train Gaussian Mixture Model/Gaussian Mixture Regression (GMM/GMR) model as a reference motion generator that takes time and material label as inputs and outputs predicted end-effector’s pose, twist, and interaction wrench vectors. For the case-study we considered experiment setting of cutting three different materials like penoplex, cork, and PVC resulting in 120 demonstrations in total (40 for each material). Algorithms for data processing, GMM/GMR model training and verification have been introduced. We achieved RMSEs of 7.12 and 10.69 % for twist and pose predictions respectively and RMSE of 14.33 % for power estimates as a metric to illustrate how accurate twistwrench correspondences have been captured by our model, which is important for interaction tasks.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>обучение на основе демонстрации</kwd><kwd>передача сенсорно-моторных навыков</kwd><kwd>контактная манипуляция</kwd><kwd>захват движения</kwd><kwd>GMM/GMR модели</kwd></kwd-group><kwd-group xml:lang="en"><kwd>learning from demonstration</kwd><kwd>robot skill transfer</kwd><kwd>contact manipulation</kwd><kwd>interaction dynamics</kwd><kwd>motion capture</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Noémie J., Welle M. C., Gams A., Yao K., Fichera B., Billard A., Ude A., Asfour T., and Kragić D. Transfer Learning in Robotics: An Upcoming Breakthrough? A Review of Promises and Challenges // arXiv preprint arXiv:2311.18044. 2023.</mixed-citation><mixed-citation xml:lang="en">Noémie J., Welle M. C., Gams A., Yao K., Fichera B., Billard A., Ude A., Asfour T., and Kragić D. arXiv preprint arXiv:2311.18044, 2023.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Jauhri S., Peters J., and Chalvatzaki G. Robot learning of mobile manipulation with reachability behavior priors // IEEE Robotics and Automation Letters. 2022 Vol. 3, N 7. P. 8399–8406.</mixed-citation><mixed-citation xml:lang="en">Jauhri S., Peters J., and Chalvatzaki G. IEEE Robotics and Automation Letters, 2022, no. 3(7), pp. 8399–8406.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Liu P., Zhang K., Tateo D., Jauhri S., Hu Zh., Peters J., and Chalvatzaki G. Safe reinforcement learning of dynamic high-dimensional robotic tasks: navigation, manipulation, interaction // 2023 IEEE Intern. Conf. on Robotics and Automation (ICRA). IEEE, 2023. P. 9449–9456.</mixed-citation><mixed-citation xml:lang="en">Liu P., Zhang K., Tateo D., Jauhri S., Hu Zh., Peters J., and Chalvatzaki G. 2023 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2023, pр. 9449–9456.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Shek A., Su B. Y., Chen R., and Liu Ch. Learning from physical human feedback: An object-centric one-shot adaptation method // 2023 IEEE Intern. Conf. on Robotics and Automation (ICRA). IEEE, 2023. P. 9910–9916.</mixed-citation><mixed-citation xml:lang="en">Shek A., Su B. Y., Chen R, and Liu Ch. 2023 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2023, pр. 9910–9916.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Zhao J., Giammarino A., Lamon E., Gandarias J., De Momi E., and Ajoudani A. A hybrid learning and optimization framework to achieve physically interactive tasks with mobile manipulators // IEEE Robotics and Automation Letters. 2022. N 7. Р. 1–8.</mixed-citation><mixed-citation xml:lang="en">Zhao J., Giammarino A., Lamon E., Gandarias J., De Momi E., and Ajoudani A. IEEE Robotics and Automation Letters, 2022, no. 7, pp. 1–8.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Calinon S. A tutorial on task-parameterized movement learning and retrieval // Intelligent service robotics. 2016. N 9. P. 1–29.</mixed-citation><mixed-citation xml:lang="en">Calinon S. Intelligent service robotics, 2016, no. 9, pp. 1–29.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Fabisch A. gmr: Gaussian mixture regression // J. of Open Source Software. 2021. Vol. 62, N 6. P. 3054.</mixed-citation><mixed-citation xml:lang="en">Fabisch A. Journal of Open Source Software, 2021, no. 6 (62), pp. 3054.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Sung H. G. Gaussian mixture regression and classification. Rice University, 2004.</mixed-citation><mixed-citation xml:lang="en">Sung H. G. Gaussian mixture regression and classification, Rice University, 2004.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
