priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2024-67-8-657-669pribor-44Research ArticleСИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИSYSTEM ANALYSIS, MANAGEMENT AND INFORMATION PROCESSINGАналитический подход к исследованию неоднородных марковских цепей с кусочно-постоянными изменениями переходных вероятностейAnalytical Approach to the Study of Heterogeneous Markov Chains with Piecewise Constant Changes in Transition ProbabilitiesЗемсковА. В.ZemskovA. V.

Алексей Викторович Земсков – докт. техн. наук, профессор; кафедра математического моделирования и прикладной информатики; профессор кафедры

198035, Санкт-Петербург

Alexey V. Zemskov – Dr. Sci., Professor; Department of Mathematical Simulation and Applied Informatics; Professor

St. Petersburg

aleksei.zemskov@yandex.ruГосударственный университет морского и речного флота имени адмирала С. О. МакароваAdmiral Makarov State University of Maritime and Inland Shipping202425112024678657669Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/44

Предложен аналитический подход к исследованию счетных неоднородных марковских цепей на основе z-преобразования. На примере двух вариантов исходных данных для переходных вероятностей марковской цепи показано, что оценки стационарного режима могут существенно искажать представление о поведении системы. Описаны аналитические процедуры получения функций вероятностей при вещественных и комплексно-сопряженных собственных значениях матрицы переходных вероятностей, если ее элементы меняются скачкообразно. Приведены оценки для границ наступления установившегося режима в тактовом времени. Основные выкладки проиллюстрированы оценкой характеристик марковских цепей с учетом влияния переходной динамики при изменении вероятностей состояний и кусочно-постоянном изменении переходных вероятностей на интервале функционирования в тактовом времени.

An analytical approach to the study of countable non-homogeneous Markov chains based on the z-transformation is proposed. Using two variants of the initial data for the transition probabilities of a Markov chain as an example, it is shown that estimates of the steady-state mode can significantly distort the understanding of the system behavior. Analytical procedures for obtaining probability functions for real and complex-conjugate eigenvalues of the transition probability matrix are described for the case when its elements change abruptly. Estimates are given for the boundaries of the onset of a steady-state mode in the clock time. The main calculations are illustrated by an assessment of the characteristics of Markov chains taking into account the influence of transition dynamics under variance of the state probabilities and the piecewise constant change in transition probabilities over the operating interval in clock time.

марковская цепьоператор «вход–выход» в z-формесобственные значениякусочно-постоянное изменение переходных вероятностейфункция вероятности состоянияMarkov chainz-form input-output operatoreigenvaluespiecewise constant change in transition probabilitiesstate probability functionReferencesТихонов В. И., Миронов М. А. Марковские процессы. М.: Сов. радио, 1977. 485 с.Tikhonov V.I., Mironov M.A. Markovskiye protsessy (Markov Processes), Moscow, 1977, 485 р. (in Russ.)Вентцель Е. С. Исследование операций: задачи, принципы, методология. М.: КноРус, 2010. 190 с.Ventzel E.S. Issledovaniye operatsiy: zadachi, printsipy, metodologiya (Operations Research: Objectives, Principles, Methodology), Moscow, 2010, 190 р. (in Russ.)Нуммелин Э. Общие неприводимые цепи Маркова и неотрицательные операторы. М.: Мир, 1989. 208 с.Nummelin E. General Irreducible Markov Chains and Non-Negative Operators, Cambridge etc., 1984, 156 p.Фурман Я. А., Юрьев А. Н., Яншин В. В. Цифровые методы обработки и распознавания бинарных изображений. Красноярск: Изд-во Краснояр. ун-та, 1992. 245 с.Furman Ya.A., Yuryev A.N., Yanshin V.V. Tsifrovyye metody obrabotki i raspoznavaniya binarnykh izobrazheniy (Digital Methods of Processing and Recognition of Binary Images), Krasnoyarsk, 1992, 245 р. (in Russ.)Земсков А. В. Аналитический подход к выборочному поиску функций вероятностей состояний в марковских цепях // Изв. вузов. Приборостроение. 2023. Т. 66, № 12. С. 1035–1049. DOI: 10.17586/0021-3454-2023-66-12-1035-1049.Zemskov A.V. Journal of Instrument Engineering, 2023, no. 12(66), pp. 1035–1049, DOI: 10.17586/0021-3454-2023-66-12-1035-1049.Вытовтов К. А., Барабанова Е. А. Аналитический метод анализа неоднородных непрерывных марковских процессов с кусочно-постоянными интенсивностями перехода // Автоматика и телемеханика. 2021. № 12. С. 91–104. DOI: 10.31857/S0005231021120060.Vytovtov K.A. and Barabanova E.A. Automation and Remote Control, 2021, no. 12, рр. 2112–2124, DOI: 10.31857/S0005231021120060.Harrison P. G. Transient Behaviour of Queueing Networks // J. Appl. Prob. 1981. Vol. 18, N 2. P. 482–490.Harrison P.G. J. Appl. Prob., 1981, no. 2(18), pp. 482–490.Dudin A. N., Karolik A. V. BMAP/SM/1 Queue with Markovian Input of Disasters and Non-instantaneous Recovery // Performance Evaluat. 2001. Vol. 45, N 1. P. 19–32.Dudin A.N., Karolik A.V. Performance Evaluat., 2001, no. 1(45), pp. 19–32.Dharmaraja S., Kumar R. Transient solution of a Markovian queuing model with heterogeneous servers and catastrophes // OPSEARCH. 2015. Vol. 52, N 4. P. 810–826.Dharmaraja S., Rakesh Kumar, OPSEARCH, 2015, no. 4(52), pp. 810–826.Kumar B. Krishna, Madheshwari S. Pavai, Venkatakrishanan K. S. Transient solution of an M/M/2 queue with heterogeneous servers subject to catastrophes // Intern. J. Inform. Management Sci. 2017. Vol. 18, N 1. P. 63–80.Kumar B. Krishna, Madheshwari S. Pavai, Venkatakrishanan K.S. Int. J. Inform. Management Sci., 2017, no. 1(18), pp. 63–80.Clarke A. B. The time-dependent waiting line problem. Umv Michigan Rept. M720-1RS9. 1953.Clarke A.B. The time-dependent waiting line problem, Umv Michigan Rept M720-1RS9, 1953.Clarke A. B. On time-dependent waiting line processes // Ann. Math. Statist. 1953. Vol. 24. P. 491–492.Clarke A.B. Ann. Math. Statist., 1953, vol. 24, рр. 491–492.Коган Я. А., Литвин В. Г. К вычислению характеристик систем массового обслуживания с конечным буфером, работающей в случайной среде // Автоматика и телемеханика. 1976. № 12. С. 49–57.Kogan B.Ya., Menn A.A. Automation and Remote Control, 1976, no. 12, pp. 1908–1919.Дудин А. Н. Об обслуживающей системе с переменным режимом работы // Автоматика и вычислительная техника. 1985. № 2. С. 27–29.Dudin A.N. Automatic Control and Computer Sciences, 1985, no. 2, pp. 27–29. (in Russ.)Головко Н. И., Каретник В. О., Пелешок О. В. СМО с бесконечным накопителем и скачкообразной интенсивностью входного потока // Автоматика и вычислительная техника. 2009. № 10. С. 75–96.Golovko N.I., Karetnik V.O., Peleshok O.V. Automatic Control and Computer Sciences, 2009, no. 10, pp. 75–96. (in Russ.)Бондрова О. В., Крылова Д. С., Головко Н. И., Жук Т. А. Вывод уравнений для систем массового обслуживания с бесконечным накопителем и скачкообразной интенсивностью входного потока // Вестник ВГУ: Серия: физика, математика. 2015. № 4. С. 89–100.Bondrova O.V., Krylova D.S., Golovko N.I., Zhuk T.A. Proceedings of Voronezh State University. Series: Physics. Mathematics, 2015, no. 4, pp. 89–100. (in Russ.)Миллер А. Б., Миллер Б. М., Степанян К. В. Одновременное импульсное и непрерывное управление марковской цепью в непрерывном времени // Автоматика и телемеханика. 2020. № 3. С. 114–131. DOI: 10.31857/S0005231020030071.Miller A.B., Miller B.M., Stepanyan K.V. Automation and Remote Control, 2020, no. 3, pp. 469–482, DOI: 10.31857/S0005231020030071.

The authors declare that there are no conflicts of interest present.