Теорія марківських випадкових процесів. Марківські випадкові процеси

Теорія масового обслуговування становить один із розділів теорії ймовірностей. У цій теорії розглядаються імовірніснізавдання та математичні моделі(До цього нами розглядалися детерміновані математичні моделі). Нагадаємо, що:

Детермінована математична модельвідображає поведінку об'єкта (системи, процесу) з позицій повної визначеностіу теперішньому та майбутньому.

Ймовірнісна математична модельвраховує вплив випадкових чинників поведінка об'єкта (системи, процесу) і, отже, оцінює майбутнє з позицій ймовірності тих чи інших подій.

Тобто. тут як, наприклад, у теорії ігор задачі розглядаються в умовахневизначеності.

Розглянемо спочатку деякі поняття, які характеризують «стохастичну невизначеність», коли невизначені фактори, що входять до завдання, є випадковими величинами (або випадковими функціями), ймовірнісні характеристики яких або відомі, або можуть бути отримані з досвіду. Таку невизначеність називають ще «сприятливою», «доброякісною».

Поняття випадкового процесу

Строго кажучи, випадкові обурення притаманні будь-якому процесу. Простіше навести приклади випадкового, ніж «невипадкового» процесу. Навіть, наприклад, процес ходу годинника (начебто це сувора вивірена робота – «працює як годинник») схильний до випадкових змін (догляд вперед, відставання, зупинка). Але доки ці обурення несуттєві, мало впливають на цікаві для нас параметри, ми можемо ними знехтувати і розглядати процес як детермінований, невипадковий.

Нехай є деяка система S(Технічне пристрій, група таких пристроїв, технологічна система - верстат, ділянка, цех, підприємство, галузь промисловості тощо). В системі Sпротікає випадковий процесякщо вона з часом змінює свій стан (переходить з одного стану в інший), причому, заздалегідь невідомим випадковим чином.

Приклади: 1. Система S- технологічна система (дільниця верстатів). Верстати іноді виходять з ладу і ремонтуються. Процес, який у цій системі, випадковий.

2. Система S- Літак, що здійснює рейс на заданій висоті за певним маршрутом. Обурювальні чинники – метеоумови, помилки екіпажу тощо, наслідки – «болтанка», порушення графіка польотів тощо.

Марківський випадковий процес

Випадковий процес, що протікає в системі, називається Марківськимякщо для будь-якого моменту часу t 0 ймовірнісні характеристики процесу в майбутньому залежать тільки від його стану в даний момент t 0 і не залежать від того, коли і як система прийшла до цього стану.

Нехай зараз t 0 система знаходиться у певному стані S 0 . Ми знаємо характеристики стану системи в реальному все, що було при t<t 0 (передісторію процесу). Чи можемо передбачити (передбачити) майбутнє, тобто. що буде за t>t 0? В точності - ні, але якісь ймовірнісні характеристики процесу в майбутньому знайти можна. Наприклад, ймовірність того, що через деякий час система Sвиявиться в стані S 1 або залишиться в стані S 0 і т.д.

приклад. Система S- Група літаків, що беруть участь у повітряному бою. Нехай x– кількість «червоних» літаків, y- кількість "синіх" літаків. На момент часу t 0 кількість літаків, що збереглися (не збитих) відповідно – x 0 ,y 0 . Нас цікавить ймовірність того, що в момент часу чисельна перевага буде на боці «червоних». Ця ймовірність залежить від того, в якому стані знаходилася система у момент часу t 0 , а не від того, коли і в якій послідовності гинули збиті до моменту t 0 літаки.

На практиці Марківські процеси в чистому виглядізвичайно зустрічаються. Але є процеси, котрим впливом «передісторії» можна знехтувати. І при вивченні таких процесів можна застосовувати Марківські моделі (теоретично масового обслуговування розглядаються і не Марківські системи масового обслуговування, але математичний апарат, який їх описує, набагато складніше).

У дослідженні операцій велике значеннямають Марківські випадкові процеси з дискретними станами та безперервним часом.

Процес називається процесом із дискретним станом, якщо його можливі стани S 1 ,S 2, … можна заздалегідь визначити, і перехід системи зі стану в стан відбувається «стрибком» практично миттєво.

Процес називається процесом з безперервним часом, якщо моменти можливих переходів зі стану стан не фіксовані заздалегідь, а невизначені, випадкові і можуть статися в будь-який момент.

приклад. Технологічна система (дільниця) Sскладається з двох верстатів, кожен з яких у випадковий моментчасу може вийти з ладу (відмовити), після чого миттєво починається ремонт вузла, що теж триває наперед невідомий, випадковий час. Можливі такі стани системи:

S 0 - обидва верстати справні;

S 1 - перший верстат ремонтується, другий справний;

S 2 - другий верстат ремонтується, перший справний;

S 3 - обидва верстати ремонтуються.

Переходи системи Sзі стану в стан відбуваються практично миттєво, у випадкові моменти виходу з ладу того чи іншого верстата чи закінчення ремонту.

При аналізі випадкових процесів із дискретними станами зручно користуватися геометричною схемою – графом станів. Вершини графа – стану системи. Дуги графа - можливі переходи зі стану в

Рис.1. Граф станів системи

стан. Для прикладу граф станів наведено на рис.1.

Примітка. Перехід із стану S 0 в S 3 малюнку не позначений, т.к. передбачається, що верстати виходять з ладу незалежно один від одного. Імовірністю одночасного виходу з ладу обох верстатів ми нехтуємо.

Еволюція якого після будь-якого заданого значення тимчасового параметра t (\displaystyle t)не залежить від еволюції, що передувала t (\displaystyle t), за умови, що значення процесу в цей момент фіксовано («майбутнє» процесу не залежить від «минулого» за відомого «сьогодення»; інше трактування (Вентцель): «майбутнє» процесу залежить від «минулого» лише через «сьогодення»).

Енциклопедичний YouTube

1 / 3

Лекція 15: Марківські випадкові процеси

Походження марківських ланцюгів

Узагальнена модель марківського процесу

Субтитри

Історія

Визначальне марківський процес властивість прийнято називати марковським; вперше воно було сформульовано А. А. Марковим, який у роботах 1907 р. започаткував вивчення послідовностей залежних випробувань та пов'язаних з ними сум випадкових величин. Цей напрямок досліджень відомий під назвою теорії ланцюгів Маркова.

Основи загальної теорії марківських процесів з безперервним часом були закладені Колмогоровим.

Марківська властивість

Загальний випадок

Нехай (Ω , F , P) (\displaystyle (Omega ,(\mathcal (F)), \mathbb (P)))- ймовірнісний простір з фільтрацією (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\in T))по деякій (частково, упорядкованій) множині T (\displaystyle T); і нехай (S , S) (\displaystyle (S,(\mathcal (S))))- Вимірюване простір. Випадковий процес X = (X t , t ∈ T) (\displaystyle X = (X_(t), \ t\in T)), визначений на фільтрованому імовірнісному просторі, вважається задовільним марківською властивістю, якщо для кожного A ∈ S (\displaystyle A\in (\mathcal (S)))і s , t ∈ T: s< t {\displaystyle s,t\in T:s,

P(Xt∈A|Fs) = P(Xt∈A|Xs).

(\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal(F))_(s))=\mathbb (P) (X_(t)\in A|X_(s)). )Марківський процес марківською властивістю- це випадковий процес, що задовольняє

з природною фільтрацією.

Для марківських ланцюгів із дискретним часом У разі якщо S (\displaystyle S) є дискретною множиною і T = N (\displaystyle T=\mathbb (N) )

, визначення може бути переформульовано:.

P (X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 0 = x 0) = P (X n = x n | X n − 1 = x n − 1) (\displaystyle \mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1),X_(n-2)=x_(n-2),\dots , X_(0)=x_(0))=\mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1)))

Приклад марковського процесу

Розглянемо найпростіший приклад марковського випадкового процесу. По осі абсцис випадково переміщається точка. На момент часу нуль точка знаходиться на початку координат і залишається там протягом однієї секунди. Через секунду кидається монета - якщо випав герб, то точка X переміщається однією одиницю довжини вправо, якщо цифра - вліво. Через секунду знову кидається монета і робиться таке ж випадкове переміщення, і так далі. Процес зміни положення точки («блукання») є випадковим процесом з дискретним часом (t=0, 1, 2, …) і лічильним безліччю станів. Такий випадковий процес називається марковським, оскільки наступне стан точки залежить лише від справжнього (поточного) стану і залежить від минулих станів (неважливо, яким шляхом і який час точка потрапила в поточну координату).

МАРКІВСЬКИЙ ПРОЦЕС Процес без післядії, -випадковий процес , еволюція до-рого після будь-якого заданого значення тимчасового параметра tне залежить від еволюції, що передувала t,

за умови, що значення процесу в цей фіксовано (коротше: "майбутнє" н "минуле" процесу не залежать один від одного за відомого "сьогодення").

Марківська властивість. Є суттєво відрізняються один від одного визначення М. п. Одним з найбільш поширених є таке. Нехай на ймовірнісному просторі заданий випадковий процес зі значеннями вимірного простору де Т -підмножина дійсної осі Нехай N t(відповідно N t).є s-алгебра в породжена величинами X(s). де Іншими словами, N t(відповідно N t) - це сукупність подій, пов'язаних з еволюцією процесу до моменту t (починаючи з t) . Процес X (t). марківським процесом, якщо (майже напевно) для всіх виконується марківська властивість:

або, що те саме, якщо для будь-яких

М. п., для якого Т міститься в безлічі натуральних чисел, зв. Марковим ланцюгом(Втім, останній термін найчастіше асоціюється з випадком не більш ніж лічильного Е) . Якщо є інтервалом в Ені більш ніж рахунково, М. п. зв. ланцюг Маркова з безперервним часом. Приклади М. п. з безперервним часом доставляються дифузійними процесами та процесами з незалежними приростами, у тому числі пуасонівським та вінеровським.

Надалі для визначеності йтиметься лише про випадок Формули (1) і (2) дають ясну інтерпретацію принципу незалежності "минулого" і "майбутнього" за відомого "сьогодення", але засноване на них визначення М. п. виявилося недостатньо гнучким у тих численних ситуаціях, коли доводиться розглядати не одне, а набір умов типу (1) або (2), що відповідають різним, хоч і узгодженим певним чином, заходам такого роду міркування призвели до прийняття наступного визначення (див. , ).

Нехай задані:

а) де s-алгебра містить усі одноточкові множини в Е;

б) вимірюване з сімейством s-алгебр таких, що якщо

в) (" ") x t =xt(w) , визначальна за будь-яких вимірне відображення

г) для кожних і ймовірнісний захід на s-алгебрі такий, що функція вимірна щодо якщо і

Набір зв. (не обривається) марківським процесом, заданим у якщо -майже напевно

які б не були Тут - простір елементарних подій, - фазовий простір або простір станів, Р( s, x, t,)- перехідна функціячи ймовірність переходу процесу X(t) . Якщо надано топологію, а - сукупність борелівських множин у Е,то прийнято говорити, що М. п. заданий у е.Зазвичай визначення М. п. включають вимогу, щоб і тоді тлумачиться як ймовірність за умови, що x s = x.

Виникає питання: чи будь-яку марківську перехідну функцію Р( s, x;t, В), задану у вимірному просторі можна розглядати як перехідну функцію деякого М. п. Відповідь позитивна, якщо, напр., є сепарабельним локально компактним простором, а - сукупністю борелівських множин е.Більше того, нехай Е -повне метрич. простір та нехай

для будь-якого де
а - доповнення e-околиці точки х.Тоді відповідний М. п. можна вважати безперервним праворуч і таким, що має межі зліва (тобто такими можна вибрати його траєкторії). Існування ж безперервного М. п. забезпечується умовою при (див. , ). Теоретично М. п. основна увага приділяється однорідним (за часом) процесам. Відповідне визначення передбачає задану систему об'єктіва) - г) з тією різницею, що для параметрів sі u, що фігурували в її описі, тепер допускається лише значення 0. Спрощуються і позначення:

Далі постулюється однорідність простору W, тобто потрібно, щоб для будь-яких існувало таке що (w) у Завдяки цьому на s-алгебрі N,найменшою з s-алгебр W, що містять будь-яку подію виду задаються оператори тимчасового зсуву q t, які зберігають операції об'єднання, перетину і віднімання множин і для яких брало

Набір зв. (не обривається) однорідним марківським процесом, заданим у якщо -майже напевно

для Перехідною функцією процесу X(t). вважається Р( t, x, В), причому, якщо немає спеціальних застережень, додатково вимагають, щоб Корисно мати на увазі, що при перевірці (4) достатньо розглядати лише множини виду де і що в (4) завжди F tможна замінити s-алгеброю , що дорівнює перетину поповнень F tза всілякими заходами Нерідко фіксують ймовірнісну міру m ("початкове") і розглядають марківську випадкову функцію де - міра на задана рівністю

М. п. зв. прогресивно вимірним, якщо при кожному t>0 функція індукує виміряне де є s-алгебра

борелівських підмножин у . Безперервні праворуч М. п. прогресивно вимірні. Існує спосіб зводити неоднорідний випадок до однорідного (див. ), І надалі йтиметься про однорідні М. п.

Строго.Нехай у вимірному просторі заданий М. п.

Функція зв. марківським моментом,якщо для всіх При цьому відносять до сімейства Ft, якщо при (найчастіше Ft інтерпретують як сукупність подій, пов'язаних з еволюцією X(t). до моменту т). Для вважають

Прогресивно вимірний М. п. X зв. строго марківським процесом (з. м. п.), якщо для будь-якого марківського моменту т і всіх та співвідношення

(Строго марківське властивість) виконується -майже на множині W t . При перевірці (5) достатньо розглядати лише множини виду де в цьому випадку С. м. п. є, напр., будь-який безперервний праворуч феллеровський М. п. в топологічній. просторі е.М. п. зв. феллерівським марківським процесом, якщо функція

безперервна щоразу, коли f безперервна і обмежена.

У класі с. м. п. виділяються ті чи інші підкласи. Нехай марківська Р( t, x, В), задана у метричному локально компактному просторі Е,стохастично безперервна:

для будь-якої околиці U кожної точки Тоді якщо оператори переводять у себе безперервних і звертаються в 0 в нескінченності функцій, то функції Р( t, х, В). відповідає стандартний М. п. X,тобто безперервний праворуч с. м. п., для якого

і - майже напевно на безлічі а - неубутні зі зростанням пмарковські моменти.

Марківський процес, що обривається.Нерідко фізичні. системи доцільно описувати з допомогою М. п., що не обривається, але лише на часовому інтервалі випадкової довжини. Крім того, навіть прості перетворення М. п. можуть призвести до процесу із траєкторіями, заданими на випадковому інтервалі (див. Функціоналвід марковского процесу). Керуючись цими міркуваннями, вводять поняття М. п., що обривається.

Нехай - однорідний М. п. у фазовому просторі, що має перехідну функцію і нехай існують точка та функція такі, що при і в іншому випадку (якщо немає спеціальних застережень, вважають). Нова траєкторія x t(w) задається лише для ) за допомогою рівності a F tвизначається як у множині

Набір де зв. марковським процесом, що обривається (о. м. п.), отриманим з допомогою обриву (або вбивання) в момент z. Розмір z зв. моментом урвища, або часом життя, о. м. п. Фазовим простором нового процесу служить де є слід s-алгебри в е.Перехідна функція о. м. п.- це звуження на безліч Процес X (t). суворо марківським процесом, або стандартним марківським процесом, якщо відповідною властивістю володіє необривний М. п. можна розглядати як о. м. п. з моментом урвища Неоднорідний о. м. п. визначається аналогічним чином. М.

Марківські процеси та .М. п. типу броунівського руху тісно пов'язані з диференціальними рівняннями параболіч. типу. Перехідна р(s, x, t, у).дифузійного процесу задовольняє при деяких додаткових припущеннях зворотному і прямому диференціальним рівнянням Колмогорова:

Функція р( s, x, t, у).є функція Гріна рівнянь (6) - (7), і перші відомі способи побудови дифузійних процесів були засновані на теоремах існування цієї функції для диференціальних рівнянь (6) - (7). Для однорідного часу процесу L( s, x)= L(x).на гладких функціях збігається з характеристич. оператором М. п. (див. Перехідних операторів напівгрупа).

Математич. очікування різних функціоналів від дифузійних процесів служать рішеннями відповідних крайових завдань для диференціального рівняння(1). Нехай – математич. очікування у міру Тоді функція задовольняє при s рівнянню (6) та умові

Аналогічно, функція

задовольняє за s рівнянню

та умовою та 2 ( Т, x) = 0.

Нехай тt - момент першого досягнення кордону дDобласті траєкторією процесу Тоді за нек-рих умов функція

задовольняє рівняння

і приймає значення ср на множині

Розв'язання 1-ї крайової задачі для загального лінійного параболічу. рівняння 2-го порядку

при досить загальних припущеннях може бути записано у вигляді

У разі, коли Lі функції с, fне залежать від s,аналогічне (9) подання можливе і для вирішення лінійного еліптичного. рівняння. Точніше, функція

при деяких припущеннях є завдання

У випадку, коли оператор L вироджується (del b ( s, х) = 0 ).або дDнедостатньо " хороша " , граничні значення можуть і прийматися функціями (9), (10) у окремих точках чи цілих множинах. Поняття регулярної граничної точки для оператора Lмає імовірнісну інтерпретацію. У регулярних точках кордону граничні значення досягаються функціями (9), (10). Розв'язання задач (8), (11) дозволяє вивчати властивості відповідних дифузійних процесів та функціоналів від них.

Існують методи побудови М. п., що не спираються на побудову розв'язків рівнянь (6), (7), напр. метод стохастичних диференціальних рівнянь,абсолютно безперервна заміна міри та ін. Ця обставина разом з формулами (9), (10) дозволяє імовірнісним шляхом будувати та вивчати властивості крайових завдань для рівняння (8), а також властивості розв'язання відповідного еліптичного. рівняння.

Оскільки рішення стохастичного диференціального рівняння нечутливе до виродження матриці b( s, x), тоймовірнісні методи застосовувалися для побудови рішень еліптичних і параболічних диференціальних рівнянь, що вироджуються. Поширення принципу усереднення М. М. Крилова та М. М. Боголюбова на стохастичні диференціальні рівняння дозволило за допомогою (9) отримати відповідні результати для еліптичних та параболічних диференціальних рівнянь. Деякі важкі завдання дослідження властивостей рішень рівнянь такого типу з малим параметром при старшій похідній виявилося можливим вирішити за допомогою ймовірнісних міркувань. Ймовірнісний сенс має рішення 2-ї крайової завдання рівняння (6). Постановка крайових завдань для необмежену ділянку тісно пов'язана з поверненням відповідного дифузійного процесу.

У разі однорідного за часом процесу (L не залежить від s) позитивне рішення рівняння з точністю до мультиплікативної постійної збігається при деяких припущеннях зі стаціонарною щільністю розподілу М. п. Імовірнісні міркування виявляються корисними і при розгляді крайових завдань для нелінійних параболічів. рівнянь. Р. 3. Хасьмінський.

Літ.: Марков А. А., "Ізв. фіз.-мат. об-ва Казан. ун-ту", 1906, т. 15, № 4, с. 135-56; А з h e l i е r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, p. 21-86; Колмогоров А. Н., "Math. Ann.", 1931, Bd 104, S. 415-458; русявий. пер.-"Успіхи матем. наук", 1938, в. 5, с. 5-41; Ч ж у н К а й - лай, Однорідні ланцюги Маркова, пров. з англ., М., 1964; Р е 1 1 е r W., "Ann. Math.", 1954, v. 60, p. 417-36; Динкін ​​Є. Б., Юшк е ч А. А., "Теорія імовір. і її застосун.", 1956, т. 1, ст. 1, с. 149-55; X а н т Дж.-А., Марківські процеси та потенціали, пров. з англ., М., 1962; Д е л а ш е р і К., Ємності та випадкові процеси, пров. з франц., М., 1975; Динкін ​​Є. Ст, Підстави теорії марківських процесів, М., 1959; його ж, Марківські процеси, М., 1963; Г і х ма н І. І., С к о р о х о д А. Ст, Теорія випадкових процесів, т. 2, М., 1973; Фрейдлін М. І., у кн.: Підсумки науки. Теорія імовірності, . - Теоретична. 1966, М., 1967, с. 7-58; X а с ь м і н с к і й Р. 3., "Теорія імовір. і її застосун.", 1963, т. 8, в

(\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal(F))_(s))=\mathbb (P) (X_(t)\in A|X_(s)). )- дискретний або безперервний випадковий процес X(t) , який можна повністю задати за допомогою двох величин: ймовірності P(x,t) того, що випадкова величина x(t) у момент часу t дорівнює x і ймовірності P(x2, t2½x1t1) того що… … Економіко-математичний словник

(\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal(F))_(s))=\mathbb (P) (X_(t)\in A|X_(s)). )- Дискретний або безперервний випадковий процес X(t), який можна повністю задати за допомогою двох величин: ймовірності P(x,t) того, що випадкова величина x(t) у момент часу t дорівнює x та ймовірності P(x2, t2)? x1t1) те, що якщо x при t = t1… … Довідник технічного перекладача

Важливим є спеціальний вид випадкових процесів. Прикладом марковського процесу може бути розпад радіоактивної речовини, де ймовірність розпаду даного атома за малий проміжок часу не залежить від перебігу процесу в попередній період. Великий Енциклопедичний словник - Markovo procesas statusas T sritis automatika atitikmenys: angl. Марківпроцес vok. Markovprozeß, m rus. марківський процес, m; процес Маркова, m pranc. processus markovien, m … Automatikos terminų žodynas

марківський процес- Маркове виксма статуси T sritis fizika atitikmenys: angl. Марків процес; Markovian process vok. Markow Prozeß, m; Markowscher Prozeß, m rus. марківський процес, m; процес Маркова, m pranc. process de Markoff, m; processus marcovien, m; … … Fizikos terminų žodynas

Важливим є спеціальний вид випадкових процесів. Прикладом Марковського процесу може бути розпад радіоактивної речовини, де ймовірність розпаду даного атома за малий проміжок часу не залежить від перебігу процесу в попередній період. Енциклопедичний словник

Важливий спеціальний вид випадкових процесів, що мають велике значення у додатках теорії ймовірностей до різних розділів природознавства та техніки. Прикладом М. п. може бути розпад радіоактивної речовини. Велика Радянська Енциклопедія

Визначне відкриття в галузі математики, зроблене в 1906 р. російським ученим А.А. Марковим.

Припущення про пуасонівський характер потоку заявок і про показовий розподіл часу обслуговування цінні тим, що дозволяють застосувати теоретично масового обслуговування апарат про маркових випадкових процесів.

Процес, що протікає у фізичній системі, називається марківським (або процесом без післядії), якщо для кожного моменту часу ймовірність будь-якого стану системи в майбутньому залежить тільки від стану системи зараз і не залежить від того, яким чином система прийшла до цього стану.

Розглянемо елементарний приклад марковського довільного процесу. По осі абсцис випадково переміщається точка . На момент часу точка знаходиться на початку координат і залишається там протягом однієї секунди. За секунду кидається монета; якщо випав герб - точка переміщається однією одиницю довжини вправо, якщо цифра - вліво. Через секунду знову кидається монета і виробляється таке ж випадкове переміщення, і т. д. Процес зміни положення точки (або, як кажуть, «блукання») є випадковим процесом з дискретним часом і численним станом

Схема можливих переходів цього процесу показано на рис. 19.7.1.

Покажемо, що цей процес – марківський. Дійсно, уявімо собі, що в якийсь момент часу система знаходиться, наприклад, у стані - на одну одиницю правіше за початок координат. Можливі положення точки через одиницю часу будуть і з ймовірностями 1/2 та 1/2; через дві одиниці - , , з ймовірностями 1/4, ½, 1/4 і так далі. Очевидно, всі ці можливості залежать тільки від того, де знаходиться точка в даний момент, і зовсім не залежать від того, як вона прийшла туди.

Розглянемо інший приклад. Є технічний пристрій , що складається з елементів (деталей) типів і , що мають різну довговічність. Ці елементи у випадкові моменти часу незалежно один від одного можуть виходити з ладу. p align="justify"> Справна робота кожного елемента безумовно необхідна для роботи пристрою в цілому. Час безвідмовної роботи елемента – випадкова величина, розподілена за показовим законом; для елементів типу та параметри цього закону різні та рівні відповідно і . У разі відмови пристрою негайно вживаються заходи для виявлення причин та виявлений несправний елемент негайно замінюється новим. Час, потрібний для відновлення (ремонту) пристрою, розподілено за показовим законом з параметром (якщо вийшов з ладу елемент типу) і (якщо вийшов з ладу елемент типу).

В даному прикладі випадковий процес, що протікає в системі, є марківський процес з безперервним часом і кінцевою кількістю станів:

Всі елементи справні, система працює,

Несправний елемент типу, система ремонтується,

Несправний елемент типу, система ремонтується.

Схема можливих переходів дано на рис. 19.7.2.

Дійсно, процес має марківську властивість. Нехай наприклад, в даний момент система перебуває в стані (справна). Оскільки час безвідмовної роботи кожного елемента - показове, то момент відмови кожного елемента у майбутньому залежить від цього, скільки часу він працював (коли поставлено). Тому ймовірність того, що в майбутньому система залишиться в стані або піде з нього, не залежить від передісторії процесу. Припустимо тепер, що у момент система перебуває у стані (несправний елемент типу ). Так як час ремонту теж показовий, ймовірність закінчення ремонту в будь-який час не залежить від того, коли почався ремонт і коли були поставлені інші (справні) елементи. Таким чином, процес є марковським.

Зауважимо, що показовий розподіл часу роботи елемента та показовий розподіл часу ремонту – суттєві умови, без яких процес не був би марківським. Дійсно, припустимо, що час справної роботи елемента розподілено не за показовим законом, а за якимось іншим - наприклад, за законом рівномірної щільності на ділянці . Це означає, кожен елемент з гарантією працює час , але в ділянці від до може вийти з ладу будь-якої миті з однаковою щільністю ймовірності. Припустимо, що в якийсь момент часу елемент працює справно. Очевидно, ймовірність того, що елемент вийде з ладу на якійсь ділянці часу в майбутньому, залежить від того, наскільки давно поставлений елемент, тобто залежить від передісторії і процес не буде марківським.

Аналогічно і з часом ремонту ; якщо воно не показове і елемент у момент ремонтується, то час ремонту, що залишився, залежить від того, коли він почався; процес знову не буде марківським.

Взагалі показовий розподіл грає особливу роль теорії марківських випадкових процесів з безперервним часом. Легко переконатися, що у стаціонарному марківському процесі час, протягом якого система залишається у якомусь стані, розподілено завжди за показовим законом (з параметром, що залежить, взагалі кажучи, від цього стану). Справді, припустимо, що у момент система перебуває у стані і колись перебувала у ньому якийсь час. Згідно з визначенням марківського процесу, ймовірність будь-якої події в майбутньому не залежить від передісторії; зокрема, ймовірність того, що система піде зі стану протягом часу, не повинна залежати від того, скільки часу система вже провела у цьому стані. Отже, час перебування системи може бути розподілено за показовим законом.

У разі, коли процес, що протікає у фізичній системі з лічильним безліччю станів і безперервним часом, є марківським, можна описати цей процес за допомогою звичайних диференціальних рівнянь, у яких невідомими функціями є ймовірність станів. Складання та розв'язання таких рівнянь ми продемонструємо в наступному на прикладі найпростішої системи масового обслуговування.

Випадковим процесом називається безліч або сімейство випадкових величин, значення яких індексуються часовим параметром. Наприклад, кількість студентів в аудиторії, атмосферний тиск або температура цієї аудиторії як функції часу є випадковими процесами.

Випадкові процеси знаходять широке застосування щодо складних стохастичних систем як адекватні математичні моделі процесу функціонування таких систем.

Основними поняттями для випадкових процесів є поняття стану процесуі переходуйого з одного стану до іншого.

Значення змінних, які описують випадковий процес, в даний момент називаються станомвипадковогопроцесу. Випадковий процес здійснює перехід з одного стану в інший, якщо значення змінних, що задають один стан, змінюються значення, які визначають інший стан.

Число можливих станів (простір станів) випадкового процесу може бути кінцевим або нескінченним. Якщо число можливих станів звичайно або рахункове (всім можливим станам можуть бути присвоєні порядкові номери), то випадковий процес називається процесом із дискретними станами. Наприклад, кількість покупців у магазині, кількість клієнтів у банку протягом дня описуються випадковими процесами з дискретними станами.

Якщо змінні, що описують випадковий процес, можуть набувати будь-яких значень з кінцевого або нескінченного безперервного інтервалу, а, значить, кількість станів незліченна, то випадковий процес називається процесом з безперервними станами. Наприклад, температура повітря протягом доби є випадковим процесом із безперервними станами.

Для випадкових процесів з дискретними станами характерні стрибкоподібні переходи з одного стану в інший, тоді як у процесах з безперервними станами переходи є плавними. Далі розглядатимемо лише процеси з дискретними станами, яких часто називають ланцюгами.

Позначимо через g(t) випадковий процес з дискретними станами, а можливі значення g(t), тобто. можливі стани ланцюга - через символи E 0 , E 1 , E 2 , … . Іноді позначення дискретних станів використовують числа 0, 1, 2,... з натурального ряду.

Випадковий процес g(t) називається процесомздискретнимчасом, якщо переходи процесу зі стану до стану можливі лише у суворо визначені, заздалегідь фіксовані моменти часу t 0 , t 1 , t 2 , … . Якщо перехід процесу зі стану на стан можливий у будь-який, заздалегідь невідомий момент часу, то випадковий процес називається процесомз безперервнимчасом. У першому випадку очевидно, що інтервали часу між переходами є детермінованими, а в другому - випадковими величинами.

Процес з дискретним часом має місце або коли структура системи, яка описується цим процесом, така, що її стану можуть змінюватися тільки в заздалегідь визначені моменти часу, або коли передбачається, що для опису процесу (системи) достатньо знати стану в певні моменти часу. Тоді ці моменти можна пронумерувати та говорити про стан E iу момент часу t i .

Випадкові процеси з дискретними станами можуть зображуватися як графа переходів (чи станів), у якому вершини відповідають станам, а орієнтовані дуги - переходам з одного стану до іншого. Якщо зі стану E iможливий перехід лише в один стан E j, то цей факт на графі переходів відбивається дугою, спрямованою з вершини E iу вершину E j(Рис.1, а). Переходи з одного стану в кілька інших станів та з кількох станів в один стан відбивається на графі переходів, як показано на рис.1, б і 1, ст.