Teorie Markovových náhodných procesů. Markovovy náhodné procesy

Teorie řazení do front je jedním z oborů teorie pravděpodobnosti. Tato teorie uvažuje pravděpodobnostníúkoly a matematické modely(předtím jsme uvažovali o deterministických matematických modelech). Připomeňme, že:

Deterministický matematický model odráží chování objektu (systému, procesu) z perspektivy plnou jistotu v současnosti i budoucnosti.

Pravděpodobnostní matematický model zohledňuje vliv náhodných faktorů na chování objektu (systému, procesu), a proto hodnotí budoucnost z hlediska pravděpodobnosti určitých událostí.

Tito. zde, jako například v teorii her, se uvažuje o problémech v podmínkáchnejistota.

Podívejme se nejprve na některé koncepty, které charakterizují „stochastickou nejistotu“, kdy nejisté faktory zahrnuté v problému jsou náhodné proměnné (nebo náhodné funkce), jejichž pravděpodobnostní charakteristiky jsou buď známé, nebo je lze získat ze zkušenosti. Taková nejistota se také nazývá „příznivá“, „benigní“.

Koncept náhodného procesu

Přísně vzato, náhodné poruchy jsou vlastní každému procesu. Je snazší uvést příklady náhodného procesu než „nenáhodného“ procesu. I například proces chodu hodin (zdá se, že jde o přísně kalibrovanou práci - „funguje jako hodiny“) podléhá náhodným změnám (pohyb vpřed, zaostávání, zastavení). Ale dokud jsou tyto poruchy nevýznamné a mají malý vliv na parametry, které nás zajímají, můžeme je zanedbat a považovat proces za deterministický, nenáhodný.

Ať existuje nějaký systém S(technické zařízení, skupina takových zařízení, technologický systém - stroj, areál, dílna, podnik, průmysl atd.). V systému Súniky náhodný proces, pokud v průběhu času mění svůj stav (přechází z jednoho stavu do druhého), navíc dříve neznámým náhodným způsobem.

Příklady: 1. Systém S– technologický systém (strojní část). Stroje se čas od času porouchají a jsou opraveny. Proces probíhající v tomto systému je náhodný.

2. Systém S- letadlo letící v dané výšce po určité trase. Rušivé faktory - povětrnostní podmínky, chyby posádky atd., následky - hrbolatost, porušení letového řádu atd.

Markov náhodný proces

Náhodný proces vyskytující se v systému se nazývá Markovský, pokud na jakoukoli chvíli t 0 pravděpodobnostních charakteristik procesu v budoucnosti závisí pouze na jeho aktuálním stavu t 0 a nezávisí na tom, kdy a jak systém tohoto stavu dosáhl.

Nechť je systém v určitém stavu v okamžiku t 0 S 0 Známe charakteristiky stavu systému v současnosti, vše, co se kdy stalo t<t 0 (historie procesu). Dokážeme předpovědět (předpovědět) budoucnost, tzn. co se stane kdy t>t 0? Ne přesně, ale některé pravděpodobnostní charakteristiky procesu lze nalézt v budoucnu. Například pravděpodobnost, že po nějaké době systém S bude schopen S 1 nebo zůstane ve stavu S 0, atd.

Příklad. Systém S- skupina letadel účastnících se vzdušného boje. Nechat X– počet „červených“ letadel, y– počet „modrých“ letadel. Mezitím t 0 počet přeživších (nesestřelených) letadel, resp. X 0 ,y 0 Zajímá nás pravděpodobnost, že v daném okamžiku bude početní převaha na straně „rudých“. Tato pravděpodobnost závisí na tom, v jakém stavu se systém v té době nacházel t 0, a ne o tom, kdy a v jakém pořadí ti sestřelení zemřeli až do okamžiku t 0 letadel.

V praxi Markov zpracovává v čistá forma obvykle nenalezen. Existují však procesy, u kterých lze vliv „pravěku“ zanedbat. A při studiu takových procesů lze použít Markovovy modely (teorie řazení neuvažuje Markovovy systémy řazení do fronty, ale matematický aparát, který je popisuje, je mnohem složitější).

V operačním výzkumu velká důležitost mají Markovovy náhodné procesy s diskrétními stavy a spojitým časem.

Proces se nazývá proces diskrétního stavu, pokud jsou její možné stavy S 1 ,S 2, ... lze určit předem a přechod systému ze stavu do stavu nastává „skokem“ téměř okamžitě.

Proces se nazývá nepřetržitý časový proces, pokud okamžiky možných přechodů ze stavu do stavu nejsou předem pevně dané, ale jsou nejisté, náhodné a mohou nastat v každém okamžiku.

Příklad. Technologický systém (sekce) S sestává ze dvou strojů, z nichž každý je náhodný okamžikčas může selhat (fail), po kterém okamžitě začne oprava jednotky, rovněž pokračující neznámou, náhodnou dobu. Jsou možné následující stavy systému:

S 0 - oba stroje fungují;

S 1 - první stroj se opravuje, druhý pracuje;

S 2 - druhý stroj se opravuje, první funguje;

S 3 - oba stroje jsou v opravě.

Systémové přechody S ze stavu do stavu nastávají téměř okamžitě, v náhodných okamžicích, kdy konkrétní stroj selže nebo je dokončena oprava.

Při analýze náhodných procesů s diskrétními stavy je vhodné použít geometrické schéma - stavový graf. Vrcholy grafu jsou stavy systému. Oblouky grafu – možné přechody ze stavu do

Obr. 1. Graf stavu systému

Stát. Pro náš příklad je graf stavu na obr. 1.

Poznámka. Přechod ze stavu S 0 palců S 3 není na obrázku vyznačena, protože předpokládá se, že stroje selžou nezávisle na sobě. Zanedbáváme možnost současného selhání obou strojů.

Vývoj, který po jakékoli dané hodnotě parametru času t (\displaystyle t) nezávisí na vývoji, který předcházel t (\displaystyle t) za předpokladu, že hodnota procesu je v tuto chvíli pevná („budoucnost“ procesu nezávisí na „minulosti“ se známou „současností“; jiný výklad (Wentzel): „budoucnost“ procesu závisí na na „minulost“ pouze prostřednictvím „současnosti“).

Encyklopedický YouTube

1 / 3

Přednáška 15: Markovovy náhodné procesy

Původ Markovových řetězů

Zobecněný Markovův procesní model

titulky

Příběh

Vlastnost, která definuje Markovův proces, se obvykle nazývá markovovský; poprvé jej formuloval A. A. Markov, který v dílech z roku 1907 inicioval studium sekvencí závislých testů a součtů s nimi spojených náhodné proměnné. Tato linie výzkumu je známá jako teorie Markovova řetězce.

Základy obecné teorie spojitých Markovových procesů položil Kolmogorov.

Majetek Markov

Obecný případ

Nechat (Ω , F , P) (\displaystyle (\Omega ,(\mathcal (F)),\mathbb (P)))- pravděpodobnostní prostor s filtrací (F t, t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\in T)) nad nějakou (částečně objednanou) sadou T (\displaystyle T); nech to být (S , S) (\displaystyle (S,(\mathcal (S))))- měřitelný prostor. Náhodný proces X = (Xt, t ∈ T) (\displaystyle X=(X_(t),\ t\in T)), definovaný na filtrovaném pravděpodobnostním prostoru, se považuje za vyhovující Majetek Markov, pokud pro každého A ∈ S (\displaystyle A\in (\mathcal (S))) A s , t ∈ T: s< t {\displaystyle s,t\in T:s,

P (X t ∈ A | F s) = P (X t ∈ A | X s) . (\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal (F))_(s))=\mathbb (P) (X_(t)\in A|X_(s)). )

Markovský proces je náhodný proces, který uspokojuje Majetek Markov s přirozenou filtrací.

Pro Markovovy řetězy s diskrétním časem

Li S (\displaystyle S) je diskrétní sada a T = N (\displaystyle T=\mathbb (N) ), lze definici přeformulovat:

P (X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2, … , X 0 = x 0) = P (X n = x n | X n − 1 = x n − 1) (\displaystyle \mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1),X_(n-2)=x_(n-2),\tečky , X_(0)=x_(0))=\mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1))).

Příklad Markovova procesu

Uvažujme jednoduchý příklad Markovova náhodného procesu. Bod se náhodně pohybuje podél osy úsečky. V čase nula je bod v počátku a zůstává tam jednu sekundu. Po vteřině je hozena mince - pokud je erb upuštěn, pak se bod X posune o jednotku délky doprava, pokud číslo - doleva. O sekundu později se mincí hodí znovu a provede se stejný náhodný pohyb a tak dále. Proces změny polohy bodu („chůze“) je náhodný proces s diskrétním časem (t=0, 1, 2, ...) a spočetnou množinou stavů. Takový náhodný proces se nazývá Markov, protože další stav bodu závisí pouze na současném (aktuálním) stavu a nezávisí na minulých stavech (nezáleží na tom, kudy a za jakou dobu se bod dostal na aktuální souřadnici) .

MARKOVSKÝ PROCES

Proces bez následků - náhodný proces, jehož vývoj po jakékoli dané hodnotě časového parametru t nezávisí na vývoji, který mu předcházel t, za předpokladu, že hodnota procesu v tomto je pevná (ve zkratce: „budoucnost“ a „minulost“ procesu na sobě nezávisí se známou „současností“).

Vlastnost, která definuje magnetické pole, se obvykle nazývá markovian; poprvé ji formuloval A. A. Markov. Již v díle L. Bacheliera lze však rozeznat pokus interpretovat Brownian jako magnetické pole, pokus, který získal opodstatnění po výzkumu N. Wienera (N. Wiener, 1923). Základy obecné teorie spojitých magnetických procesů položil A. N. Kolmogorov.

Majetek Markov. Existují definice M., které se od sebe výrazně liší Jedna z nejběžnějších je následující. Nechť je náhodný proces s hodnotami z měřitelného prostoru dán na pravděpodobnostním prostoru kde T - podmnožina reálné osy Let Nt(respektive Nt).existuje s-algebra v generované veličinami X(s).at Kde Jinými slovy, Nt(respektive Nt) je soubor událostí souvisejících s vývojem procesu až do okamžiku t (počínaje t) . Zavolá se proces X(t). Markovův proces, pokud (téměř jistě) Markovova vlastnost platí pro všechny:

nebo, co je stejné, pokud pro nějaké

M. p., pro které je T obsaženo v množině přirozených čísel, tzv. Markovský řetěz(poslední termín je však nejčastěji spojován s případem nejvýše počitatelného E) . Je-li interval ve více než spočetných, nazývá se M.. nepřetržitý čas Markovův řetězec. Příklady kontinuálních magnetických procesů poskytují difúzní procesy a procesy s nezávislými přírůstky, včetně Poissonových a Wienerových procesů.

V následujícím budeme pro jistotu mluvit pouze o případu Vzorce (1) a (2) poskytují jasnou interpretaci principu nezávislosti „minulosti“ a „budoucnosti“ vzhledem ke známé „současnosti“, ale definice M. na nich založená se ukázala jako nedostatečně flexibilní v těch četných situací, kdy je třeba uvažovat nikoli jednu, ale soubor podmínek typu (1) nebo (2), odpovídajících různým, byť určitým způsobem dohodnutým opatřením. Úvahy tohoto druhu vedly k přijetí tzv. následující definice (viz,).

Nechť je dáno následující:

a) kde s-algebra obsahuje všechny jednobodové množiny v E;

b) měřitelné vybavené rodinou s-algeber tak, že pokud

V) (" ") x t = xt(w) , definování pro jakékoli měřitelné mapování

d) pro každý a pravděpodobnostní míra na s-algebře taková, že funkce měřitelné vzhledem k if a

Sada jmen (neukončující) Markovův proces definovaný v if -téměř jistě

cokoliv zde může být - prostor elementárních událostí, - fázový prostor nebo stavový prostor, P( s, x, t, V)- přechodová funkce nebo pravděpodobnost přechodu procesu X(t) . Pokud je E vybaveno topologií a je sbírkou Borelových sad E, pak je zvykem říkat, že se M. p. dává v E. Definice M. p. obvykle zahrnuje požadavek, aby a poté byl interpretován jako pravděpodobnost, za předpokladu, že x s = x.

Nabízí se otázka: je každá Markovova přechodová funkce P( s, x;t, V), daný v měřitelném prostoru lze považovat za přechodovou funkci určitého M. prostoru. Odpověď je kladná, pokud je např. E oddělitelný lokálně kompaktní prostor, a je sbírkou Borelových množin v E. Navíc, nech E - plná metrika prostor a nechat

pro kohokoli kde
a je doplněk elektronického sousedství bodu X. Potom lze odpovídající magnetické pole považovat za spojité napravo a s limity nalevo (to znamená, že jeho trajektorie mohou být zvoleny jako takové). Existence spojitého magnetického pole je zajištěna podmínkou at (viz, ). V teorii mechanických procesů je hlavní pozornost věnována procesům, které jsou homogenní (v čase). Odpovídající definice předpokládá daný systém objektů a) - d) s tím rozdílem, že pro parametry s a u, které se objevily v jeho popisu, je nyní povolena pouze hodnota 0. Zápis je také zjednodušen:

Dále je postulována homogenita prostoru W, tj. je požadováno, aby pro jakýkoli něco takového tu bylo (w) pro Vzhledem k tomu na s-algebře N, nejmenší s-algebra ve W obsahující libovolnou událost tvaru jsou specifikovány operátory časového posunu q t, které zachovávají operace sjednocení, průniku a odčítání množin a pro které

Sada jmen (neukončující) homogenní Markovův proces definovaný v if -téměř jistě

pro přechodovou funkci procesu X(t).se považuje P( t, x, V), a pokud neexistují zvláštní výhrady, navíc vyžadují, aby Je užitečné mít na paměti, že při kontrole (4) stačí uvažovat pouze sady formuláře, kde a to v (4) vždy Ft lze nahradit s-algebrou rovnou průsečíku dokončení Ft pro všechny možné míry. Často je pravděpodobnostní míra m ("počáteční") fixní a je uvažována Markovova náhodná funkce kde je míra daná rovností

volal M. p. progresivně měřitelné, pokud pro každé t>0 funkce indukuje měřitelné v kde je s-algebra

Borel podmnožiny v . Pravé kontinuální MP jsou progresivně měřitelné. Existuje způsob, jak zredukovat heterogenní případ na homogenní (viz), a dále budeme hovořit o homogenních poslancích.

Přísně. Nechť je m dán měřitelný prostor.

Funkce je volána Markov moment, Li pro všechny V tomto případě patří do rodiny F t if at (nejčastěji je F t interpretován jako soubor událostí spojených s vývojem X(t) až do okamžiku t). Pro věřit

Progresivně měřitelné M. p. Xnaz. přísně Markovův proces (s.m.p.), pokud pro nějaký Markovův moment m a vše a poměr

(přísně Markovova vlastnost) platí téměř jistě na množině W t . Při kontrole (5) stačí uvažovat pouze sady formuláře kde v tomto případě je S. m. prostorem například jakýkoli pravý spojitý Fellerův M. prostor v topologii. prostor E. volal M. p. Feller Markov proces, pokud funkce

je spojitá, kdykoli je f spojitá a ohraničená.

Ve třídě s. m.p. jsou rozlišovány určité podtřídy. Nechte markovské P( t, x, V), definované v metrickém lokálně kompaktním prostoru E, stochasticky spojitý:

pro libovolné okolí U každého bodu. Pak pokud operátory vezmou do sebe funkce, které jsou spojité a zmizí v nekonečnu, pak funkce P( t, x, V) splňuje normu M. p. X, tj. průběžné vpravo s. t.t., pro který

A - téměř pravděpodobně na mnoha a jsou pmarkovské momenty, které s růstem neklesají.

Ukončení Markovova procesu.Často fyzické Systémy je vhodné popsat pomocí neukončujícího magnetického pole, ale pouze na časovém intervalu náhodné délky. Navíc i jednoduché transformace magnetických procesů mohou vést k procesu s trajektoriemi specifikovanými na náhodném intervalu (viz. Funkční z Markovova procesu). Na základě těchto úvah je představen koncept zlomeného MP.

Nechť je homogenní M.P. ve fázovém prostoru s přechodovou funkcí a nechť existuje bod a funkce takové, že pokud a jinak (pokud neexistují žádné zvláštní doložky, zvažte ). Nová trajektorie x t(w) je uvedeno pouze pro ) pomocí rovnosti A Ft definované jako v sadě

Nastavte kde volal ukončujícím Markovovým procesem (o.m.p.), získaným z ukončením (nebo zabitím) v čase z. Zavolá se hodnota z okamžik zlomu, nebo doba života, o. Fázový prostor nového procesu je tam, kde je stopa s-algebry E. Přechodová funkce o. t.t. je omezení na sadu Zavolá se proces X(t). přísně Markovův proces nebo standardní Markovův proces, pokud má odpovídající vlastnost.Nekoncový MP lze považovat za o. s okamžikem zlomu Heterogenní o. t.t. se stanoví podobným způsobem. M.

Markovovy procesy a . MPs typu Brownova pohybu úzce souvisí s parabolickými diferenciálními rovnicemi. typ. Přechod p(s, x, t, y) difúzního procesu splňuje za určitých dodatečných předpokladů inverzní a přímé diferenciální rovnice Kolmogorova:

Funkce p( s, x, t, y).je Greenova funkce rovnic (6) - (7) a první známé metody pro konstrukci difúzních procesů byly založeny na větách o existenci této funkce pro diferenciální rovnice (6) - (7). Pro časově rovnoměrný proces L( s, x)= L(x).na hladkých funkcích se shoduje s charakteristikou. operátor M. p. (viz Pologrupa přechodového operátora).

Matematika. očekávání různých funkcionálů od difúzních procesů slouží jako řešení odpovídajících okrajových úloh pro diferenciální rovnice(1). Nechat - matematické. očekávání při měření Potom funkce splňuje při s rovnice (6) a podmínka

Stejně tak funkce

vyhovuje s s rovnice

a stav a 2 ( T, x) = 0.

Nechť tt je okamžik prvního dosažení hranice dD kraj trajektorie procesu Pak za určitých podmínek funkce

splňuje rovnici

a nabývá hodnot cp na sadě

Řešení 1. okrajové úlohy pro obecnou lineární paraboliku. Rovnice 2. řádu

za dosti obecných předpokladů lze zapsat ve formě

V případě, že L a funguje s, f nezávisí na s, Pro řešení lineární eliptiky je také možné zobrazení podobné (9). rovnic Přesněji řečeno funkce

za určitých předpokladů existují problémy

V případě, kdy operátor L degeneruje (del b( s, x) = 0 ).nebo dD není dostatečně „dobrý“; hraniční hodnoty nemusí být akceptovány funkcemi (9), (10) v jednotlivých bodech nebo na celých množinách. Koncept pravidelného hraničního bodu pro operátora L má pravděpodobnostní výklad. V pravidelných bodech hranice jsou hraniční hodnoty dosahovány funkcemi (9), (10). Řešení úloh (8), (11) nám umožňuje studovat vlastnosti příslušných difúzních procesů a jejich funkcionality.

Existují metody pro konstrukci MP, které se nespoléhají například na konstrukci řešení rovnic (6), (7). metoda stochastické diferenciální rovnice, naprosto plynulá změna míry atd. Tato okolnost spolu se vzorci (9), (10) nám umožňuje pravděpodobnostně konstruovat a studovat vlastnosti okrajových úloh pro rovnici (8), jakož i vlastnosti řešení odpovídající eliptické. rovnic

Protože řešení stochastické diferenciální rovnice je necitlivé na degeneraci matice b( s, x), Že pravděpodobnostní metody byly použity ke konstrukci řešení degenerovaných eliptických a parabolických diferenciálních rovnic. Rozšíření principu průměrování N. M. Krylova a N. N. Bogolyubova na stochastické diferenciální rovnice umožnilo pomocí (9) získat odpovídající výsledky pro eliptické a parabolické diferenciální rovnice. Ukázalo se, že určité obtížné problémy studia vlastností řešení rovnic tohoto typu s malým parametrem při nejvyšší derivaci je možné řešit pomocí pravděpodobnostních úvah. Pravděpodobnostní význam má i řešení 2. okrajové úlohy pro rovnici (6). Formulace okrajových úloh pro neomezenou doménu úzce souvisí s opakováním odpovídajícího difúzního procesu.

V případě časově homogenního procesu (L nezávisí na s) se kladné řešení rovnice až do multiplikativní konstanty shoduje za určitých předpokladů se stacionární distribuční hustotou MP.. Pravděpodobnostní úvahy se také ukazují jako být užitečné při zvažování okrajových úloh pro nelineární paraboliku. rovnic. R. 3. Chasminskij.

Lit.: Markov A. A., "Izvestija. Fyzikálně-matematická společnost Kazaňské univerzity", 1906, sv. 15, č. 4, s. 135-56; V a s h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, str. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Překlad - "Uspekhi Matematicheskikh Nauk", 1938, století. 5, str. 5-41; Zhun Kai-lai, Homogenní Markovovy řetězce, přel. z angličtiny, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, str. 417-36; Dynkin E.B., Yushkevich A.A., „Teorie pravděpodobnosti a její aplikace“, 1956, svazek 1, století. 1, str. 149-55; Xant J.-A., Markovovy procesy a potenciály, přel. z angličtiny, M., 1962; D e l l a s h e r i K., Kapacity a náhodné procesy, přel. z francouzštiny, M., 1975; Dynk a E.V., Základy teorie Markovových procesů, M., 1959; něm, Markov Processes, M., 1963; G a h man I. I., S k o r o x o d A. V., Teorie náhodných procesů, díl 2, M., 1973; Freidlin M.I., v knize: Výsledky vědy. Teorie pravděpodobnosti, . - Teoreticky. 1966, M., 1967, str. 7-58; X a sminskiy R. 3., „Teorie pravděpodobnosti a její aplikace“, 1963, sv. 8, v

Markovský proces- diskrétní nebo spojitý náhodný proces X(t), který lze zcela specifikovat pomocí dvou veličin: pravděpodobnost P(x,t), že náhodná veličina x(t) v čase t je rovna x a pravděpodobnost P(x2, t2½x1t1) to... ... Ekonomický a matematický slovník

Markovský proces- Diskrétní nebo spojitý náhodný proces X(t), který lze zcela specifikovat pomocí dvou veličin: pravděpodobnosti P(x,t), že náhodná veličina x(t) v čase t je rovna x a pravděpodobnosti P(x2). , t2? x1t1), že pokud x v t = t1... ... Technická příručka překladatele

Důležitý speciální typ náhodných procesů. Příkladem Markovova procesu je rozpad radioaktivní látky, kdy pravděpodobnost rozpadu daného atomu v krátkém časovém úseku nezávisí na průběhu procesu v předchozím období.... ... Velký encyklopedický slovník - Markovo procesas statusas T sritis automatika atitikmenys: engl. Markovprocess vok. Markovprozeß, m rus. Markovův proces, m; Markov proces, m pranc. processus markovien, m … Automatikos terminų žodynas

Markovský proces- Markovo vyksmas statusas T sritis fizika atitikmenys: angl. Markovův proces; Markovský proces vok. Markow Prozeß, m; Markowscher Prozeß, m rus. Markovův proces, m; Markov proces, m pranc. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas

Důležitý speciální typ náhodných procesů. Příkladem Markovova procesu je rozpad radioaktivní látky, kdy pravděpodobnost rozpadu daného atomu v krátkém časovém úseku nezávisí na průběhu procesu v předchozím období.... ... encyklopedický slovník

Důležitý speciální typ náhodných procesů (viz Náhodný proces), které mají velký význam v aplikacích teorie pravděpodobnosti v různých odvětvích přírodních věd a techniky. Příkladem magnetického procesu je rozpad radioaktivní látky.… … Velká sovětská encyklopedie

Vynikající objev v oblasti matematiky, který v roce 1906 učinil ruský vědec A.A. Markov.

Předpoklady o Poissonově povaze toku požadavků a o exponenciálním rozdělení doby obsluhy jsou cenné v tom, že nám umožňují aplikovat aparát tzv. Markovových náhodných procesů v teorii front.

Proces vyskytující se ve fyzickém systému se nazývá Markovův proces (nebo proces bez následného efektu), pokud pro každý okamžik závisí pravděpodobnost jakéhokoli stavu systému v budoucnosti pouze na stavu systému v přítomném okamžiku a nezávisí na tom, jak se systém do tohoto stavu dostal.

Uvažujme elementární příklad Markovova náhodného procesu. Bod se pohybuje náhodně podél osy úsečky. V okamžiku času je bod v počátku a zůstává tam jednu sekundu. O sekundu později se hodí mince; vypadne-li erb, posune se tečka o jednotku délky doprava, posune-li se číslo doleva. O sekundu později se mincí hodí znovu a provede se stejný náhodný pohyb atd. Proces změny polohy bodu (nebo, jak se říká, „chůze“) je náhodný proces s diskrétním časem a spočítatelnou množinou států

Schéma možných přechodů pro tento proces je na Obr. 19.7.1.

Ukažme, že tento proces je markovovský. Skutečně si představme, že v určitém okamžiku je systém například ve stavu - jedna jednotka vpravo od původu. Možné polohy bodu po jednotce času budou s pravděpodobnostmi 1/2 a 1/2; přes dvě jednotky - , , s pravděpodobnostmi 1/4, ½, 1/4 a tak dále. Je zřejmé, že všechny tyto pravděpodobnosti závisí pouze na tom, kde se bod v daném okamžiku nachází, a jsou zcela nezávislé na tom, jak se tam dostal.

Podívejme se na další příklad. Existuje technické zařízení skládající se z prvků (dílů) typů s různou životností. Tyto prvky mohou selhat v náhodných časech a nezávisle na sobě. Správná činnost každého prvku je bezpodmínečně nutná pro fungování zařízení jako celku. Bezporuchový provozní čas prvku je náhodná veličina rozdělená podle exponenciálního zákona; pro prvky typu a parametry tohoto zákona jsou různé a rovny resp. V případě poruchy zařízení jsou okamžitě přijata opatření k identifikaci příčin a zjištěný vadný prvek je okamžitě vyměněn za nový. Čas potřebný k obnovení (opravě) zařízení je rozdělen podle exponenciálního zákona s parametrem (pokud prvek typu ) a (pokud prvek typu ) selže.

V tomto příkladu je náhodný proces vyskytující se v systému Markovův proces se spojitým časem a konečnou množinou stavů:

Všechny prvky jsou v pořádku, systém funguje,

Typový prvek je vadný, systém se opravuje,

Typový prvek je vadný, systém se opravuje.

Schéma možných přechodů je na Obr. 19.7.2.

Ve skutečnosti má proces Markovovu vlastnost. Nechť je například v tuto chvíli systém ve stavu (funkčním). Protože doba bezporuchového provozu každého prvku je orientační, okamžik selhání každého prvku v budoucnu nezávisí na tom, jak dlouho již fungoval (kdy byl dodán). Pravděpodobnost, že systém v budoucnu zůstane ve stavu nebo jej opustí, tedy nezávisí na „prehistorii“ procesu. Předpokládejme nyní, že systém je v tuto chvíli ve stavu (prvek typu je vadný). Vzhledem k tomu, že doba opravy je také orientační, pravděpodobnost dokončení opravy kdykoli poté nezávisí na tom, kdy oprava začala a kdy byly dodány zbývající (obslužné) prvky. Proces je tedy markovský.

Všimněte si, že exponenciální rozložení doby provozu prvku a exponenciální rozložení doby opravy jsou základní podmínky, bez kterých by proces nebyl markovovský. Předpokládejme totiž, že čas správné činnosti prvku není rozložen podle exponenciálního zákona, ale podle nějakého jiného zákona - například podle zákona o rovnoměrné hustotě v ploše. To znamená, že každý prvek bude zaručeně fungovat po určitou dobu a v úseku od do může kdykoli selhat se stejnou hustotou pravděpodobnosti. Předpokládejme, že v určitém okamžiku prvek funguje správně. Je zřejmé, že pravděpodobnost, že prvek někdy v budoucnu selže, závisí na tom, jak dlouho byl prvek nainstalován, to znamená, že závisí na předchozí historii a proces nebude markovský.

Obdobná je situace s dobou opravy; pokud to není orientační a prvek se právě opravuje, pak zbývající doba opravy závisí na tom, kdy začala; proces opět nebude markovský.

Obecně platí, že exponenciální rozdělení hraje zvláštní roli v teorii Markovových náhodných procesů se spojitým časem. Je snadné ověřit, že ve stacionárním Markovově procesu je doba, po kterou systém setrvává v jakémkoli stavu, vždy rozdělena podle exponenciálního zákona (s parametrem závislým, obecně řečeno, na tomto stavu). Předpokládejme, že v tuto chvíli je systém ve stavu a byl v něm již nějakou dobu předtím. Podle definice Markovova procesu pravděpodobnost jakékoli události v budoucnosti nezávisí na předchozí historii; zejména pravděpodobnost, že systém během času opustí určitý stav, by neměla záviset na tom, kolik času již systém v tomto stavu strávil. V důsledku toho musí být doba, po kterou systém zůstává ve stavu, rozdělena podle exponenciálního zákona.

V případě, že proces vyskytující se ve fyzikálním systému se spočetnou množinou stavů a ​​spojitým časem je markovovský, lze tento proces popsat pomocí obyčejných diferenciálních rovnic, v nichž neznámé funkce jsou stavové pravděpodobnosti. Sestavení a řešení takových rovnic si v následujícím předvedeme na příkladu jednoduchého systému hromadné obsluhy.

Náhodný proces je soubor nebo rodina náhodných proměnných, jejichž hodnoty jsou indexovány časovým parametrem. Například počet studentů ve třídě, atmosférický tlak nebo teplota v dané třídě jako funkce času jsou náhodné procesy.

Náhodné procesy jsou široce používány při studiu složitých stochastických systémů jako adekvátní matematické modely fungování takových systémů.

Základními pojmy pro náhodné procesy jsou pojmy stavu procesu A přechod to z jednoho státu do druhého.

Nazývají se hodnoty proměnných, které popisují náhodný proces v daném čase stavnáhodnýproces. Náhodný proces provede přechod z jednoho stavu do druhého, pokud se hodnoty proměnných, které definují jeden stav, změní na hodnoty, které definují jiný stav.

Počet možných stavů (stavového prostoru) náhodného procesu může být konečný nebo nekonečný. Pokud je počet možných stavů konečný nebo spočetný (všem možným stavům lze přiřadit pořadová čísla), pak se nazývá náhodný proces proces s diskrétními stavy. Například počet zákazníků v obchodě, počet zákazníků v bance během dne jsou popsány náhodnými procesy s diskrétními stavy.

Pokud proměnné popisující náhodný proces mohou nabývat libovolné hodnoty z konečného nebo nekonečného spojitého intervalu, a proto je počet stavů nepočitatelný, pak se náhodný proces nazývá proces se spojitými stavy. Například teplota vzduchu během dne je náhodný proces se spojitými stavy.

Náhodné procesy s diskrétními stavy jsou charakterizovány náhlými přechody z jednoho stavu do druhého, zatímco u procesů se spojitými stavy jsou přechody plynulé. Dále budeme uvažovat pouze procesy s diskrétními stavy, které jsou často nazývány řetězy.

Označme podle G(t) je náhodný proces s diskrétními stavy a možnými hodnotami G(t), tj. možné stavy obvodu, - prostřednictvím symbolů E 0 , E 1 , E 2 , … . Někdy se pro označení diskrétních stavů používají čísla 0, 1, 2,... z přirozené řady.

Náhodný proces G(t) je nazýván procesSoddělenýčas, pokud jsou procesní přechody ze stavu do stavu možné pouze v přesně definovaných, předem stanovených okamžicích v čase t 0 , t 1 , t 2 , … . Pokud je přechod procesu ze stavu do stavu možný v jakémkoliv dříve neznámém časovém okamžiku, pak se nazývá náhodný proces process nepřetržitýmčas. V prvním případě je zřejmé, že časové intervaly mezi přechody jsou deterministické a ve druhém jsou to náhodné veličiny.

K procesu v diskrétním čase dochází buď tehdy, když je struktura systému, který je tímto procesem popsána, taková, že se jeho stavy mohou měnit pouze v předem určených bodech v čase, nebo když se předpokládá, že k popisu procesu (systému) stačí znát stavy v určitých okamžicích. Pak se tyto momenty dají spočítat a můžeme mluvit o stavu E i v určitém okamžiku t i .

Náhodné procesy s diskrétními stavy lze znázornit jako graf přechodů (nebo stavů), ve kterých vrcholy odpovídají stavům a orientované oblouky odpovídají přechodům z jednoho stavu do druhého. Pokud od státu E i přechod pouze do jednoho stavu je možný E j, pak se tato skutečnost projeví na přechodovém grafu obloukem směřujícím z vrcholu E i na vrchol E j(obr. 1, a). Přechody z jednoho stavu do několika dalších stavů az několika stavů do jednoho stavu se odrážejí v grafu přechodu, jak je znázorněno na obr. 1, ba 1, c.