Markov rastgele süreçleri teorisi. Markov rastgele süreçleri

Kuyruk teorisi olasılık teorisinin dallarından biridir. Bu teori dikkate alır olasılıksal görevler ve matematiksel modeller(bundan önce deterministik matematiksel modelleri değerlendirdik). Şunu hatırlatalım:

Deterministik matematiksel model Bir nesnenin (sistem, süreç) davranışını perspektiften yansıtır tam kesinlikşimdiki zamanda ve gelecekte.

Olasılıksal matematiksel model Rastgele faktörlerin bir nesnenin (sistem, süreç) davranışı üzerindeki etkisini dikkate alır ve bu nedenle geleceği belirli olayların olasılığı açısından değerlendirir.

Onlar. burada, örneğin oyun teorisindeki problemler dikkate alındığı için koşullar altındabelirsizlik.

Sorunun içerdiği belirsiz faktörler, olasılıksal özellikleri bilinen veya deneyimlerden elde edilebilen rastgele değişkenler (veya rastgele fonksiyonlar) olduğunda, öncelikle "stokastik belirsizliği" karakterize eden bazı kavramları ele alalım. Bu belirsizliğe “olumlu”, “iyi huylu” da denilmektedir.

Rastgele süreç kavramı

Kesin olarak konuşursak, rastgele rahatsızlıklar herhangi bir sürecin doğasında vardır. Rastgele bir sürece örnek vermek “rastgele olmayan” bir sürece göre daha kolaydır. Örneğin, bir saati çalıştırma süreci bile (kesinlikle kalibre edilmiş bir çalışma gibi görünüyor - "saat gibi çalışır") rastgele değişikliklere tabidir (ileri gitme, geride kalma, durma). Ancak bu bozulmalar önemsiz olduğu ve bizi ilgilendiren parametreler üzerinde çok az etkisi olduğu sürece, onları ihmal edebilir ve süreci deterministik, rastgele olmayan bir süreç olarak değerlendirebiliriz.

Bir sistem olsun S(teknik cihaz, bu tür cihazların grubu, teknolojik sistem - makine, saha, atölye, işletme, sanayi vb.). Sistemde S sızıntılar rastgele süreç, eğer zaman içinde durumunu değiştirirse (bir durumdan diğerine geçerse), üstelik daha önce bilinmeyen rastgele bir şekilde.

Örnekler: 1. Sistem S– teknolojik sistem (makine bölümü). Makineler zaman zaman arızalanıp tamir edilmektedir. Bu sistemde gerçekleşen süreç rastgeledir.

2. Sistem S- Belirli bir rota boyunca belirli bir yükseklikte uçan bir uçak. Rahatsız edici faktörler - hava koşulları, mürettebat hataları vb., sonuçlar - inişli çıkışlılık, uçuş programının ihlali vb.

Markov rastgele süreci

Bir sistemde meydana gelen rastgele bir sürece ne ad verilir? Markovski eğer herhangi bir an için T 0 Bir sürecin gelecekteki olasılıksal özellikleri yalnızca o andaki durumuna bağlıdır T 0 ve sistemin bu duruma ne zaman ve nasıl ulaştığına bağlı değildir.

Sistemin şu anda belirli bir durumda olmasına izin verin t 0 S 0. Sistemin şu andaki durumunun özelliklerini, o dönemde olup biten her şeyi biliyoruz. T<T 0 (işlem geçmişi). Geleceği tahmin edebilir miyiz (tahmin edebilir miyiz), yani. ne zaman olacak T>T 0 mı? Tam olarak değil ama sürecin bazı olasılıksal özellikleri gelecekte bulunabilir. Örneğin, bir süre sonra sistemin kapanma olasılığı S yapabilecek S 1 veya durumunda kalacak S 0 vb.

Örnek. Sistem S- hava muharebesine katılan bir grup uçak. İzin vermek X– “kırmızı” uçakların sayısı, sen– “mavi” uçağın sayısı. Zamana kadar T Sırasıyla 0 hayatta kalan (düşülmemiş) uçak sayısı - X 0 ,sen 0. Şu anda sayısal üstünlüğün “kırmızıların” tarafında olacağı ihtimaliyle ilgileniyoruz. Bu olasılık sistemin o sırada hangi durumda olduğuna bağlıdır T 0, ve şu ana kadar vurulanların ne zaman ve hangi sırayla öldüğü hakkında değil T 0 uçak.

Pratikte Markov süreçleri saf biçim genellikle bulunamadı. Ancak "tarih öncesi" etkisinin göz ardı edilebileceği süreçler de var. Ve bu tür süreçleri incelerken Markov modelleri kullanılabilir (kuyruk teorisi Markov kuyruk sistemlerini dikkate almaz, ancak bunları tanımlayan matematiksel aparat çok daha karmaşıktır).

Yöneylem araştırmasında büyük değer ayrık durumlara ve sürekli zamana sahip Markov rastgele süreçleri var.

Süreç denir ayrık durum süreci, eğer olası durumları S 1 ,S 2, ... önceden belirlenebilir ve sistemin durumdan duruma geçişi neredeyse anında "bir sıçramayla" gerçekleşir.

Süreç denir sürekli zaman süreci Bir durumdan diğerine olası geçişlerin anları önceden sabitlenmemiş, ancak belirsiz, rastgele ve her an gerçekleşebiliyorsa.

Örnek. Teknolojik sistem (bölüm) S her biri iki makineden oluşur rastgele an zaman başarısız olabilir (başarısız olabilir), bundan sonra ünitenin onarımı hemen başlar ve bilinmeyen, rastgele bir süre boyunca devam eder. Aşağıdaki sistem durumları mümkündür:

S 0 - her iki makine de çalışıyor;

S 1 - ilk makine tamir ediliyor, ikincisi çalışıyor;

S 2 - ikinci makine tamir ediliyor, birincisi çalışıyor;

S 3 - her iki makine de onarılıyor.

Sistem geçişleri S Belirli bir makine arızalandığında veya bir onarım tamamlandığında, durumdan duruma geçiş neredeyse anında, rastgele anlarda gerçekleşir.

Ayrık durumlarla rastgele süreçleri analiz ederken geometrik bir şema kullanmak uygundur - durum grafiği. Grafiğin köşeleri sistemin durumlarıdır. Grafik yayları – durumdan duruma olası geçişler

Şekil 1. Sistem durumu grafiği

durum. Örneğimiz için durum grafiği Şekil 1'de gösterilmektedir.

Not. Eyaletten geçiş S 0 inç SŞekilde 3 gösterilmemiştir çünkü makinelerin birbirinden bağımsız olarak arızalandığı varsayılmaktadır. Her iki makinenin aynı anda arızalanma olasılığını ihmal ediyoruz.

Zaman parametresinin herhangi bir değerinden sonra gelişimi t (\displaystyle t)önceki evrime bağlı değildir t (\displaystyle t), sürecin şu andaki değerinin sabit olması koşuluyla ("sürecin "geleceği", bilinen bir "şimdi" ile "geçmişe" bağlı değildir; başka bir yorum (Wentzel): sürecin "geleceği" bağlıdır) “geçmişe” yalnızca “şimdi” aracılığıyla).

Ansiklopedik YouTube

1 / 3

Ders 15: Markov rastgele süreçleri

Markov zincirlerinin kökeni

Genelleştirilmiş Markov süreci modeli

Altyazılar

Hikaye

Markov sürecini tanımlayan özelliğe genellikle Markovian adı verilir; ilk olarak 1907'deki çalışmalarında bağımlı test dizileri ve bunlarla ilişkili toplamlar üzerine çalışmayı başlatan A. A. Markov tarafından formüle edildi. rastgele değişkenler. Bu araştırma çizgisi Markov zinciri teorisi olarak bilinir.

Sürekli zamanlı Markov süreçlerinin genel teorisinin temelleri Kolmogorov tarafından atıldı.

Markov özelliği

Genel durum

İzin vermek (Ω , F , P) (\displaystyle (\Omega,(\mathcal (F))\mathbb (P)))- filtrelemeli olasılıksal alan (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\T'de)) bazı (kısmen sıralanmış) setler üzerinde T (\displaystyle T); ve izin ver (S , S) (\displaystyle (S,(\mathcal (S))))- ölçülebilir alan. Rastgele süreç X = (X t , t ∈ T) (\ displaystyle X=(X_(t),\ t\ T'de)) Filtrelenmiş olasılık uzayında tanımlananın tatmin ettiği kabul edilir Markov özelliği, eğer her biri için A ∈ S (\displaystyle A\in (\mathcal (S))) Ve s , t ∈ T: s< t {\displaystyle s,t\in T:s,

P (X t ∈ Bir | F s) = P (X t ∈ Bir | X s) .

(\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal (F))_(s))=\mathbb (P) (X_(t)\in A|X_(s))). ) Markov süreci Markov özelliği tatmin eden rastgele bir süreçtir.

doğal filtreleme ile.

Ayrık zamanlı Markov zincirleri için Durumunda S (\displaystyle S) ayrık bir kümedir ve T = N (\displaystyle T=\mathbb (N))

tanım yeniden formüle edilebilir:.

P (X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 0 = x 0) = P (X n = x n | X n − 1 = x n − 1) (\displaystyle \mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1),X_(n-2)=x_(n-2),\dots , X_(0)=x_(0))=\mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1)))

Markov süreci örneği

Markov rastgele sürecinin basit bir örneğini ele alalım. Bir nokta apsis ekseni boyunca rastgele hareket eder. Sıfır zamanda nokta orijindedir ve bir saniye boyunca orada kalır. Bir saniye sonra, bir madeni para atılır - eğer arma düşerse, o zaman X noktası bir birim uzunluk sağa, sayı ise sola doğru hareket eder. Bir saniye sonra para tekrar atılır ve aynı rastgele hareket yapılır ve bu şekilde devam eder. Bir noktanın konumunu değiştirme süreci ("yürüme") ayrık zamanlı (t=0, 1, 2, ...) ve sayılabilir bir durum kümesine sahip rastgele bir süreçtir. Böyle bir rastgele sürece Markov denir, çünkü noktanın bir sonraki durumu yalnızca mevcut (mevcut) duruma bağlıdır ve geçmiş durumlara bağlı değildir (noktanın mevcut koordinata hangi yoldan ve ne zaman ulaştığı önemli değildir) .

MARKOV SÜRECİ Sonuçsuz işlem - rastgele süreç, t zaman parametresinin herhangi bir değerinden sonraki gelişimi, kendisinden önceki evrime bağlı değildir T,

Manyetik alanı tanımlayan özelliğe genellikle denir. Markovian; ilk olarak A. A. Markov tarafından formüle edildi. Bununla birlikte, L. Bachelier'in çalışmasında zaten Brownian'ı M. olarak yorumlama girişimi fark edilebilir; bu girişim, N. Wiener'in (N. Wiener, 1923) araştırmasından sonra gerekçelendirilmiştir. Sürekli zamanlı manyetik süreçlere ilişkin genel teorinin temelleri A. N. Kolmogorov tarafından atılmıştır.

Markov'un mülkü. M.'nin birbirinden önemli ölçüde farklı tanımları vardır. En yaygın olanlardan biri şudur. Ölçülebilir bir uzaydan gelen değerlere sahip rastgele bir sürecin bir olasılık uzayı üzerinde verilebilmesine izin verin; T - gerçek eksenin alt kümesi Let NT(sırasıyla NT).içinde bir s-cebiri var X(s).at miktarları tarafından üretilir Nerede Başka bir deyişle, NT(sırasıyla NT) t anına kadar (t'den başlayarak) sürecin gelişimiyle ilişkili bir dizi olaydır. . Süreç X(t). denir Markov özelliği (neredeyse kesinlikle) herkes için geçerliyse Markov süreci:

veya herhangi biri için aynı şey nedir?

T'nin doğal sayılar kümesinde yer aldığı M. p. denir. Markov zinciri(ancak ikinci terim çoğunlukla en fazla sayılabilir E durumuyla ilişkilendirilir) . Sayılabilenden büyük bir aralık ise M. çağrılır. sürekli zamanlı Markov zinciri. Sürekli zamanlı manyetik süreçlerin örnekleri, Poisson ve Wiener süreçleri dahil olmak üzere difüzyon süreçleri ve bağımsız artışlara sahip süreçler tarafından sağlanır.

Bundan sonra kesinlik açısından sadece olaydan bahsedeceğiz. Formüller (1) ve (2), bilinen "şimdi" göz önüne alındığında "geçmiş" ve "gelecek" in bağımsızlığı ilkesinin net bir yorumunu sağlar, ancak M.'nin bunlara dayalı tanımının yeterince esnek olmadığı ortaya çıktı. Bir tanesini değil, (1) veya (2) tipinde bir dizi koşulu dikkate almanın gerekli olduğu çok sayıda durum, belirli bir şekilde üzerinde anlaşmaya varılmış olsa da farklı önlemlere karşılık gelir. aşağıdaki tanım (bkz.).

Şunlar verilsin:

a) s-cebirinin E'deki tüm tekil kümeleri içerdiği;

b) bir s-cebir ailesi ile donatılmış ölçülebilir, öyle ki

V) ("") x t =xT(w) , ölçülebilir herhangi bir haritalama için tanımlama

d) her biri için ve s-cebiri üzerinde bir olasılık ölçüsü, öyle ki fonksiyon eğer ve ile ilgili olarak ölçülebilir

İsim seti (sonlanmayan) if -neredeyse kesin olarak tanımlanan Markov süreci

Burada ne olursa olsun - temel olayların uzayı, - faz uzayı veya durum uzayı, P( s, x, t, V)- geçiş işlevi veya süreç geçiş olasılığı X(t) . Eğer E topolojiye sahipse ve Borel kümelerinin bir koleksiyonu ise E, o zaman M. p'nin verildiğini söylemek gelenekseldir. E. Tipik olarak M. p'nin tanımı, aşağıdaki şartla, bir olasılık olarak yorumlanması gerekliliğini içerir: x s =x.

Şu soru ortaya çıkıyor: Her Markov geçiş fonksiyonu P( s, x;t, V), ölçülebilir bir uzayda verilen, belirli bir M. uzayının bir geçiş fonksiyonu olarak düşünülebilir. Örneğin, E ayrılabilir yerel olarak kompakt bir uzaysa ve Borel kümelerinin bir koleksiyonuysa cevap pozitiftir. E.Üstelik izin ver E- tam metrik boşluk bırak ve bırak

nerede olursa olsun herkes için
a, bir noktanın e-komşuluğunun tamamlayıcısıdır X. Daha sonra karşılık gelen manyetik alanın sağda sürekli olduğu ve solda sınırları olduğu düşünülebilir (yani yörüngeleri bu şekilde seçilebilir). Sürekli bir manyetik alanın varlığı (bkz., ) koşuluyla sağlanır. Mekanik süreçler teorisinde, homojen (zaman içinde) süreçlere asıl dikkat gösterilmektedir. İlgili tanım belirli bir sistemi varsayar nesneler a) - d) açıklamasında görünen s ve u parametreleri için artık yalnızca 0 değerine izin veriliyor. Gösterim de basitleştirildi:

Ayrıca, W uzayının homojenliği varsayılır, yani herhangi bir böyle bir şey vardı (w) için Bundan dolayı s-cebirinde N, W cinsinden herhangi bir olayı içeren en küçük s-cebiri zaman kaydırma operatörleri q belirtilir T Kümelerin birleştirme, kesişme ve çıkarma işlemlerini koruyan ve bunun için

İsim seti if -neredeyse kesinlikle şeklinde tanımlanan (sonlanmayan) homojen Markov süreci

X(t) sürecinin Geçiş fonksiyonu için P( olarak kabul edilir) t, x, V) ve, özel çekinceler olmadığı sürece, ek olarak şunu gerektirirler. (4)'ü kontrol ederken yalnızca aşağıdaki form gruplarını dikkate almanın yeterli olduğunu akılda tutmakta fayda vardır: ve (4)'te her zaman ft tamamlamaların kesişimine eşit s-cebiri ile değiştirilebilir ft tüm olası ölçümler için genellikle m (“başlangıç”) olasılık ölçüsü sabitlenir ve Markov rastgele fonksiyonu dikkate alınır. eşitliğin verdiği ölçü nerede

M.p. aradı. eğer fonksiyon her t>0 için s-cebirinin nerede olduğu ölçülebilir bir değere neden oluyorsa aşamalı olarak ölçülebilir

Borel alt kümeleri . Sağ sürekli MP'ler aşamalı olarak ölçülebilir. Heterojen bir durumu homojen hale getirmenin bir yolu var (bkz.). Aşağıda homojen milletvekillerinden bahsedeceğiz.

Kesinlikle.Ölçülebilir bir uzayın m ile verilebileceğini varsayalım.

Fonksiyon çağrılır Markov anı, Eğer herkes için Bu durumda, eğer at ise Ft ailesine aittirler (çoğunlukla Ft, X(t)'nin t anına kadar evrimi ile ilişkili bir dizi olay olarak yorumlanır). İnanmak için

Aşamalı olarak ölçülebilir M. s. kesinlikle Markov süreci (s.m.p.), eğer herhangi bir Markov anı için m ve tümü ve oran

(kesinlikle Markov özelliği) W t kümesinde neredeyse kesin olarak sağlanır. (5)'i kontrol ederken, yalnızca formun kümelerini dikkate almak yeterlidir. bu durumda, bir S. m uzayı, örneğin bir topolojikteki herhangi bir sağ sürekli Feller M. uzayıdır. uzay E. M.p. aradı. Feller Markov süreci eğer fonksiyon

f sürekli ve sınırlı olduğunda süreklidir.

Sınıfta. e.n. belirli alt sınıflar ayırt edilir. Markovian P( olsun t, x, V), bir metrik yerel olarak kompakt uzayda tanımlanmış E, stokastik olarak sürekli:

her noktanın herhangi bir U komşuluğu için. Bu durumda, eğer operatörler sürekli olan ve sonsuzda sıfır olan fonksiyonları kendilerine alırlarsa, o zaman P( fonksiyonları) olur. t, x, V) M. s standardını karşılar. X, yani sağda sürekli. m.p., bunun için

Ve - neredeyse muhtemelen birçoğunda a büyümeyle azalmayan Pmarkov anlarıdır.

Markov sürecinin sonlandırılması.Çoğunlukla fiziksel Sistemlerin sonlanmayan bir manyetik alan kullanarak, ancak yalnızca rastgele uzunluktaki bir zaman aralığında tanımlanması tavsiye edilir. Ek olarak, manyetik süreçlerin basit dönüşümleri bile rastgele bir aralıkta belirlenen yörüngelere sahip bir sürece yol açabilir (bkz. Fonksiyonel Markov sürecinden). Bu düşüncelerin rehberliğinde bozuk MP kavramı tanıtıldı.

Geçiş fonksiyonuna sahip faz uzayında homojen bir M.P olsun. ve bir nokta ve bir fonksiyon olsun öyle ki ve aksi takdirde (özel hükümler yoksa, dikkate alın). Yeni yörünge xt(w) yalnızca ) için eşitlik yoluyla belirtilir A ft kümedeki gibi tanımlanır

Nerede olacağını ayarla isminde z zamanında sonlandırılarak (veya sonlandırılarak) elde edilen, sonlandıran bir Markov süreci (o.m.p.) ile. Z değeri denir mola anı veya yaşam süresi, o. e.n. Yeni sürecin faz uzayı, s-cebirinin izinin olduğu yerdir. E. Geçiş fonksiyonu o. e.n. bir kümeye yönelik bir kısıtlamadır Süreç X(t). denir tam olarak bir Markov süreci veya karşılık gelen özelliğe sahipse standart bir Markov süreci, sonlanmayan bir MP, bir o olarak düşünülebilir. e.n. kırılma anı ile Heterojen o. m.p. benzer şekilde belirlenir. M.

Markov süreçleri ve . Brownian hareketi tipindeki MP'ler parabolik diferansiyel denklemlerle yakından ilişkilidir. tip. Geçiş p(ler), x, t, y Difüzyon sürecinin )'si, belirli ek varsayımlar altında Kolmogorov'un ters ve doğrudan diferansiyel denklemlerini karşılar:

Fonksiyon p( s, x, t, y)., (6) - (7) denklemlerinin Green fonksiyonudur ve difüzyon süreçlerini oluşturmak için bilinen ilk yöntemler, (6) - (7) diferansiyel denklemleri için bu fonksiyonun varlığına ilişkin teoremlere dayanıyordu. Zamanı eşit olan bir süreç için L( s, x)= L(x).on düzgün fonksiyonları karakteristiği ile örtüşmektedir. operatör M. s. Geçiş operatörü yarı grubu).

Matematik. Çeşitli fonksiyonellerin difüzyon proseslerinden beklentileri, ilgili sınır değer problemlerine çözüm olarak hizmet eder. diferansiyel denklem(1). Let - matematiksel. ölçüdeki beklenti O halde fonksiyon şu noktada karşılanır: S denklem (6) ve koşul

Aynı şekilde, fonksiyon

ile tatmin olur S denklem

ve koşul ve 2 ( T, x) = 0.

Sınıra ilk varılan an olsun gdd bölge süreç yörüngesi Daha sonra belirli koşullar altında fonksiyon

denklemi karşılıyor

ve setteki cp değerlerini alır

Genel bir doğrusal parabolik için 1. sınır değer probleminin çözümü. 2. dereceden denklemler

oldukça genel varsayımlar altında şu şekilde yazılabilir:

L ve fonksiyonların olduğu durumda s, f bağlı değil S, Doğrusal bir eliptiğin çözümü için (9)'a benzer bir gösterim de mümkündür. denklemler Daha doğrusu, işlev

belirli varsayımlar altında sorunlar var

L operatörünün dejenere olması durumunda (del b( s, x) = 0 ).veya gdd yeterince "iyi" değildir; sınır değerleri, (9), (10) fonksiyonları tarafından tek tek noktalarda veya tüm kümelerde kabul edilmeyebilir. Bir operatör için düzenli sınır noktası kavramı L olasılıksal bir yorumu vardır. Sınırın düzenli noktalarında sınır değerlerine fonksiyonlar (9), (10) ile ulaşılır. Problemleri (8), (11) çözmek, karşılık gelen difüzyon süreçlerinin özelliklerini ve bunların işlevlerini incelememize olanak tanır.

Örneğin, (6), (7) denklemlerinin çözümlerinin oluşturulmasına dayanmayan MP'lerin oluşturulmasına yönelik yöntemler vardır. yöntem stokastik diferansiyel denklemler, kesinlikle sürekli ölçüm değişimi vb. Bu durum, formüller (9), (10) ile birlikte, denklem (8) için sınır değer problemlerinin özelliklerini ve ayrıca çözüm özelliklerini olasılıksal olarak oluşturmamıza ve incelememize olanak tanır. karşılık gelen eliptik. denklemler

Stokastik diferansiyel denklemin çözümü b( matrisinin dejenerasyonuna karşı duyarsız olduğundan s, x), O Dejenere eliptik ve parabolik diferansiyel denklemlerin çözümlerini oluşturmak için olasılıksal yöntemler kullanıldı. N. M. Krylov ve N. N. Bogolyubov'un ortalama alma ilkesinin stokastik diferansiyel denklemlere genişletilmesi, (9) kullanılarak eliptik ve parabolik diferansiyel denklemler için karşılık gelen sonuçların elde edilmesini mümkün kıldı. Bu tür denklemlerin çözümlerinin özelliklerini, olasılıksal değerlendirmeler kullanarak en yüksek türevde küçük bir parametreyle incelemeye ilişkin bazı zor problemleri çözmenin mümkün olduğu ortaya çıktı. Denklem (6) için 2. sınır değer probleminin çözümü de olasılıksal bir anlam taşır. Sınırsız bir alan için sınır değer problemlerinin formülasyonu, karşılık gelen difüzyon sürecinin tekrarlanmasıyla yakından ilgilidir.

Zaman açısından homojen bir süreç durumunda (L, s'ye bağlı değildir), çarpımsal bir sabite kadar denklemin pozitif çözümü, MP'nin durağan dağılım yoğunluğu ile belirli varsayımlar altında çakışır. Doğrusal olmayan parabolikler için sınır değer problemlerini değerlendirirken faydalı olabilir. denklemler. R. 3. Khasminsky.

Yaktı.: Markov A. A., "İzvestia. Kazan Üniversitesi Fizik-Matematik Topluluğu", 1906, cilt 15, Sayı 4, s. 135-56; Vashelier L., "Ann. scient. Ecole normu, süper.", 1900, v. 17, s. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Çeviri - "Uspekhi Matematicheskikh Nauk", 1938, yüzyıl. 5, s. 5-41; Zhun Kai-lai, Homojen Markov zincirleri, çev. İngilizce'den, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, s. 417-36; Dynkin E.B., Yushkevich A.A., “Olasılık teorisi ve uygulamaları,” 1956, cilt 1, yüzyıl. 1, s. 149-55; Xant J.-A., Markov süreçleri ve potansiyelleri, çev. İngilizce'den, M., 1962; D e l lasher i K., Kapasiteler ve rastgele süreçler, çev. French'ten, M., 1975; Dynk ve E.V., Markov süreçleri teorisinin temelleri, M., 1959; onun, Markov Süreçleri, M., 1963; G ve H man I. I., S kor o x od A. V., Teorik rastgele süreçler, cilt 2, M., 1973; Freidlin M.I., kitapta: Bilimin Sonuçları. Olasılık teorisi, . - Teorik. 1966, M., 1967, s. 7-58; X a sminskiy R. 3., “Olasılık teorisi ve uygulamaları,” 1963, cilt 8, içinde.

(\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal (F))_(s))=\mathbb (P) (X_(t)\in A|X_(s))). )- ayrık veya sürekli rastgele süreç X(t), iki miktar kullanılarak tamamen belirlenebilir: t zamanında rastgele değişken x(t)'nin x'e eşit olma olasılığı P(x,t) ve olasılık P(x2, t2½x1t1) bu... ... Ekonomik ve matematiksel sözlük

(\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal (F))_(s))=\mathbb (P) (X_(t)\in A|X_(s))). )- Ayrık veya sürekli bir rasgele süreç X(t), iki nicelik kullanılarak tamamen belirlenebilir: t zamanında rastgele değişken x(t)'nin x'e eşit olma olasılığı P(x,t) ve P(x2 olasılığı) , t2? x1t1) eğer x t = t1'deyse... ... Teknik Çevirmen Kılavuzu

Rastgele süreçlerin önemli bir özel türü. Markov sürecinin bir örneği, belirli bir atomun kısa bir süre içinde bozunma olasılığının önceki dönemdeki sürecin gidişatına bağlı olmadığı radyoaktif bir maddenin bozunmasıdır.... ... Büyük Ansiklopedik Sözlük - Markovo procesas statusas T sritis automatika atitikmenys: engl. Markov süreci vok. Markovprozeß, m rus. Markov süreci, m; Markov süreci, m pranc. prosesus markovien, m … Otomatik terminų žodynas

Markov süreci- Markovo vyksmas statusas T sritis fizika atitikmenys: engl. Markov süreci; Markov süreci vok. Markow Prozeß, m; Markowscher Prozeß, m rus. Markov süreci, m; Markov süreci, m pranc. Markoff süreci, m; prosesus marcovien, m;… … Fizikos terminų žodynas

Rastgele süreçlerin önemli bir özel türü. Markov sürecinin bir örneği, belirli bir atomun kısa bir süre içinde bozunma olasılığının önceki dönemdeki sürecin gidişatına bağlı olmadığı radyoaktif bir maddenin bozunmasıdır.... ... Ansiklopedik Sözlük

Olasılık teorisinin doğa bilimleri ve teknolojinin çeşitli dallarına uygulanmasında büyük önem taşıyan rastgele süreçlerin önemli bir özel türü (bkz. Rastgele süreç). Manyetik sürece bir örnek, radyoaktif bir maddenin bozunmasıdır.… … Büyük Sovyet Ansiklopedisi

1906 yılında Rus bilim adamı A.A. tarafından matematik alanında olağanüstü bir keşif yapıldı. Markov.

Talep akışının Poisson doğası ve hizmet süresinin üstel dağılımı hakkındaki varsayımlar, kuyruk teorisinde Markov rastgele süreçleri olarak adlandırılan aparatı uygulamamıza olanak sağlaması bakımından değerlidir.

Fiziksel bir sistemde meydana gelen bir sürece, zamanın her anı için sistemin gelecekteki herhangi bir durumunun olasılığı yalnızca sistemin o andaki durumuna bağlıysa ve bu durumla ilgili değilse Markov süreci (veya sonradan etkisi olmayan bir süreç) adı verilir. sistemin bu duruma nasıl geldiğine bağlı değil.

Markov rastgele sürecinin temel bir örneğini ele alalım. Nokta apsis ekseni boyunca rastgele hareket eder. Zaman anında nokta başlangıç ​​noktasındadır ve bir saniye boyunca orada kalır. Bir saniye sonra bir para atılıyor; Arma düşerse nokta bir birim uzunluk sağa doğru, sayı sola doğru hareket ederse nokta hareket eder. Bir saniye sonra, para tekrar atılır ve aynı rastgele hareket yapılır vb. Bir noktanın konumunu değiştirme (veya dedikleri gibi "yürüme") süreci, ayrık zamanlı ve sayılabilir bir kümeye sahip rastgele bir süreçtir. eyaletlerin

Bu işlem için olası geçişlerin bir diyagramı Şekil 1'de gösterilmektedir. 19.7.1.

Bu sürecin Markovian olduğunu gösterelim. Aslında, zamanın bir noktasında sistemin, örneğin başlangıç ​​noktasının bir birim sağında bir durumda olduğunu hayal edelim. Bir noktanın bir zaman biriminden sonraki olası konumları 1/2 ve 1/2 olasılıkla olacaktır; iki birim aracılığıyla - , , olasılıklar 1/4, ½, 1/4 vb. Açıkçası, tüm bu olasılıklar yalnızca noktanın o anda nerede olduğuna bağlıdır ve oraya nasıl ulaştığından tamamen bağımsızdır.

Başka bir örneğe bakalım. Farklı tipteki elemanlardan (parçalardan) oluşan ve farklı dayanıklılığa sahip teknik bir cihaz bulunmaktadır. Bu elemanlar rastgele zamanlarda ve birbirlerinden bağımsız olarak arızalanabilir. Cihazın bir bütün olarak çalışması için her bir elemanın doğru çalışması mutlaka gereklidir. Bir elemanın hatasız çalışma süresi, üstel yasaya göre dağıtılan rastgele bir değişkendir; tip elemanları ve bu yasanın parametreleri sırasıyla ve sırasıyla farklı ve eşittir. Cihaz arızası durumunda derhal sebeplerin tespitine yönelik önlemler alınır ve tespit edilen arızalı eleman derhal yenisi ile değiştirilir. Aygıtın geri yüklenmesi (onarılması) için gereken süre, (türünde bir öğe varsa) ve (türünde bir öğe arızalanırsa) parametresiyle üstel bir yasaya göre dağıtılır.

Bu örnekte, sistemde meydana gelen rastgele süreç, sürekli zamanlı ve sonlu durum kümesine sahip bir Markov sürecidir:

Tüm elemanları çalışır durumda, sistem çalışıyor,

Tip elemanı arızalı, sistem onarılıyor,

Tip elemanı arızalı, sistem onarılıyor.

Olası geçişlerin bir diyagramı Şekil 2'de gösterilmektedir. 19.7.2.

Aslında süreç Markov özelliğine sahiptir. Örneğin, şu anda sistemin bir durumda (işlevsel) olduğunu varsayalım. Her bir elemanın hatasız çalışma süresi gösterge niteliğinde olduğundan, her bir elemanın gelecekte arızalanma anı, ne kadar süredir çalıştığına (teslim edildiği zamana) bağlı değildir. Dolayısıyla gelecekte sistemin aynı durumda kalması veya bu durumda kalması olasılığı, sürecin “tarih öncesi”ne bağlı değildir. Şimdi sistemin şu anda (tip elemanı arızalı) durumda olduğunu varsayalım. Onarım süresi de gösterge niteliğinde olduğundan, onarımın daha sonra herhangi bir zamanda tamamlanma olasılığı, onarımın ne zaman başladığına ve geri kalan (servis yapılabilecek) elemanların ne zaman teslim edildiğine bağlı değildir. Dolayısıyla süreç Markoviandır.

Elemanın çalışma süresinin üstel dağılımının ve onarım süresinin üstel dağılımının temel koşullar olduğunu ve bunlar olmadan sürecin Markovian olamayacağını unutmayın. Aslında, elemanın düzgün çalışma süresinin üstel bir yasaya göre değil, başka bir yasaya göre - örneğin alandaki tekdüze yoğunluk yasasına göre - dağıtıldığını varsayalım. Bu, her bir elemanın belirli bir süre boyunca çalışmasının garanti edildiği ve ona kadar olan bölümde aynı olasılık yoğunluğuyla her an arızalanabileceği anlamına gelir. Belirli bir zamanda öğenin düzgün çalıştığını varsayalım. Açıkçası, bir elemanın gelecekte herhangi bir zamanda arızalanma olasılığı, elemanın ne kadar zaman önce kurulduğuna bağlıdır, yani önceki geçmişe bağlıdır ve süreç Markovian olmayacaktır.

Onarım süresinde de durum benzer; gösterge niteliğinde değilse ve eleman şu anda onarılıyorsa, kalan onarım süresi ne zaman başladığına bağlıdır; süreç yine Markovvari olmayacak.

Genel olarak üstel dağılım, sürekli zamanlı Markov rastgele süreçleri teorisinde özel bir rol oynar. Durağan bir Markov sürecinde sistemin herhangi bir durumda kaldığı sürenin her zaman üstel bir yasaya göre (genel anlamda bu duruma bağlı bir parametreyle) dağıtıldığını doğrulamak kolaydır. Aslında sistemin şu anda bir durumda olduğunu ve bir süredir bu durumda olduğunu varsayalım. Markov sürecinin tanımına göre gelecekte herhangi bir olayın olasılığı geçmiş geçmişe bağlı değildir; özellikle bir sistemin zaman içinde bir durumdan ayrılma olasılığı, sistemin o durumda ne kadar zaman harcadığına bağlı olmamalıdır. Sonuç olarak, sistemin durumda kaldığı sürenin üstel bir yasaya göre dağıtılması gerekir.

Sayılabilir bir dizi durum ve sürekli zamana sahip bir fiziksel sistemde meydana gelen bir sürecin Markovian olması durumunda, bu süreç, bilinmeyen fonksiyonların durum olasılıkları olduğu sıradan diferansiyel denklemler kullanılarak tanımlanabilir. Aşağıda basit bir kuyruk sistemi örneğini kullanarak bu tür denklemlerin bileşimini ve çözümünü göstereceğiz.

Rastgele bir süreç, değerleri bir zaman parametresi tarafından indekslenen bir dizi veya rastgele değişken ailesidir. Örneğin bir sınıftaki öğrenci sayısı, atmosfer basıncı veya o sınıftaki sıcaklık zamanın bir fonksiyonu olarak rastgele süreçlerdir.

Rastgele süreçler, karmaşık stokastik sistemlerin incelenmesinde, bu tür sistemlerin işleyişinin yeterli matematiksel modelleri olarak yaygın olarak kullanılmaktadır.

Rastgele süreçlere ilişkin temel kavramlar, kavramlardır. süreç durumu Ve geçiş bir eyaletten diğerine.

Belirli bir zamandaki rastgele süreci tanımlayan değişkenlerin değerlerine denir. durumrastgeleişlem. Rastgele bir süreç, bir durumu tanımlayan değişkenlerin değerlerinin başka bir durumu tanımlayan değerlere değişmesi durumunda bir durumdan diğerine geçiş yapar.

Rastgele bir sürecin olası durumlarının sayısı (durum uzayı) sonlu veya sonsuz olabilir. Olası durumların sayısı sonlu veya sayılabilirse (tüm olası durumlara seri numaraları atanabilir), o zaman rastgele süreç denir ayrık durumlarla süreç. Örneğin bir mağazadaki müşteri sayısı, bir bankadaki müşteri sayısı gün içerisinde farklı durumlarla rastgele süreçlerle açıklanmaktadır.

Rastgele bir süreci tanımlayan değişkenler sonlu veya sonsuz sürekli bir aralıktan herhangi bir değer alabiliyorsa ve bu nedenle durumların sayısı sayılamazsa, o zaman rastgele süreç denir. sürekli durumlarla süreç. Örneğin gün içerisindeki hava sıcaklığı sürekli hallere sahip rastgele bir süreçtir.

Ayrık durumları olan rastgele süreçler, bir durumdan diğerine ani geçişlerle karakterize edilirken, sürekli durumları olan süreçlerde geçişler düzgündür. Ayrıca yalnızca ayrık durumlara sahip süreçleri ele alacağız; bunlara genellikle zincirler.

ile belirtelim G(T), ayrık durumları ve olası değerleri olan rastgele bir süreçtir G(T), yani. devrenin olası durumları - semboller aracılığıyla e 0 , e 1 , e 2 , … . Bazen doğal serilerdeki 0, 1, 2,... sayıları ayrık durumları belirtmek için kullanılır.

Rastgele süreç G(T) denir işlemİleayrıkzaman, eğer durumdan duruma süreç geçişleri yalnızca kesin olarak tanımlanmış, önceden sabitlenmiş anlarda mümkünse T 0 , T 1 , T 2 , … . Bir sürecin önceden bilinmeyen herhangi bir noktada durumdan duruma geçişi mümkünse, o zaman rastgele süreç denir. işlemsürekli ilezaman. İlk durumda, geçişler arasındaki zaman aralıklarının deterministik, ikinci durumda ise rastgele değişkenler olduğu açıktır.

Ayrık zamanlı bir süreç, ya bu süreç tarafından tanımlanan sistemin yapısı, durumlarının yalnızca önceden belirlenmiş zaman noktalarında değişebileceği şekilde olduğunda ya da süreci (sistemi) tanımlamak için yeterli olduğu varsayıldığında ortaya çıkar. Zamanın belirli noktalarındaki durumları bilir. O zaman bu anlar numaralandırılabilir ve durum hakkında konuşabiliriz. e Ben zamanın bir noktasında T Ben .

Ayrık durumlara sahip rastgele süreçler, köşelerin durumlara ve yönlendirilmiş yayların bir durumdan diğerine geçişlere karşılık geldiği bir geçiş (veya durum) grafiği olarak gösterilebilir. Eğer devletten e Ben yalnızca bir duruma geçiş mümkündür e J, bu gerçek, tepe noktasından yönlendirilen bir yay tarafından geçiş grafiğine yansıtılır. e Ben zirveye e J(Şekil 1, a). Bir durumdan birkaç başka duruma ve birkaç durumdan bir duruma geçişler, Şekil 1, b ve 1, c'de gösterildiği gibi geçiş grafiğine yansıtılmıştır.