Teori proses rawak Markov. Proses rawak Markov

Teori beratur adalah salah satu cabang teori kebarangkalian. Teori ini menganggap kebarangkalian tugasan dan model matematik(sebelum itu kami mempertimbangkan model matematik deterministik). Marilah kami mengingatkan anda bahawa:

Model matematik deterministik mencerminkan kelakuan sesuatu objek (sistem, proses) dari perspektif penuh kepastian pada masa kini dan akan datang.

Model matematik kebarangkalian mengambil kira pengaruh faktor rawak pada kelakuan objek (sistem, proses) dan, oleh itu, menilai masa depan dari sudut kebarangkalian kejadian tertentu.

Itu. di sini, sebagai contoh, dalam teori permainan masalah dipertimbangkan dalam keadaanketidakpastian.

Mari kita pertimbangkan dahulu beberapa konsep yang mencirikan "ketidakpastian stokastik," apabila faktor tidak pasti yang termasuk dalam masalah adalah pembolehubah rawak (atau fungsi rawak), ciri-ciri kebarangkalian sama ada diketahui atau boleh diperoleh daripada pengalaman. Ketidakpastian sedemikian juga dipanggil "favorable", "benign".

Konsep proses rawak

Tegasnya, gangguan rawak adalah wujud dalam mana-mana proses. Lebih mudah untuk memberikan contoh proses rawak daripada proses "bukan rawak". Malah, sebagai contoh, proses menjalankan jam (nampaknya kerja yang ditentukur ketat - "berfungsi seperti jam") tertakluk kepada perubahan rawak (bergerak ke hadapan, ketinggalan, berhenti). Tetapi selagi gangguan ini tidak penting dan mempunyai sedikit kesan ke atas parameter yang menarik minat kita, kita boleh mengabaikannya dan menganggap proses itu sebagai deterministik, bukan rawak.

Biar ada sistem S(peranti teknikal, kumpulan peranti sedemikian, sistem teknologi - mesin, tapak, bengkel, perusahaan, industri, dll.). Dalam sistem S kebocoran proses rawak, jika ia berubah keadaannya dari semasa ke semasa (berlalu dari satu keadaan ke keadaan lain), lebih-lebih lagi, dengan cara rawak yang tidak diketahui sebelum ini.

Contoh: 1. Sistem S– sistem teknologi (bahagian mesin). Mesin rosak dari semasa ke semasa dan dibaiki. Proses yang berlaku dalam sistem ini adalah rawak.

2. Sistem S- pesawat terbang pada ketinggian tertentu di sepanjang laluan tertentu. Faktor yang mengganggu - keadaan cuaca, kesilapan anak kapal, dsb., akibat - lebam, pelanggaran jadual penerbangan, dsb.

Proses rawak Markov

Proses rawak yang berlaku dalam sistem dipanggil Markovsky, jika untuk sebarang saat t 0 ciri kebarangkalian proses pada masa hadapan hanya bergantung pada keadaannya pada masa ini t 0 dan tidak bergantung pada bila dan bagaimana sistem mencapai keadaan ini.

Biarkan sistem berada dalam keadaan tertentu pada masa t 0 S 0 . Kita tahu ciri-ciri keadaan sistem pada masa kini, semua yang berlaku ketika t<t 0 (sejarah proses). Bolehkah kita meramal (meramal) masa depan, i.e. apa yang akan berlaku apabila t>t 0 ? Tidak tepat, tetapi beberapa ciri kebarangkalian proses itu boleh didapati pada masa hadapan. Sebagai contoh, kebarangkalian bahawa selepas beberapa lama sistem S akan dapat S 1 atau akan kekal dalam negeri S 0, dsb.

Contoh. Sistem S- sekumpulan pesawat yang mengambil bahagian dalam pertempuran udara. biarlah x– bilangan pesawat “merah”, y– bilangan pesawat “biru”. Pada masa t 0 bilangan pesawat yang masih hidup (tidak ditembak jatuh), masing-masing – x 0 ,y 0 . Kami berminat dengan kebarangkalian bahawa pada masa ini keunggulan berangka akan berada di sebelah "merah". Kebarangkalian ini bergantung pada keadaan sistem pada masa itu t 0, dan bukan pada bila dan dalam urutan yang ditembak jatuh mati sehingga saat ini t 0 kapal terbang.

Dalam amalan, Markov memproses dalam bentuk tulen biasanya tidak dijumpai. Tetapi terdapat proses yang mana pengaruh "prasejarah" boleh diabaikan. Dan apabila mengkaji proses sedemikian, model Markov boleh digunakan (teori baris gilir tidak menganggap sistem baris gilir Markov, tetapi radas matematik yang menerangkannya adalah lebih kompleks).

Dalam penyelidikan operasi sangat penting mempunyai proses rawak Markov dengan keadaan diskret dan masa berterusan.

Proses itu dipanggil proses keadaan diskret, jika mungkin keadaannya S 1 ,S 2, ... boleh ditentukan terlebih dahulu, dan peralihan sistem dari keadaan ke keadaan berlaku "dalam lompatan," hampir serta-merta.

Proses itu dipanggil proses masa yang berterusan, jika momen peralihan yang mungkin dari negeri ke negeri tidak ditetapkan terlebih dahulu, tetapi tidak pasti, rawak dan boleh berlaku pada bila-bila masa.

Contoh. Sistem teknologi (bahagian) S terdiri daripada dua mesin, setiap satunya adalah momen rawak masa mungkin gagal (gagal), selepas itu pembaikan unit serta-merta bermula, juga berterusan untuk masa yang tidak diketahui, rawak. Keadaan sistem berikut adalah mungkin:

S 0 - kedua-dua mesin berfungsi;

S 1 - mesin pertama sedang dibaiki, yang kedua berfungsi;

S 2 - mesin kedua sedang dibaiki, yang pertama berfungsi;

S 3 - kedua-dua mesin sedang dibaiki.

Peralihan sistem S dari negeri ke negeri berlaku hampir serta-merta, pada saat rawak apabila mesin tertentu gagal atau pembaikan selesai.

Apabila menganalisis proses rawak dengan keadaan diskret, adalah mudah untuk menggunakan skema geometri - graf keadaan. Bucu graf ialah keadaan sistem. Lengkok graf – kemungkinan peralihan dari keadaan ke

Rajah 1. Graf keadaan sistem

negeri. Untuk contoh kami, graf keadaan ditunjukkan dalam Rajah 1.

Catatan. Peralihan dari negeri S 0 dalam S 3 tidak ditunjukkan dalam rajah, kerana diandaikan bahawa mesin gagal secara berasingan antara satu sama lain. Kami mengabaikan kemungkinan kegagalan serentak kedua-dua mesin.

Evolusi yang selepas sebarang nilai parameter masa tertentu t (\gaya paparan t) tidak bergantung kepada evolusi yang terdahulu t (\gaya paparan t), dengan syarat bahawa nilai proses pada masa ini adalah tetap ("masa depan" proses tidak bergantung pada "masa lalu" dengan "masa kini" yang diketahui; tafsiran lain (Wentzel): "masa depan" proses bergantung pada "masa lalu" hanya melalui "sekarang").

YouTube ensiklopedia

1 / 3

Kuliah 15: Proses rawak Markov

Asal usul rantai Markov

Model proses Markov umum

Sari kata

cerita

Sifat yang mentakrifkan proses Markov biasanya dipanggil Markovian; ia pertama kali dirumuskan oleh A. A. Markov, yang, dalam karya tahun 1907, memulakan kajian urutan ujian bergantung dan jumlah yang berkaitan dengannya pembolehubah rawak. Barisan penyelidikan ini dikenali sebagai teori rantai Markov.

Asas teori umum proses Markov masa berterusan telah diletakkan oleh Kolmogorov.

harta Markov

Kes am

biarlah (Ω , F , P) (\displaystyle (\Omega ,(\mathcal (F)),\mathbb (P)))- ruang kebarangkalian dengan penapisan (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\in T)) atas beberapa set (sebahagiannya dipesan). T (\displaystyle T); lepaskan (S , S) (\displaystyle (S,(\mathcal (S))))- ruang yang boleh diukur. Proses rawak X = (X t , t ∈ T) (\displaystyle X=(X_(t),\ t\in T)), ditakrifkan pada ruang kebarangkalian yang ditapis, dianggap memuaskan harta Markov, jika untuk setiap A ∈ S (\displaystyle A\in (\mathcal (S))) Dan s, t ∈ T: s< t {\displaystyle s,t\in T:s,

P (X t ∈ A | F s) = P (X t ∈ A | X s) . (\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal (F))_(s))=\mathbb (P) (X_(t)\in A|X_(s)). )

proses Markov adalah proses rawak yang memuaskan harta Markov dengan penapisan semula jadi.

Untuk rantai Markov masa diskret

Jika S (\displaystyle S) ialah set diskret dan T = N (\displaystyle T=\mathbb (N) ), definisi boleh dirumus semula:

P (X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 0 = x 0) = P (X n = x n | X n − 1 = x n − 1) (\displaystyle \mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1),X_(n-2)=x_(n-2),\dots , X_(0)=x_(0))=\mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1))).

Contoh proses Markov

Mari kita pertimbangkan contoh mudah proses rawak Markov. Satu titik bergerak secara rawak sepanjang paksi absis. Pada masa sifar, titik berada pada asal dan kekal di sana selama satu saat. Selepas satu saat, syiling dilemparkan - jika jata dijatuhkan, maka titik X bergerak satu unit panjang ke kanan, jika nombor - ke kiri. Sesaat kemudian, syiling dilambung semula dan pergerakan rawak yang sama dibuat, dan seterusnya. Proses menukar kedudukan titik (“berjalan”) ialah proses rawak dengan masa diskret (t=0, 1, 2, ...) dan set keadaan boleh dikira. Proses rawak sedemikian dipanggil Markov, kerana keadaan titik seterusnya hanya bergantung pada keadaan sekarang (semasa) dan tidak bergantung pada keadaan masa lalu (tidak kira ke arah mana dan pada masa berapa titik itu sampai ke koordinat semasa) .

PROSES MARKOV

Proses tanpa kesan selepas - proses rawak, evolusi yang selepas sebarang nilai parameter masa t tidak bergantung pada evolusi yang terdahulu t, dengan syarat bahawa nilai proses dalam ini adalah tetap (ringkasnya: "masa depan" dan "masa lalu" proses tidak bergantung antara satu sama lain dengan "masa kini" yang diketahui).

Sifat yang mentakrifkan medan magnet biasanya dipanggil Markovian; ia pertama kali dirumuskan oleh A. A. Markov. Walau bagaimanapun, dalam karya L. Bachelier seseorang boleh membezakan percubaan untuk mentafsir Brownian sebagai medan magnet, percubaan yang mendapat justifikasi selepas penyelidikan N. Wiener (N. Wiener, 1923). Asas teori umum proses magnet masa berterusan telah diletakkan oleh A. N. Kolmogorov.

harta Markov. Terdapat takrifan M. yang berbeza secara ketara antara satu sama lain Salah satu yang paling biasa ialah yang berikut. Biarkan proses rawak dengan nilai daripada ruang yang boleh diukur diberikan pada ruang kebarangkalian di mana T - subset bagi paksi nyata Let Nt(masing-masing Nt).ada s-algebra dalam dijana oleh kuantiti X(s).at di mana Dalam kata lain, Nt(masing-masing Nt) ialah satu set peristiwa yang dikaitkan dengan evolusi proses sehingga saat t (bermula dari t) . Proses X(t).dipanggil Proses Markov jika (hampir pasti) harta Markov dipegang untuk semua:

atau, apa yang sama, jika ada

M. p., yang mana T terkandung dalam set nombor asli, dipanggil. rantai Markov(walau bagaimanapun, istilah terakhir paling kerap dikaitkan dengan kes paling banyak E yang boleh dikira) . Jika Adakah selang dalam lebih daripada boleh dikira, M. dipanggil. rantaian Markov masa berterusan. Contoh proses magnet masa berterusan disediakan oleh proses dan proses resapan dengan kenaikan bebas, termasuk proses Poisson dan Wiener.

Dalam apa yang berikut, untuk kepastian, kita hanya akan bercakap tentang kes itu Formula (1) dan (2) memberikan tafsiran yang jelas tentang prinsip kemerdekaan "masa lalu" dan "masa depan" memandangkan "kini" yang diketahui, tetapi takrifan M. berdasarkan mereka ternyata tidak cukup fleksibel dalam banyak situasi apabila perlu untuk mempertimbangkan bukan satu, tetapi satu set syarat jenis (1) atau (2), sepadan dengan langkah yang berbeza, walaupun dipersetujui dalam cara tertentu, Pertimbangan seperti ini membawa kepada penggunaan definisi berikut (lihat,).

Biarkan yang berikut diberikan:

a) di mana algebra s mengandungi semua set satu titik dalam E;

b) boleh diukur dilengkapi dengan keluarga s-algebra supaya jika

V) (" ") x t =xt(w) , menentukan untuk sebarang pemetaan yang boleh diukur

d) bagi setiap satu dan ukuran kebarangkalian pada s-algebra supaya fungsi boleh diukur berbanding jika dan

Set nama (tidak tamat) Proses Markov ditakrifkan dalam if -hampir pasti

apa sahaja yang mungkin Di sini - ruang peristiwa asas, - ruang fasa atau ruang keadaan, P( s, x, t, V)- fungsi peralihan atau kebarangkalian peralihan proses X(t) . Jika E dikurniakan topologi, dan merupakan koleksi set Borel E, maka adalah kebiasaan untuk mengatakan bahawa M. p E. Lazimnya, takrifan M. p termasuk keperluan itu dan kemudian ditafsirkan sebagai kebarangkalian, dengan syarat itu x s =x.

Timbul persoalan: adakah setiap fungsi peralihan Markov P( s, x;t, V), diberikan dalam ruang yang boleh diukur boleh dianggap sebagai fungsi peralihan bagi ruang M. tertentu Jawapannya adalah positif jika, sebagai contoh, E ialah ruang padat setempat yang boleh dipisahkan, dan merupakan koleksi set Borel dalam. E. Lebih-lebih lagi, biarkan E - metrik penuh ruang dan biarkan

untuk sesiapa sahaja di mana
a ialah pelengkap bagi e-kejiranan sesuatu titik X. Kemudian medan magnet yang sepadan boleh dianggap berterusan di sebelah kanan dan mempunyai had di sebelah kiri (iaitu, trajektorinya boleh dipilih sedemikian). Kewujudan medan magnet berterusan dipastikan oleh keadaan di (lihat, ). Dalam teori proses mekanikal, perhatian utama diberikan kepada proses yang homogen (dalam masa). Takrifan yang sepadan menganggap sistem tertentu objek a) - d) dengan perbezaan bahawa untuk parameter s dan u yang muncul dalam perihalannya, hanya nilai 0 kini dibenarkan Notasi juga dipermudahkan:

Selanjutnya, kehomogenan ruang W didalilkan, iaitu diperlukan untuk sebarang ada perkara sebegitu (w) untuk Disebabkan ini, pada s-algebra N, s-algebra terkecil dalam W yang mengandungi sebarang peristiwa dalam bentuk operator syif masa q ditentukan t, yang mengekalkan operasi kesatuan, persilangan dan penolakan set dan yang

Set nama (tidak menamatkan) proses Markov homogen ditakrifkan dalam jika -hampir pasti

untuk fungsi Peralihan bagi proses X(t).dianggap P( t, x, V), dan, melainkan terdapat tempahan khas, mereka juga memerlukan bahawa Adalah berguna untuk diingat bahawa apabila menyemak (4) adalah memadai untuk mempertimbangkan hanya set borang di mana dan bahawa dalam (4) sentiasa Ft boleh digantikan dengan s-algebra sama dengan persilangan penyiapan Ft untuk semua ukuran yang mungkin Selalunya, ukuran kebarangkalian m ("awal") ditetapkan dan fungsi rawak Markov dipertimbangkan di manakah ukuran yang diberikan oleh kesaksamaan

M. p. boleh diukur secara progresif jika bagi setiap t>0 fungsi mendorong yang boleh diukur di mana s-algebra

Subset borel masuk . Ahli Parlimen berterusan yang betul boleh diukur secara progresif. Terdapat cara untuk mengurangkan kes heterogen kepada homogen (lihat), dan dalam perkara berikut kita akan bercakap tentang ahli parlimen homogen.

Tegasnya. Biarkan ruang yang boleh diukur diberikan.

Fungsi itu dipanggil detik Markov, Jika untuk semua Dalam kes ini, mereka tergolong dalam keluarga F t if at (paling kerap F t ditafsirkan sebagai satu set peristiwa yang dikaitkan dengan evolusi X(t) sehingga saat t). Kerana percaya

Secara progresif M. hlm Xnaz. proses Markov secara ketat (s.m.p.), jika untuk sebarang saat Markov m dan semua dan nisbah

(secara ketat harta Markov) memegang hampir pasti pada set W t . Apabila menyemak (5), cukup untuk mempertimbangkan hanya set borang di mana dalam kes ini, ruang S. m adalah, sebagai contoh, mana-mana ruang Feller M. berterusan kanan dalam topologi. angkasa lepas E. M. p. Feller Markov proses jika fungsi

adalah selanjar apabila f adalah selanjar dan terikat.

Dalam kelas dengan. m.p. subkelas tertentu dibezakan. Biarkan Markovian P( t, x, V), ditakrifkan dalam ruang padat setempat metrik E, berterusan secara stokastik:

untuk mana-mana kejiranan U setiap titik Kemudian jika pengendali mengambil ke dalam diri mereka fungsi yang berterusan dan lenyap pada infiniti, maka fungsi P(. t, x, V) memenuhi piawaian M. p. X, iaitu berterusan di sebelah kanan dengan. m.p., yang mana

Dan - hampir mungkin pada banyak a ialah detik Pmarkov yang tidak berkurangan dengan pertumbuhan.

Menamatkan proses Markov. Selalunya fizikal Adalah dinasihatkan untuk menerangkan sistem menggunakan medan magnet tanpa penamat, tetapi hanya pada selang masa panjang rawak. Di samping itu, walaupun transformasi mudah proses magnet boleh membawa kepada proses dengan trajektori yang ditentukan pada selang rawak (lihat. Berfungsi daripada proses Markov). Berpandukan pertimbangan ini, konsep ahli parlimen yang rosak diperkenalkan.

Biarkan menjadi M.P homogen dalam ruang fasa yang mempunyai fungsi peralihan dan biarkan ada titik dan fungsi supaya jika dan sebaliknya (jika tiada klausa khas, pertimbangkan ). Trajektori baharu x t(w) dinyatakan hanya untuk ) melalui kesamarataan a Ft ditakrifkan seperti dalam set

Tetapkan di mana dipanggil dengan penamatan proses Markov (o.m.p.), diperoleh daripada dengan menamatkan (atau membunuh) pada masa z. Nilai z dipanggil masa rehat, atau masa hidup, o. m.p. Ruang fasa proses baru adalah di mana terdapat kesan s-algebra E. Fungsi peralihan o. m.p. adalah sekatan kepada set Proses X(t).dipanggil proses Markov yang ketat, atau proses Markov standard, jika ia mempunyai sifat yang sepadan Ahli Parlimen yang tidak menamatkan boleh dianggap sebagai o. m.p. dengan momen pecah Heterogen o. m.p. ditentukan dengan cara yang sama. M.

proses Markov dan . Ahli Parlimen jenis gerakan Brown berkait rapat dengan persamaan pembezaan parabola. menaip. Peralihan p(s, x, t, y) proses resapan memenuhi, di bawah andaian tambahan tertentu, persamaan songsang dan pembezaan langsung Kolmogorov:

Fungsi p( s, x, t, y).adalah fungsi Green bagi persamaan (6) - (7), dan kaedah pertama yang diketahui untuk membina proses resapan adalah berdasarkan teorem kewujudan fungsi ini untuk persamaan pembezaan (6) - (7). Untuk proses seragam masa L( s, x)= L(x).pada fungsi lancar bertepatan dengan ciri. pengendali M. hlm Separa kumpulan pengendali peralihan).

Matematik. jangkaan pelbagai fungsi daripada proses penyebaran berfungsi sebagai penyelesaian kepada masalah nilai sempadan yang sepadan untuk persamaan pembezaan(1). Mari - matematik. jangkaan pada ukuran Kemudian fungsi memuaskan pada s persamaan (6) dan keadaan

Begitu juga, fungsi

berpuas hati dengan s persamaan

dan keadaan dan 2 ( T, x) = 0.

Biarkan tt menjadi saat pertama mencapai sempadan dD wilayah lintasan proses Kemudian, dalam keadaan tertentu, fungsi

memenuhi persamaan

dan mengambil nilai cp pada set

Penyelesaian masalah nilai sempadan pertama untuk parabola linear am. Persamaan tertib ke-2

di bawah andaian yang agak umum boleh ditulis dalam bentuk

Dalam kes apabila L dan fungsi s, f jangan bergantung pada s, perwakilan yang serupa dengan (9) juga mungkin untuk menyelesaikan elips linear. persamaan Lebih tepat lagi, fungsi

di bawah andaian tertentu terdapat masalah

Dalam kes apabila operator L merosot (del b( s, x) = 0 ).atau dD tidak cukup "baik"; nilai sempadan mungkin tidak diterima oleh fungsi (9), (10) pada titik individu atau pada keseluruhan set. Konsep titik sempadan tetap bagi pengendali L mempunyai tafsiran kebarangkalian. Pada titik biasa sempadan, nilai sempadan dicapai oleh fungsi (9), (10). Menyelesaikan masalah (8), (11) membolehkan kita mengkaji sifat-sifat proses resapan yang sepadan dan fungsinya.

Terdapat kaedah untuk membina Ahli Parlimen yang tidak bergantung kepada pembinaan penyelesaian kepada persamaan (6), (7), sebagai contoh. kaedah persamaan pembezaan stokastik, perubahan ukuran yang berterusan secara mutlak, dsb. Keadaan ini, bersama-sama dengan formula (9), (10), membolehkan kita membina dan mengkaji sifat masalah nilai sempadan bagi persamaan (8) secara kebarangkalian, serta sifat penyelesaian bagi elips yang sepadan. persamaan

Oleh kerana penyelesaian persamaan pembezaan stokastik adalah tidak sensitif kepada kemerosotan matriks b( s, x), Itu kaedah probabilistik digunakan untuk membina penyelesaian untuk merosot persamaan pembezaan elips dan parabola. Pelanjutan prinsip purata N. M. Krylov dan N. N. Bogolyubov kepada persamaan pembezaan stokastik memungkinkan, menggunakan (9), untuk mendapatkan hasil yang sepadan untuk persamaan pembezaan elips dan parabola. Ternyata adalah mungkin untuk menyelesaikan masalah sukar tertentu untuk mengkaji sifat penyelesaian kepada persamaan jenis ini dengan parameter kecil pada derivatif tertinggi menggunakan pertimbangan kebarangkalian. Penyelesaian masalah nilai sempadan ke-2 bagi persamaan (6) juga mempunyai makna kebarangkalian. Perumusan masalah nilai sempadan untuk domain tidak terhad berkait rapat dengan pengulangan proses resapan yang sepadan.

Dalam kes proses homogen masa (L tidak bergantung pada s), penyelesaian positif persamaan, sehingga pemalar darab, bertepatan di bawah andaian tertentu dengan ketumpatan taburan pegun bagi pertimbangan kebarangkalian berguna apabila mempertimbangkan masalah nilai sempadan untuk parabola tak linear. persamaan. R. 3. Khasminsky.

Menyala.: Markov A. A., "Izvestia. Phys.-Mathematics Society of Kazan University", 1906, vol 15, No. 4, hlm. 135-56; V a s h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, hlm. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. trans. - "Uspekhi Matematicheskikh Nauk", 1938, abad. 5, hlm. 5-41; Zhun Kai-lai, Rantai Markov Homogen, terj. daripada English, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, hlm. 417-36; Dynkin E.B., Yushkevich A.A., "Teori kebarangkalian dan aplikasinya," 1956, jilid 1, abad. 1, hlm. 149-55; Xant J.-A., proses dan potensi Markov, trans. daripada English, M., 1962; D e l l a s h e r i K., Kapasiti dan proses rawak, trans. daripada Perancis, M., 1975; Dynk dan E.V., Asas teori proses Markov, M., 1959; beliau, Proses Markov, M., 1963; G dan h man I. I., S k o r o x o d A. V., Teori proses rawak, vol 2, M., 1973; Freidlin M.I., dalam buku: Keputusan Sains. Teori kebarangkalian,. - Teori. 1966, M., 1967, hlm. 7-58; X a sminskiy R. 3., “Teori kebarangkalian dan aplikasinya,” 1963, vol 8, dalam

proses Markov- proses rawak diskret atau berterusan X(t), yang boleh ditentukan sepenuhnya menggunakan dua kuantiti: kebarangkalian P(x,t) bahawa pembolehubah rawak x(t) pada masa t adalah sama dengan x dan kebarangkalian P(x2, t2½x1t1) bahawa... ... Kamus ekonomi dan matematik

proses Markov- Proses rawak diskret atau berterusan X(t), yang boleh ditentukan sepenuhnya menggunakan dua kuantiti: kebarangkalian P(x,t) bahawa pembolehubah rawak x(t) pada masa t adalah sama dengan x dan kebarangkalian P(x2 , t2? x1t1) bahawa jika x pada t = t1... ... Panduan Penterjemah Teknikal

Jenis proses rawak khas yang penting. Contoh proses Markov ialah pereputan bahan radioaktif, di mana kebarangkalian pereputan atom tertentu dalam jangka masa yang singkat tidak bergantung pada perjalanan proses dalam tempoh sebelumnya.... ... Kamus Ensiklopedia Besar - Markovo procesas statusas T sritis automatika atitikmenys: engl. Markovprocess vok. Markovprozeß, m rus. proses Markov, m; Proses Markov, m pranc. processus markovien, m … Automatik terminų žodynas

proses Markov- Markovo vyksmas statusas T sritis fizika atitikmenys: engl. proses Markov; Proses Markovian vok. Markov Prozeß, m; Markowscher Prozeß, m rus. proses Markov, m; Proses Markov, m pranc. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas

Jenis proses rawak khas yang penting. Contoh proses Markov ialah pereputan bahan radioaktif, di mana kebarangkalian pereputan atom tertentu dalam jangka masa yang singkat tidak bergantung pada perjalanan proses dalam tempoh sebelumnya.... ... Kamus ensiklopedia

Jenis proses rawak khas yang penting (Lihat proses Rawak), yang sangat penting dalam aplikasi teori kebarangkalian kepada pelbagai cabang sains dan teknologi semula jadi. Contoh proses magnetik ialah pereputan bahan radioaktif.… … Ensiklopedia Soviet yang Hebat

Penemuan luar biasa dalam bidang matematik yang dibuat pada tahun 1906 oleh saintis Rusia A.A. Markov.

Andaian tentang sifat Poisson bagi aliran permintaan dan tentang pengagihan eksponen masa perkhidmatan adalah berharga kerana ia membolehkan kami menggunakan radas proses rawak Markov yang dipanggil dalam teori beratur.

Proses yang berlaku dalam sistem fizikal dipanggil proses Markov (atau proses tanpa kesan selepas) jika untuk setiap saat dalam masa kebarangkalian mana-mana keadaan sistem pada masa hadapan hanya bergantung pada keadaan sistem pada masa sekarang dan tidak tidak bergantung pada bagaimana sistem datang ke keadaan ini.

Mari kita pertimbangkan contoh asas proses rawak Markov. Titik bergerak secara rawak sepanjang paksi absis. Pada masa ini, titik berada pada asal dan kekal di sana selama satu saat. Sesaat kemudian, syiling dilambung; jika jata itu jatuh, titik itu menggerakkan satu unit panjang ke kanan, jika nombor itu bergerak ke kiri. Sesaat kemudian, syiling dilambung semula dan pergerakan rawak yang sama dibuat, dsb. Proses menukar kedudukan titik (atau, seperti yang mereka katakan, "berjalan") ialah proses rawak dengan masa diskret dan set boleh dikira negeri-negeri

Gambar rajah peralihan yang mungkin untuk proses ini ditunjukkan dalam Rajah. 19.7.1.

Mari kita tunjukkan bahawa proses ini adalah Markovian. Sesungguhnya, mari kita bayangkan bahawa pada satu ketika sistem itu, sebagai contoh, dalam keadaan - satu unit di sebelah kanan asal. Kemungkinan kedudukan titik selepas unit masa adalah dengan kebarangkalian 1/2 dan 1/2; melalui dua unit - , , dengan kebarangkalian 1/4, ½, 1/4 dan seterusnya. Jelas sekali, semua kebarangkalian ini hanya bergantung pada di mana titik itu berada pada masa tertentu, dan tidak bergantung sepenuhnya daripada cara ia sampai ke sana.

Mari kita lihat contoh lain. Terdapat peranti teknikal yang terdiri daripada elemen (bahagian) jenis dan mempunyai ketahanan yang berbeza. Unsur-unsur ini boleh gagal pada masa rawak dan secara bebas antara satu sama lain. Operasi yang betul bagi setiap elemen amat diperlukan untuk pengendalian peranti secara keseluruhan. Masa operasi tanpa kegagalan unsur ialah pembolehubah rawak yang diedarkan mengikut undang-undang eksponen; untuk unsur jenis dan parameter undang-undang ini adalah berbeza dan sama dengan dan masing-masing. Sekiranya berlaku kegagalan peranti, langkah-langkah segera diambil untuk mengenal pasti punca dan elemen rosak yang dikesan segera digantikan dengan yang baharu. Masa yang diperlukan untuk memulihkan (membaiki) peranti diedarkan mengikut undang-undang eksponen dengan parameter (jika unsur jenis ) dan (jika unsur jenis ) gagal.

Dalam contoh ini, proses rawak yang berlaku dalam sistem ialah proses Markov dengan masa berterusan dan set keadaan terhingga:

Semua elemen berfungsi, sistem berfungsi,

Elemen jenis rosak, sistem sedang dibaiki,

Elemen jenis rosak, sistem sedang dibaiki.

Gambar rajah peralihan yang mungkin ditunjukkan dalam Rajah. 19.7.2.

Sesungguhnya, proses itu mempunyai harta Markov. Biarkan, sebagai contoh, pada masa ini sistem berada dalam keadaan (berfungsi). Memandangkan masa operasi tanpa kegagalan setiap elemen adalah petunjuk, momen kegagalan setiap elemen pada masa hadapan tidak bergantung pada berapa lama ia telah berfungsi (apabila ia dihantar). Oleh itu, kebarangkalian bahawa pada masa hadapan sistem akan kekal dalam keadaan atau meninggalkannya tidak bergantung pada "prasejarah" proses itu. Sekarang mari kita anggap bahawa pada masa ini sistem berada dalam keadaan (elemen jenis rosak). Memandangkan masa pembaikan juga merupakan petunjuk, kebarangkalian untuk menyelesaikan pembaikan pada bila-bila masa selepas itu tidak bergantung pada bila pembaikan bermula dan apabila elemen yang tinggal (boleh diservis) dihantar. Oleh itu, prosesnya adalah Markovian.

Ambil perhatian bahawa taburan eksponen masa operasi elemen dan taburan eksponen masa pembaikan adalah syarat penting, tanpanya proses itu tidak akan menjadi Markovian. Malah, mari kita anggap bahawa masa operasi yang betul bagi unsur itu diedarkan bukan mengikut undang-undang eksponen, tetapi mengikut beberapa undang-undang lain - contohnya, mengikut undang-undang ketumpatan seragam di kawasan itu. Ini bermakna bahawa setiap elemen dijamin berfungsi untuk satu tempoh masa, dan dalam bahagian daripadanya boleh gagal pada bila-bila masa dengan ketumpatan kebarangkalian yang sama. Mari kita anggap bahawa pada satu ketika elemen itu berfungsi dengan baik. Jelas sekali, kebarangkalian bahawa elemen akan gagal pada satu ketika pada masa hadapan bergantung pada berapa lama elemen itu dipasang, iaitu, ia bergantung pada sejarah sebelumnya, dan prosesnya tidak akan menjadi Markovian.

Keadaannya sama dengan masa pembaikan; jika ia tidak menunjukkan dan elemen sedang dibaiki pada masa ini, maka baki masa pembaikan bergantung pada bila ia bermula; prosesnya sekali lagi bukan Markovian.

Secara amnya, taburan eksponen memainkan peranan khas dalam teori proses rawak Markov dengan masa yang berterusan. Adalah mudah untuk mengesahkan bahawa dalam proses Markov pegun, masa di mana sistem kekal dalam mana-mana keadaan sentiasa diedarkan mengikut undang-undang eksponen (dengan parameter bergantung, secara amnya, pada keadaan ini). Malah, mari kita anggap bahawa pada masa ini sistem berada dalam keadaan dan telah berada di dalamnya untuk beberapa waktu sebelum ini. Mengikut definisi proses Markov, kebarangkalian sebarang peristiwa pada masa hadapan tidak bergantung pada sejarah sebelumnya; khususnya, kebarangkalian bahawa sistem akan meninggalkan keadaan dalam masa tidak harus bergantung pada berapa banyak masa yang telah dihabiskan oleh sistem dalam keadaan itu. Akibatnya, masa sistem kekal dalam negeri mesti diagihkan mengikut undang-undang eksponen.

Dalam kes apabila proses yang berlaku dalam sistem fizikal dengan set keadaan boleh dikira dan masa berterusan ialah Markovian, proses ini boleh diterangkan menggunakan persamaan pembezaan biasa di mana fungsi yang tidak diketahui adalah kebarangkalian keadaan. Kami akan menunjukkan kompilasi dan penyelesaian persamaan tersebut dalam yang berikut menggunakan contoh sistem baris gilir mudah.

Proses rawak ialah satu set atau keluarga pembolehubah rawak yang nilainya diindeks oleh parameter masa. Sebagai contoh, bilangan pelajar dalam bilik darjah, tekanan atmosfera, atau suhu dalam bilik darjah itu sebagai fungsi masa adalah proses rawak.

Proses rawak digunakan secara meluas dalam kajian sistem stokastik yang kompleks sebagai model matematik yang mencukupi bagi fungsi sistem tersebut.

Konsep asas untuk proses rawak ialah konsep keadaan proses Dan peralihan ia dari satu negeri ke negeri yang lain.

Nilai pembolehubah yang menerangkan proses rawak pada masa tertentu dipanggil syaratrawakproses. Proses rawak membuat peralihan dari satu keadaan ke keadaan lain jika nilai pembolehubah yang mentakrifkan satu keadaan berubah kepada nilai yang menentukan keadaan lain.

Bilangan keadaan yang mungkin (ruang keadaan) proses rawak boleh menjadi terhingga atau tidak terhingga. Jika bilangan keadaan yang mungkin adalah terhingga atau boleh dikira (semua keadaan yang mungkin boleh diberikan nombor siri), maka proses rawak dipanggil proses dengan keadaan diskret. Sebagai contoh, bilangan pelanggan di kedai, bilangan pelanggan di bank pada siang hari diterangkan oleh proses rawak dengan keadaan diskret.

Jika pembolehubah yang menerangkan proses rawak boleh mengambil sebarang nilai daripada selang berterusan terhingga atau tak terhingga, dan, oleh itu, bilangan keadaan tidak boleh dikira, maka proses rawak dipanggil proses dengan keadaan berterusan. Sebagai contoh, suhu udara pada siang hari adalah proses rawak dengan keadaan berterusan.

Proses rawak dengan keadaan diskret dicirikan oleh peralihan mendadak dari satu keadaan ke keadaan lain, manakala dalam proses dengan keadaan berterusan peralihan adalah lancar. Selanjutnya kita akan mempertimbangkan hanya proses dengan keadaan diskret, yang sering dipanggil rantai.

Mari kita nyatakan dengan g(t) ialah proses rawak dengan keadaan diskret, dan nilai yang mungkin g(t), iaitu kemungkinan keadaan litar, - melalui simbol E 0 , E 1 , E 2 , … . Kadangkala nombor 0, 1, 2,... daripada siri semula jadi digunakan untuk menunjukkan keadaan diskret.

Proses rawak g(t) dipanggil prosesDengandiskretmasa, jika peralihan proses dari keadaan ke keadaan hanya boleh dilakukan pada masa yang ditetapkan dengan ketat dan dipratetapkan t 0 , t 1 , t 2 , … . Jika peralihan proses dari keadaan ke keadaan boleh dilakukan pada mana-mana titik masa yang tidak diketahui sebelumnya, maka proses rawak dipanggil prosesdengan berterusanmasa. Dalam kes pertama, adalah jelas bahawa selang masa antara peralihan adalah deterministik, dan dalam kes kedua ia adalah pembolehubah rawak.

Proses masa diskret berlaku sama ada apabila struktur sistem yang diterangkan oleh proses ini adalah sedemikian rupa sehingga keadaannya boleh berubah hanya pada titik masa yang telah ditetapkan, atau apabila diandaikan bahawa untuk menerangkan proses (sistem) ia sudah cukup untuk mengetahui negeri-negeri pada masa tertentu. Kemudian detik-detik ini boleh dinomborkan dan kita boleh bercakap tentang negeri E i pada satu masa t i .

Proses rawak dengan keadaan diskret boleh digambarkan sebagai graf peralihan (atau keadaan), di mana bucu sepadan dengan keadaan, dan lengkok berorientasikan sepadan dengan peralihan dari satu keadaan ke keadaan lain. Jika dari negeri E i peralihan kepada hanya satu keadaan adalah mungkin E j, maka fakta ini dicerminkan pada graf peralihan oleh lengkok yang diarahkan dari bucu E i ke atas E j(Gamb. 1, a). Peralihan dari satu keadaan ke beberapa negeri lain dan dari beberapa negeri kepada satu keadaan dicerminkan dalam graf peralihan, seperti ditunjukkan dalam Rajah 1, b dan 1, c.