La teoría de colas es una de las ramas de la teoría de la probabilidad. Esta teoría considera probabilístico tareas y modelos matemáticos(antes de eso considerábamos modelos matemáticos deterministas). Te recordamos que:
Modelo matemático determinista refleja el comportamiento de un objeto (sistema, proceso) desde la perspectiva certeza completa en el presente y futuro.
Modelo matemático probabilístico tiene en cuenta la influencia de factores aleatorios en el comportamiento de un objeto (sistema, proceso) y, por tanto, evalúa el futuro desde el punto de vista de la probabilidad de ciertos eventos.
Aquellos. aquí, como, por ejemplo, en la teoría de juegos, se consideran problemas en condicionesincertidumbre.
Consideremos primero algunos conceptos que caracterizan la “incertidumbre estocástica”, cuando los factores inciertos incluidos en el problema son variables aleatorias (o funciones aleatorias), cuyas características probabilísticas se conocen o pueden obtenerse de la experiencia. Esta incertidumbre también se denomina "favorable", "benigna".
El concepto de proceso aleatorio.
Estrictamente hablando, las perturbaciones aleatorias son inherentes a cualquier proceso. Es más fácil dar ejemplos de un proceso aleatorio que de un proceso “no aleatorio”. Incluso, por ejemplo, el proceso de hacer funcionar un reloj (parece ser un trabajo estrictamente calibrado, "funciona como un reloj") está sujeto a cambios aleatorios (avanzar, retrasarse, detenerse). Pero mientras estas perturbaciones sean insignificantes y tengan poco efecto sobre los parámetros que nos interesan, podemos ignorarlas y considerar el proceso como determinista y no aleatorio.
Que haya algún sistema S(dispositivo técnico, grupo de dichos dispositivos, sistema tecnológico: máquina, sitio, taller, empresa, industria, etc.). en el sistema S fugas proceso aleatorio, si cambia de estado con el tiempo (pasa de un estado a otro), además, de forma aleatoria previamente desconocida.
Ejemplos: 1. Sistema S– sistema tecnológico (sección de máquinas). Las máquinas se estropean de vez en cuando y son reparadas. El proceso que tiene lugar en este sistema es aleatorio.
2. Sistema S- un avión que vuela a una altitud determinada a lo largo de una ruta específica. Factores perturbadores: condiciones climáticas, errores de la tripulación, etc., consecuencias: irregularidades, violación del horario de vuelo, etc.
proceso aleatorio de markov
Un proceso aleatorio que ocurre en un sistema se llama Markovsky, si por algún momento t 0 las características probabilísticas de un proceso en el futuro dependen sólo de su estado en el momento t 0 y no dependen de cuándo y cómo el sistema alcanzó este estado.
Deje que el sistema esté en un cierto estado en el momento t 0 S 0. Conocemos las características del estado del sistema en el presente, todo lo que pasó cuando t<t 0 (historial de procesos). ¿Podemos predecir (predecir) el futuro, es decir? ¿Qué pasará cuando t>t 0 ? No exactamente, pero en el futuro se podrán encontrar algunas características probabilísticas del proceso. Por ejemplo, la probabilidad de que después de algún tiempo el sistema S será capaz de S 1 o permanecerá en el estado S 0, etc
Ejemplo. Sistema S- un grupo de aviones que participan en combates aéreos. Dejar X– número de aviones “rojos”, y– número de aviones “azules”. Para el momento t 0 número de aviones supervivientes (no derribados), respectivamente – X 0 ,y 0. Nos interesa la probabilidad de que en este momento la superioridad numérica esté del lado de los “rojos”. Esta probabilidad depende del estado en el que se encontraba el sistema en ese momento. t 0, y no sobre cuándo y en qué secuencia murieron los derribados hasta el momento t 0 aviones.
En la práctica, Markov procesa en forma pura normalmente no se encuentra. Pero hay procesos en los que se puede ignorar la influencia de la “prehistoria”. Y al estudiar tales procesos, se pueden utilizar modelos de Markov (la teoría de colas no considera los sistemas de colas de Markov, pero el aparato matemático que los describe es mucho más complejo).
En investigación de operaciones gran importancia Tienen procesos aleatorios de Markov con estados discretos y tiempo continuo.
El proceso se llama proceso de estado discreto, si sus posibles estados S 1 ,S 2, ... se puede determinar de antemano, y la transición del sistema de un estado a otro se produce "en un salto", casi instantáneamente.
El proceso se llama proceso de tiempo continuo, si los momentos de posibles transiciones de un estado a otro no están fijados de antemano, sino que son inciertos, aleatorios y pueden ocurrir en cualquier momento.
Ejemplo. Sistema tecnológico (sección) S consta de dos máquinas, cada una de las cuales momento aleatorio El tiempo puede fallar (fallar), después de lo cual comienza inmediatamente la reparación de la unidad, que también continúa durante un tiempo aleatorio desconocido. Son posibles los siguientes estados del sistema:
S 0 - ambas máquinas están funcionando;
S 1 - la primera máquina está en reparación, la segunda está funcionando;
S 2 - la segunda máquina está en reparación, la primera está funcionando;
S 3 - ambas máquinas están en reparación.
Transiciones del sistema S Los cambios de estado en estado ocurren casi instantáneamente, en momentos aleatorios cuando falla una máquina en particular o se completa una reparación.
Al analizar procesos aleatorios con estados discretos, es conveniente utilizar un esquema geométrico: gráfico de estado. Los vértices del gráfico son los estados del sistema. Arcos gráficos: posibles transiciones de estado a
Figura 1. Gráfico de estado del sistema
estado. Para nuestro ejemplo, el gráfico de estado se muestra en la Fig. 1.
Nota. Transición del estado S 0 en S 3 no está indicado en la figura, porque se supone que las máquinas fallan independientemente unas de otras. Despreciamos la posibilidad de falla simultánea de ambas máquinas.
Cuya evolución después de cualquier valor dado del parámetro tiempo t (displaystyle t) no depende de la evolución que precedió t (displaystyle t), siempre que el valor del proceso en este momento sea fijo (“el futuro” del proceso no depende del “pasado” con un “presente” conocido; otra interpretación (Wentzel): el “futuro” del proceso depende sobre el “pasado” sólo a través del “presente”).
YouTube enciclopédico
1 / 3
Conferencia 15: Procesos aleatorios de Markov
Origen de las cadenas de Markov
Modelo de proceso de Markov generalizado
Subtítulos
Historia
La propiedad que define un proceso de Markov suele denominarse markoviano; Fue formulado por primera vez por A. A. Markov, quien, en los trabajos de 1907, inició el estudio de secuencias de pruebas dependientes y las sumas asociadas con ellas. variables aleatorias. Esta línea de investigación se conoce como teoría de cadenas de Markov.
Kolmogorov sentó las bases de la teoría general de los procesos de Markov en tiempo continuo.
propiedad de markov
Caso general
Dejar (Ω, F, P) (\displaystyle (\Omega,(\mathcal (F)),\mathbb (P)))- espacio probabilístico con filtrado (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\in T)) sobre algún conjunto (parcialmente ordenado) T (\displaystyle T); Déjalo ir (S , S) (\displaystyle (S,(\mathcal (S))))- espacio mensurable. Proceso aleatorio X = (X t , t ∈ T) (\displaystyle X=(X_(t),\ t\in T)), definido en el espacio de probabilidad filtrado, se considera que satisface propiedad de markov, si para cada A ∈ S (\displaystyle A\in (\mathcal (S))) Y s, t ∈ T: s<
t
{\displaystyle s,t\in T:s
proceso de markov es un proceso aleatorio que satisface propiedad de markov con filtración natural.
Para cadenas de Markov en tiempo discreto
Si S (\displaystyle S) es un conjunto discreto y T = norte (\displaystyle T=\mathbb (N) ), la definición se puede reformular:
P (X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 0 = x 0) = P (X n = x n | X n − 1 = x n − 1) (\displaystyle \mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1),X_(n-2)=x_(n-2),\dots , X_(0)=x_(0))=\mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1))).Ejemplo de un proceso de Markov
Consideremos un ejemplo sencillo de un proceso aleatorio de Markov. Un punto se mueve aleatoriamente a lo largo del eje de abscisas. En el tiempo cero, el punto está en el origen y permanece allí durante un segundo. Después de un segundo, se lanza una moneda; si se deja caer el escudo de armas, entonces el punto X se mueve una unidad de longitud hacia la derecha, si es un número, hacia la izquierda. Un segundo después, se vuelve a lanzar la moneda y se realiza el mismo movimiento aleatorio, y así sucesivamente. El proceso de cambiar la posición de un punto (“caminar”) es un proceso aleatorio con tiempo discreto (t=0, 1, 2,...) y un conjunto contable de estados. Este proceso aleatorio se llama Markov, ya que el siguiente estado del punto depende solo del estado presente (actual) y no depende de los estados pasados (no importa en qué dirección y en qué momento el punto llegó a la coordenada actual) .
PROCESO DE MARKOV
Proceso sin consecuencias - proceso aleatorio, cuya evolución después de cualquier valor dado del parámetro temporal t no depende de la evolución que lo precedió t, siempre que el valor del proceso en este sea fijo (en resumen: el “futuro” y el “pasado” del proceso no dependen el uno del otro con un “presente” conocido).
La propiedad que define un campo magnético suele denominarse markoviano; Fue formulado por primera vez por A. A. Markov. Sin embargo, ya en el trabajo de L. Bachelier se puede discernir un intento de interpretar el browniano como un campo magnético, intento que recibió justificación tras la investigación de N. Wiener (N. Wiener, 1923). A. N. Kolmogorov sentó las bases de la teoría general de los procesos magnéticos de tiempo continuo.
Propiedad de Markov. Existen definiciones de M. que difieren significativamente entre sí. Una de las más comunes es la siguiente. Sea un proceso aleatorio con valores de un espacio medible en un espacio de probabilidad donde T- subconjunto del eje real Sea Nuevo Testamento(respectivamente Nuevo Testamento).hay un s-álgebra en
generado por las cantidades X(s).at
Dónde
En otras palabras, Nuevo Testamento(respectivamente Nuevo Testamento) es un conjunto de eventos asociados a la evolución del proceso hasta el momento t (a partir de t) .
El proceso X(t).se llama Proceso de Markov si (casi con certeza) la propiedad de Markov se cumple para todos:
o, lo que es lo mismo, si por alguna
M. p., para el cual T está contenido en el conjunto de los números naturales, llamado. cadena de markov(sin embargo, el último término se asocia con mayor frecuencia con el caso de, como máximo, contable E) .
Si es un intervalo de más de contables, se llama M. Cadena de Markov de tiempo continuo. Ejemplos de procesos magnéticos de tiempo continuo los proporcionan los procesos de difusión y los procesos con incrementos independientes, incluidos los procesos de Poisson y Wiener.
A continuación, para mayor precisión, solo hablaremos del caso. 
Las fórmulas (1) y (2) proporcionan una interpretación clara del principio de independencia del "pasado" y el "futuro" dado el "presente" conocido, pero la definición de M. basada en ellas resultó no ser lo suficientemente flexible en aquellas numerosas situaciones en las que es necesario considerar no una, sino un conjunto de condiciones del tipo (1) o (2), correspondientes a medidas diferentes, aunque de cierta manera consensuadas. Consideraciones de este tipo llevaron a la adopción de. la siguiente definición (ver,).
Sea lo siguiente:
a) donde el álgebra s contiene todos los conjuntos de un punto en E;
b) mensurable equipado con una familia de s-álgebras tales que si
V) (" ") xt =xt(w) ,
Definiendo para cualquier mapeo medible.
d) para cada uno y una medida de probabilidad en el álgebra s tal que la función 
mensurable en relación con si y
conjunto de nombres (no terminante) Proceso de Markov definido en if -casi con seguridad
lo que sea que esté Aquí - el espacio de eventos elementales, - espacio de fase o espacio de estado, P( s,x,t,V)- función de transición o probabilidad de transición del proceso X(t) .
Si E está dotado de topología y es una colección de conjuntos de Borel en MI, entonces se acostumbra decir que el M. p. MI. Normalmente, la definición de M. p incluye el requisito de que y luego se interprete como una probabilidad, siempre que x s = x.
Surge la pregunta: ¿toda función de transición de Markov es P( s,x;televisor),
dado en un espacio medible puede considerarse como una función de transición de un determinado espacio M. La respuesta es positiva si, por ejemplo, E es un espacio localmente compacto separable y es una colección de conjuntos de Borel en. MI. Es más, dejemos mi- métrica completa espacio y dejar
para cualquiera donde a es el complemento de la e-vecindad de un punto X. Entonces el campo magnético correspondiente puede considerarse continuo por la derecha y con límites por la izquierda (es decir, sus trayectorias pueden elegirse como tales). La existencia de un campo magnético continuo está garantizada por la condición en (ver, ). En la teoría de los procesos mecánicos, se presta especial atención a los procesos que son homogéneos (en el tiempo). La definición correspondiente supone un sistema dado. objetos a) - d) con la diferencia que para los parámetros s y u que aparecían en su descripción ahora solo se permite el valor 0. La notación también se simplifica:
Además, se postula la homogeneidad del espacio W, es decir, se requiere que para cualquier 
hubo tal cosa 
(w) para Debido a esto, en el s-álgebra NORTE, la s-álgebra más pequeña en W que contiene cualquier evento de la forma 
operadores de turno de tiempo q se especifican t, que preservan las operaciones de unión, intersección y resta de conjuntos y para las cuales
conjunto de nombres proceso de Markov homogéneo (no terminante) definido en si -casi con certeza
para la función de transición del proceso X(t).se considera P( t,x,V), y, a menos que haya reservas especiales, requieren adicionalmente que Es útil tener en cuenta que al verificar (4) es suficiente considerar solo conjuntos de la forma donde 
y que en (4) siempre Pie puede ser reemplazado por s-álgebra igual a la intersección de terminaciones Pie para todas las medidas posibles A menudo, se fija una medida de probabilidad m ("inicial") y se considera una función aleatoria de Markov. 
¿Dónde está la medida dada por la igualdad?
M.p.llamado. progresivamente mensurable si para cada t>0 la función induce un mensurable en donde está el s-álgebra
Subconjuntos de Borel en . Los MP continuos correctos se pueden medir progresivamente. Hay una manera de reducir un caso heterogéneo a uno homogéneo (ver), y en lo que sigue hablaremos de parlamentarios homogéneos.
Estrictamente. Que se dé un espacio mensurable.
La función se llama momento de Markov, Si 
para todos
En este caso, pertenecen a la familia F t si en (la mayoría de las veces F t se interpreta como un conjunto de eventos asociados con la evolución de X(t) hasta el momento t). para creer
Progresivamente mensurable M. p. estrictamente proceso de Markov (s.m.p.), si para cualquier momento de Markov m y todos 
y proporción
(estrictamente propiedad de Markov) se cumple casi con certeza en el conjunto W t . Al verificar (5), es suficiente considerar solo conjuntos de la forma donde 
en este caso, un espacio S. m es, por ejemplo, cualquier espacio derecho continuo de Feller M. en una topología. espacio MI. M.p.llamado. Proceso de Feller Markov si la función
es continua siempre que f es continua y acotada.
En clase con. m.p. se distinguen ciertas subclases. Dejemos que el Markoviano P( t,x,V),
definido en un espacio métrico localmente compacto MI, estocásticamente continuo:
para cualquier vecindad U de cada punto Entonces, si los operadores toman en sí funciones que son continuas y desaparecen en el infinito, entonces las funciones P( t,x,v) cumple con la norma M. p. X, es decir, continuo a la derecha con. m.p., para lo cual
- casi probablemente en muchos 
a son momentos de Pmarkov que no disminuyen con el crecimiento. Terminar el proceso de Markov. A menudo físico Es aconsejable describir sistemas que utilizan un campo magnético no terminal, pero sólo en un intervalo de tiempo de longitud aleatoria. Además, incluso transformaciones simples de procesos magnéticos pueden conducir a un proceso con trayectorias especificadas en un intervalo aleatorio (ver. Funcional de un proceso de Markov). Guiado por estas consideraciones, se introduce el concepto de MP roto.
Sea un campo magnético homogéneo en el espacio de fases que tenga una función de transición. 
y que haya un punto y una función 
tal que si y en caso contrario (si no hay cláusulas especiales, considere ). Nueva trayectoria x t(w) se especifica sólo para ) mediante la igualdad 
a Pie se define como en el conjunto
Establecer donde 
llamado mediante un proceso de terminación de Markov (o.m.p.), obtenido terminando (o eliminando) en el momento z. El valor z se llama el momento de la ruptura, o el tiempo de la vida, o. m.p. El espacio de fase del nuevo proceso es donde hay un rastro del álgebra s en MI. Función de transición o. m.p. es una restricción a un conjunto 
El proceso X(t).se llama un proceso estrictamente de Markov, o un proceso de Markov estándar, si tiene la propiedad correspondiente. Un MP no terminante puede considerarse como un o. p.f. con el momento de rotura Heterogéneo o. m.p. se determina de manera similar. METRO.
Procesos de Markov y . Los MP del tipo de movimiento browniano están estrechamente relacionados con las ecuaciones diferenciales parabólicas. tipo. Transición p(s, x, t, y) del proceso de difusión satisface, bajo ciertos supuestos adicionales, las ecuaciones diferenciales inversas y directas de Kolmogorov:
Función p( s, x, t, y).es la función de Green de las ecuaciones (6) - (7), y los primeros métodos conocidos para construir procesos de difusión se basaron en teoremas sobre la existencia de esta función para las ecuaciones diferenciales (6) - (7). Para un proceso uniforme en el tiempo L( s,x)=L(x).en funciones suaves coincide con la característica. operador M. p. Semigrupo de operadores de transición).
Matemáticas. Las expectativas de varios funcionales de los procesos de difusión sirven como soluciones a los correspondientes problemas de valores límite para ecuación diferencial(1). Vamos - matemático. expectativa en la medida Entonces la función satisface en s
Asimismo, la función
satisface con s
y condición y 2 ( T,x) = 0.
Sea tt el momento en que se alcanza por primera vez el límite. dD región
trayectoria del proceso
Entonces, bajo ciertas condiciones, la función
satisface la ecuación
y toma valores cp en el conjunto
Solución del primer problema de valores en la frontera para una parabólica lineal general. ecuaciones de segundo orden
bajo supuestos bastante generales se puede escribir en la forma
En el caso de que L y funciones s, f no dependas de s, También es posible una representación similar a (9) para resolver una elíptica lineal. ecuaciones Más precisamente, la función
bajo ciertos supuestos hay problemas
En el caso de que el operador L degenere (del b( s,x) = 0
).o dD no es lo suficientemente "bueno"; es posible que las funciones (9), (10) no acepten valores límite en puntos individuales o en conjuntos completos. El concepto de punto límite regular para un operador. l tiene una interpretación probabilística. En los puntos regulares del límite, los valores límite se logran mediante las funciones (9), (10). La resolución de los problemas (8), (11) nos permite estudiar las propiedades de los correspondientes procesos de difusión y sus funcionales.
Existen métodos para construir MP que no se basan en la construcción de soluciones a las ecuaciones (6), (7), por ejemplo. método ecuaciones diferenciales estocásticas, cambio de medida absolutamente continuo, etc. Esta circunstancia, junto con las fórmulas (9), (10), nos permite construir y estudiar probabilísticamente las propiedades de los problemas de valores en la frontera para la ecuación (8), así como las propiedades de la solución de la elíptica correspondiente. ecuaciones
Dado que la solución de la ecuación diferencial estocástica es insensible a la degeneración de la matriz b( s,x), Eso Se utilizaron métodos probabilísticos para construir soluciones a ecuaciones diferenciales elípticas y parabólicas degeneradas. La extensión del principio de promediación de N. M. Krylov y N. N. Bogolyubov a ecuaciones diferenciales estocásticas hizo posible, utilizando (9), obtener los resultados correspondientes para ecuaciones diferenciales elípticas y parabólicas. Resultó que era posible resolver ciertos problemas difíciles de estudiar las propiedades de las soluciones de ecuaciones de este tipo con un parámetro pequeño en la derivada más alta utilizando consideraciones probabilísticas. La solución del segundo problema de valores límite para la ecuación (6) también tiene un significado probabilístico. La formulación de problemas de valores en la frontera para un dominio ilimitado está estrechamente relacionada con la recurrencia del correspondiente proceso de difusión.
En el caso de un proceso homogéneo en el tiempo (L no depende de s), la solución positiva de la ecuación, hasta una constante multiplicativa, coincide bajo ciertas suposiciones con la densidad de distribución estacionaria de MP. ser útil al considerar problemas de valores límite para parábolas no lineales. ecuaciones. R. 3. Khasminski.
Iluminado.: Markov A. A., "Izvestia. Sociedad de Física y Matemáticas de la Universidad de Kazán", 1906, vol 15, núm. 4, p. 135-56; V a s h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, pág. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; Rusia. trad. - "Uspekhi Matematicheskikh Nauk", 1938, siglo. 5, pág. 5-41; Zhun Kai-lai, Cadenas homogéneas de Markov, trad. Del inglés, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, pág. 417-36; Dynkin E.B., Yushkevich A.A., “La teoría de la probabilidad y sus aplicaciones”, 1956, vol 1, siglo. 1, pág. 149-55; Xant J.-A., Procesos y potenciales de Markov, trad. Del inglés, M., 1962; D e l a s h e r i K., Capacidades y procesos aleatorios, trad. Del francés, M., 1975; Dynk y E.V., Fundamentos de la teoría de los procesos de Markov, M., 1959; el suyo, Procesos de Markov, M., 1963; G y h man I. I., S k o r o x o d A. V., Teoría de procesos aleatorios, vol 2, M., 1973; Freidlin M.I., en el libro: Resultados de la ciencia. Teoría de probabilidad, . - Teórico. 1966, M., 1967, pág. 7-58; X a sminskiy R. 3., “Teoría de la probabilidad y sus aplicaciones”, 1963, vol.
proceso de markov- proceso aleatorio discreto o continuo X(t), que puede especificarse completamente usando dos cantidades: la probabilidad P(x,t) de que la variable aleatoria x(t) en el instante t sea igual a x y la probabilidad P(x2, t2½x1t1) que... ... Diccionario económico y matemático.
proceso de markov- Un proceso aleatorio discreto o continuo X(t), que puede especificarse completamente usando dos cantidades: la probabilidad P(x,t) de que la variable aleatoria x(t) en el instante t sea igual a x y la probabilidad P(x2 , t2? x1t1) que si x en t = t1... ... Guía del traductor técnico
Un tipo especial importante de procesos aleatorios. Un ejemplo de proceso de Markov es la desintegración de una sustancia radiactiva, donde la probabilidad de desintegración de un átomo dado en un corto período de tiempo no depende del curso del proceso en el período anterior.... ... Diccionario enciclopédico grande - Markovo procesas statusas T sritis automatika atitikmenys: engl. Proceso de Markov vok. Markovprozeß, m rus. proceso de Markov, m; Proceso de Markov, m pranc. Processus markovien, m … Automatikos terminų žodynas
proceso de markov- Markovo vyksmas statusas T sritis fizika atitikmenys: engl. proceso de Markov; Proceso markoviano vok. Markow Prozeß, m; Markowscher Prozeß, m rus. proceso de Markov, m; Proceso de Markov, m pranc. proceso de Markoff, m; Processus marcovien, m;… … Fizikos terminų žodynas
Un tipo especial importante de procesos aleatorios. Un ejemplo de proceso de Markov es la desintegración de una sustancia radiactiva, donde la probabilidad de desintegración de un átomo dado en un corto período de tiempo no depende del curso del proceso en el período anterior.... ... diccionario enciclopédico
Un tipo especial importante de procesos aleatorios (ver Proceso aleatorio), que son de gran importancia en las aplicaciones de la teoría de la probabilidad a diversas ramas de las ciencias naturales y la tecnología. Un ejemplo de proceso magnético es la desintegración de una sustancia radiactiva.… … Gran enciclopedia soviética
Un descubrimiento destacado en el campo de las matemáticas realizado en 1906 por el científico ruso A.A. Markov.
Los supuestos sobre la naturaleza de Poisson del flujo de solicitudes y sobre la distribución exponencial del tiempo de servicio son valiosos porque nos permiten aplicar el aparato de los llamados procesos aleatorios de Markov en la teoría de colas.
Un proceso que ocurre en un sistema físico se llama proceso de Markov (o proceso sin efectos secundarios) si para cada momento en el tiempo la probabilidad de cualquier estado del sistema en el futuro depende sólo del estado del sistema en el momento presente y no No depende de cómo llegó el sistema a este estado.
Consideremos un ejemplo elemental de proceso aleatorio de Markov. El punto se mueve aleatoriamente a lo largo del eje de abscisas. En ese momento el punto está en el origen y permanece allí durante un segundo. Un segundo después, se lanza una moneda; si el escudo de armas se cae, el punto se mueve una unidad de longitud hacia la derecha, si el número se mueve hacia la izquierda. Un segundo después, se vuelve a lanzar la moneda y se realiza el mismo movimiento aleatorio, etc. El proceso de cambiar la posición de un punto (o, como dicen, “caminar”) es un proceso aleatorio con tiempo discreto y un conjunto contable. de estados
En la figura 1 se muestra un diagrama de posibles transiciones para este proceso. 19.7.1.
Demostremos que este proceso es markoviano. De hecho, imaginemos que en algún momento el sistema se encuentra, por ejemplo, en un estado: una unidad a la derecha del origen. Las posibles posiciones de un punto después de una unidad de tiempo serán con probabilidades 1/2 y 1/2; a través de dos unidades - , , con probabilidades 1/4, ½, 1/4 y así sucesivamente. Obviamente, todas estas probabilidades dependen únicamente de dónde se encuentra el punto en un momento dado y son completamente independientes de cómo llegó allí.
Veamos otro ejemplo. Existe un dispositivo técnico que consta de elementos (piezas) de diferentes tipos y que tienen diferente durabilidad. Estos elementos pueden fallar en momentos aleatorios e independientemente unos de otros. El correcto funcionamiento de cada elemento es absolutamente necesario para el funcionamiento del dispositivo en su conjunto. El tiempo de funcionamiento sin fallos de un elemento es una variable aleatoria distribuida según una ley exponencial; para elementos de tipo y los parámetros de esta ley son diferentes e iguales a y respectivamente. En caso de fallo del dispositivo, se toman inmediatamente medidas para identificar las causas y el elemento defectuoso detectado se sustituye inmediatamente por uno nuevo. El tiempo necesario para restaurar (reparar) el dispositivo se distribuye según una ley exponencial con el parámetro (si un elemento de tipo ) y (si un elemento de tipo ) falla.
En este ejemplo, el proceso aleatorio que ocurre en el sistema es un proceso de Markov con tiempo continuo y un conjunto finito de estados:
Todos los elementos están en funcionamiento, el sistema está funcionando,
El elemento tipo está defectuoso, el sistema está en reparación,
El elemento tipo está defectuoso, el sistema está en reparación.
En la figura se muestra un diagrama de posibles transiciones. 19.7.2.
De hecho, el proceso tiene la propiedad de Markov. Supongamos, por ejemplo, que en este momento el sistema se encuentre en un estado (funcional). Dado que el tiempo de funcionamiento sin fallos de cada elemento es indicativo, el momento de fallo de cada elemento en el futuro no depende de cuánto tiempo ya ha funcionado (cuando fue entregado). Por tanto, la probabilidad de que en el futuro el sistema permanezca en un estado o lo abandone no depende de la “prehistoria” del proceso. Supongamos ahora que en este momento el sistema se encuentra en el estado (un elemento del tipo está defectuoso). Dado que el tiempo de reparación también es indicativo, la probabilidad de completar la reparación en cualquier momento posterior no depende de cuándo comenzó la reparación y cuándo se entregaron los elementos restantes (reparables). Por tanto, el proceso es markoviano.
Tenga en cuenta que la distribución exponencial del tiempo de operación del elemento y la distribución exponencial del tiempo de reparación son condiciones esenciales, sin las cuales el proceso no sería markoviano. De hecho, supongamos que el tiempo de funcionamiento adecuado del elemento no se distribuye según una ley exponencial, sino según alguna otra ley, por ejemplo, según la ley de densidad uniforme en el área. Esto significa que se garantiza que cada elemento funcionará durante un período de tiempo, y en la sección de a puede fallar en cualquier momento con la misma densidad de probabilidad. Supongamos que en algún momento el elemento está funcionando correctamente. Obviamente, la probabilidad de que un elemento falle en algún momento en el futuro depende de cuánto tiempo hace que se instaló el elemento, es decir, depende de la historia anterior, y el proceso no será markoviano.
La situación es similar con el tiempo de reparación; si no es indicativo y el elemento se está reparando en este momento, entonces el tiempo restante de reparación depende de cuándo comenzó; el proceso tampoco será markoviano.
En general, la distribución exponencial juega un papel especial en la teoría de los procesos aleatorios de Markov en tiempo continuo. Es fácil comprobar que en un proceso de Markov estacionario el tiempo durante el cual el sistema permanece en cualquier estado siempre se distribuye según una ley exponencial (con un parámetro que depende, en general, de este estado). De hecho, supongamos que en este momento el sistema se encuentra en un estado y ha estado en él durante algún tiempo antes. Según la definición de proceso de Markov, la probabilidad de cualquier evento en el futuro no depende de la historia previa; en particular, la probabilidad de que un sistema abandone un estado dentro del tiempo no debería depender de cuánto tiempo ya haya pasado el sistema en ese estado. En consecuencia, el tiempo que el sistema permanece en el estado debe distribuirse según una ley exponencial.
En el caso de que un proceso que ocurre en un sistema físico con un conjunto contable de estados y tiempo continuo sea markoviano, este proceso se puede describir utilizando ecuaciones diferenciales ordinarias en las que las funciones desconocidas son probabilidades de estado. A continuación demostraremos la compilación y solución de dichas ecuaciones utilizando el ejemplo de un sistema de colas simple.
Un proceso aleatorio es un conjunto o familia de variables aleatorias cuyos valores están indexados por un parámetro de tiempo. Por ejemplo, el número de estudiantes en un salón de clases, la presión atmosférica o la temperatura en ese salón de clases en función del tiempo son procesos aleatorios.
Los procesos aleatorios se utilizan ampliamente en el estudio de sistemas estocásticos complejos como modelos matemáticos adecuados del funcionamiento de dichos sistemas.
Los conceptos básicos para los procesos aleatorios son los conceptos. estado del proceso Y transición de un estado a otro.
Los valores de las variables que describen el proceso aleatorio en un momento dado se llaman condiciónaleatorioproceso. Un proceso aleatorio realiza una transición de un estado a otro si los valores de las variables que definen un estado cambian a valores que definen otro estado.
El número de estados posibles (espacio de estados) de un proceso aleatorio puede ser finito o infinito. Si el número de estados posibles es finito o contable (a todos los estados posibles se les pueden asignar números de serie), entonces se llama al proceso aleatorio proceso con estados discretos. Por ejemplo, el número de clientes en una tienda o el número de clientes en un banco durante el día se describen mediante procesos aleatorios con estados discretos.
Si las variables que describen un proceso aleatorio pueden tomar cualquier valor de un intervalo continuo finito o infinito y, por lo tanto, el número de estados es incontable, entonces se llama proceso aleatorio. proceso con estados continuos. Por ejemplo, la temperatura del aire durante el día es un proceso aleatorio con estados continuos.
Los procesos aleatorios con estados discretos se caracterizan por transiciones abruptas de un estado a otro, mientras que en procesos con estados continuos las transiciones son suaves. Además, consideraremos sólo procesos con estados discretos, que a menudo se denominan cadenas.
Denotemos por gramo(t) es un proceso aleatorio con estados discretos y valores posibles gramo(t), es decir. posibles estados del circuito, - a través de símbolos mi 0 , mi 1 , mi 2 , … . A veces, los números 0, 1, 2,... de la serie natural se utilizan para indicar estados discretos.
Proceso aleatorio gramo(t) se llama procesoCondiscretotiempo, si las transiciones del proceso de un estado a otro sólo son posibles en momentos estrictamente definidos y prefijados en el tiempo t 0 , t 1 , t 2 , … . Si la transición de un proceso de un estado a otro es posible en cualquier momento previamente desconocido, entonces se llama proceso aleatorio. procesocon continuotiempo. En el primer caso, es obvio que los intervalos de tiempo entre transiciones son deterministas, y en el segundo son variables aleatorias.
Un proceso de tiempo discreto ocurre cuando la estructura del sistema que describe este proceso es tal que sus estados pueden cambiar solo en momentos predeterminados en el tiempo, o cuando se supone que para describir el proceso (sistema) es suficiente conocer los estados en ciertos momentos en el tiempo. Entonces estos momentos se pueden contar y podemos hablar del estado. mi i en un momento dado t i .
Los procesos aleatorios con estados discretos se pueden representar como un gráfico de transición (o estado) en el que los vértices corresponden a estados y los arcos orientados corresponden a transiciones de un estado a otro. Si del estado mi i la transición a un solo estado es posible mi j, entonces este hecho se refleja en el gráfico de transición mediante un arco dirigido desde el vértice mi i a la cima mi j(Figura 1, a). Las transiciones de un estado a varios otros estados y de varios estados a un estado se reflejan en el gráfico de transición, como se muestra en la Fig. 1, b y 1, c.
