Tiempo continuo y ecuaciones maestras

Año 2 · Módulo 13

126.1. Estados discretos y transiciones en cualquier instante

Las transiciones moleculares, las averías y las reparaciones ocurren en instantes que rara vez coinciden con una malla temporal prefijada por el investigador. Si el estado pertenece a un conjunto discreto, la evolución en tiempo continuo puede formularse a partir de tasas de salto. Estas tasas determinan distribuciones exponenciales de permanencia y una ecuación diferencial para las probabilidades. El resultado conecta la descripción individual de eventos con la evolución colectiva de una distribución.

Para cada estado podemos imaginar varios relojes aleatorios que compiten. El reloj asociado a una transición de tasa $q_{ij}$ señala una posibilidad de salto desde $i$ hasta $j$ . Si esas tasas se mantienen constantes durante la permanencia en $i$ , el tiempo hasta abandonar el estado es exponencial y el destino depende de las tasas relativas. Entre acontecimientos el estado permanece fijo. La secuencia de estados y la de tiempos de espera forman juntas la trayectoria en tiempo continuo.

Sea $X(t)$ una variable aleatoria cuyos posibles valores pertenecen a un conjunto finito o numerable $\mathcal S$ . Una cadena de Markov en tiempo continuo y homogénea satisface, de manera informal,

P\{X(t+s)=j\mid X(t)=i,\text{historia hasta }t\} =P\{X(s)=j\mid X(0)=i\}.

El estado presente debe contener toda la información necesaria para predecir el futuro probabilístico, dadas las hipótesis del modelo. La homogeneidad indica que las leyes de transición dependen del tiempo transcurrido $s$ y no de la hora absoluta $t$ . Ninguna de esas propiedades implica que la trayectoria sea independiente de su pasado en sentido ordinario; el estado actual es producto de la historia, puede haber fuerte autocorrelación y las visitas repetidas a un estado pueden estructurar la dinámica.

El paso desde tiempo discreto exige algo más que reemplazar $n$ por $t$ en una matriz. En tiempo continuo debemos indicar con qué rapidez se abandona cada estado y hacia qué destinos se puede saltar. Una probabilidad de transición del 20 % por paso solo fija un ritmo físico si definimos la duración del paso y la manera en que esa probabilidad cambia al refinar el intervalo temporal.

Las tasas se reúnen en el generador infinitesimal $Q$ , cuya diagonal incorpora la tasa total de salida con signo negativo. Para un espacio finito, la distribución evoluciona según una ecuación diferencial lineal y sus soluciones son probabilidades normalizadas. En espacios numerables infinitos las tasas locales pueden no garantizar esa evolución; hace falta además controlar la posible acumulación de infinitos saltos en un tiempo finito.

126.2. El generador infinitesimal y el significado de una tasa

Consideremos inicialmente un conjunto finito de estados $\mathcal S=\{1,\ldots,m\}$ . Definimos las probabilidades de transición

P_{ij}(t)=P\{X(t)=j\mid X(0)=i\}.

Para dos estados distintos $i\ne j$ , la tasa instantánea de transición se escribe

q_{ij}=\lim_{h\downarrow0}\frac{P_{ij}(h)}h,

cuando el límite existe y es finito. Sus unidades son el inverso del tiempo. La tasa $q_{ij}$ no es una probabilidad y puede ser mayor que uno por unidad de tiempo. En un intervalo suficientemente corto, la probabilidad de saltar desde $i$ hasta $j$ se aproxima a $q_{ij}h$ , siempre que los términos de orden superior sean despreciables.

El generador o matriz de tasas es

Q=(q_{ij}),\qquad q_{ij}\geq0\ (i\ne j),\qquad q_{ii}=-\sum_{j\ne i}q_{ij}.

Cada fila suma cero. El elemento diagonal es negativo o nulo y mide la pérdida total de probabilidad por salidas del estado. Llamaremos

r_i=-q_{ii}=\sum_{j\ne i}q_{ij}

a la tasa total de abandono de $i$ . En notación matricial, para intervalos pequeños, $P(h)=I+hQ+o(h).$

La identidad indica que, casi siempre, en un intervalo diminuto el sistema conserva su estado; el término $hQ$ introduce la pequeña probabilidad de salida y reparte sus destinos. El término de resto se interpreta componente a componente, o bajo una norma matricial apropiada en dimensión finita. Las condiciones sobre $Q$ garantizan que sus filas tienen la estructura necesaria para generar una dinámica probabilística válida en el caso finito.

Supongamos tres estados A, B y C. Desde A podemos saltar a B con tasa dos por hora y a C con tasa uno por hora; desde B podemos saltar a A con tasa tres por hora; C es absorbente. Ordenando los estados A, B, C,

Q=\begin{pmatrix} -3&2&1\\ 3&-3&0\\ 0&0&0 \end{pmatrix}.

En A, la tasa total de salida es tres por hora, aunque existen dos destinos. Durante un intervalo de una milésima de hora, la probabilidad aproximada de un salto a B es $0{,}002$ , a C es $0{,}001$ y de permanecer en A es $0{,}997$ . No debemos extrapolar esa aproximación lineal a intervalos extensos, pues al multiplicar las tasas por diez horas obtendríamos números que ni siquiera serían probabilidades admisibles.

El estado absorbente tiene aquí una interpretación transparente. Su fila del generador es nula y su tasa de salida es cero. La distribución de espera para abandonar ese estado tiene masa total cero sobre tiempos finitos, de modo que, una vez alcanzado, el proceso permanece allí. En espacios finitos esta construcción evita la explosión, es decir, la acumulación de infinitos saltos durante un intervalo finito; para espacios infinitos necesitaremos comprobar condiciones adicionales.

Tres estados, A arriba y B abajo a la izquierda, y C a la derecha. A y B se conectan con tasas 2 y 3, A conduce a C con tasa 1. A la derecha aparece la matriz generadora. — Figura 126.1. Diagrama de tasas de la cadena de Markov en tiempo continuo con generador Q=[[-3,2,1],[3,-3,0],[0,0,0]]. A salta a B con tasa 2 y a C con tasa 1; B salta a A con tasa 3; C es absorbente. Las entradas fuera de la diagonal son tasas por unidad de tiempo y no probabilidades directas de transición. Ampliar figura ↗

126.3. La ecuación maestra como balance de probabilidad

En C123 estudiamos distribuciones que no cambian al multiplicarlas por una matriz estocástica. Ahora queremos describir cómo varía una distribución en cada instante. Sea $p(t)=(p_1(t),\ldots,p_m(t))$ un vector fila con

p_i(t)=P\{X(t)=i\}.

La propiedad de Markov y la homogeneidad permiten escribir $p(t+h)=p(t)P(h).$

Sustituyendo la expansión infinitesimal, restando $p(t)$ y dividiendo por $h$ , obtenemos, al hacer $h\to0$ ,

\boxed{\frac{dp(t)}{dt}=p(t)Q}.

Es la ecuación maestra o ecuación de Kolmogórov hacia delante para la distribución de estados. Si trabajáramos con vectores columna aparecería $Q^{\mathsf T}p$ ; cambiar la orientación sin cambiar la matriz es una fuente habitual de errores de implementación.

En componentes, la ecuación expresa un balance

\frac{dp_j(t)}{dt} =\sum_{i\ne j}p_i(t)q_{ij} -p_j(t)\sum_{k\ne j}q_{jk}.

El primer término reúne los flujos de probabilidad que llegan a $j$ desde los demás estados y el segundo, los que salen de $j$ . Al sumar todas las ecuaciones, los flujos internos se cancelan y resulta

\frac{d}{dt}\sum_jp_j(t)=0.

La probabilidad total se conserva, de modo que si comenzamos con $\sum_jp_j(0)=1$ seguirá valiendo uno. Este balance es análogo a las ecuaciones de conservación que usamos en sistemas dinámicos, aunque aquí la cantidad transportada es probabilidad y los movimientos ocurren mediante saltos aleatorios.

En dimensión finita y con $Q$ constante, la solución exacta se expresa mediante la exponencial matricial

p(t)=p(0)e^{Qt}, \qquad P(t)=e^{Qt}.

La exponencial se define por su serie $e^{Qt}=\sum_{n\geq0}(Qt)^n/n!$ . No equivale a aplicar la exponencial por separado a cada entrada de $Q$ . La matriz $P(t)$ resultante es estocástica (sus entradas son no negativas y cada fila suma uno) y satisface la relación de composición $P(t+s)=P(t)P(s)$ , propia de un semigrupo de transiciones.

Conviene distinguir dos ecuaciones de Kolmogórov. La ecuación hacia delante para la matriz es $P'(t)=P(t)Q$ ; la ecuación hacia atrás es $P'(t)=QP(t)$ . Cuando $Q$ es una matriz constante en el modelo homogéneo, ambas son compatibles porque $Q$ conmuta con su exponencial. Sin embargo, sus derivaciones y usos difieren; una mira la distribución al final de un intervalo y la otra condiciona por lo que ocurre al principio. Esta distinción se usará en problemas de primeros pasos y en modelos temporalmente heterogéneos.

Que $p(t)$ satisfaga una ecuación diferencial determinista no elimina la aleatoriedad de las trayectorias, pues cada realización de $X(t)$ es una secuencia impredecible de tiempos y destinos de salto. La ecuación maestra gobierna la distribución de un conjunto ideal de realizaciones, o la incertidumbre sobre el estado de una sola unidad, sin especificar ninguna trayectoria particular.

126.4. Dos estados, solución exacta y relojes de salto

El ejemplo elemental es un sistema que alterna entre dos estados, A y B. Supongamos que abandona A hacia B con tasa $\alpha>0$ y B hacia A con tasa $\beta>0$ . Su generador es

Q=\begin{pmatrix} -\alpha&\alpha\\ \beta&-\beta \end{pmatrix}.

Si llamamos $p_B(t)$ a la probabilidad de ocupar B, entonces $p_A(t)=1-p_B(t)$ . La ecuación maestra se reduce a

\frac{dp_B}{dt}=\alpha(1-p_B)-\beta p_B =\alpha-(\alpha+\beta)p_B.

Esta ecuación diferencial lineal admite la solución

p_B(t)=\frac{\alpha}{\alpha+\beta} +\left(p_B(0)-\frac{\alpha}{\alpha+\beta}\right) e^{-(\alpha+\beta)t}.

La distribución se aproxima exponencialmente a un valor estacionario. Si $\alpha=0{,}4$ y $\beta=0{,}1$ por hora, la probabilidad estacionaria de B es $0{,}4/0{,}5=0{,}8$ . Partiendo de A con certeza, $p_B(0)=0$ , tenemos

p_B(t)=0{,}8\bigl(1-e^{-0{,}5t}\bigr).

Al cabo de dos horas, $p_B(2)=0{,}8(1-e^{-1})\approx0{,}5057$ . La escala de relajación de la distribución es $\tau=1/(\alpha+\beta)=2$ horas, que no debe confundirse con las duraciones medias de permanencia, que son $1/\alpha=2{,}5$ horas en A y $1/\beta=10$ horas en B.

El modelo distingue entre frecuencia de saltos y fracción del tiempo. Cada salto cambia el estado al otro, así que la cadena observada solo en los instantes de salto alterna A, B, A, B y reparte sus visitas casi por mitades entre ambos estados. Sin embargo, una observación hecha en un instante arbitrario encuentra el estado B con probabilidad 0,8 porque las permanencias allí duran, en promedio, más.

La misma diferencia aparece en fenómenos de organización intermitente. Dos estados pueden recibir un número parecido de entradas, pero uno acumular la mayor parte del tiempo observado. En un sistema de producción, por ejemplo, una fase de funcionamiento estable y otra de reparación podrían diferir enormemente en duración. La disponibilidad temporal no se deduce directamente de la fracción de visitas. La ecuación maestra da la ocupación probabilística y el proceso de saltos, el recuento de transiciones.

Las tasas son parámetros de un modelo; no conviene tomarlas por constantes de la naturaleza. Si el funcionamiento real tiene desgaste, aprendizaje, cambios de intensidad por la hora o distribuciones de permanencia no exponenciales, el modelo homogéneo de dos estados puede resultar insuficiente. Su utilidad está en mostrar con exactitud cómo las tasas determinan las probabilidades temporales bajo supuestos definidos.

El generador permite reconstruir trayectorias sin integrar directamente la ecuación maestra. Si el proceso está en un estado $i$ con tasa total $r_i>0$ , el tiempo que permanece allí antes del siguiente salto tiene distribución exponencial de tasa $r_i$

P\{H_i>t\}=e^{-r_it},\qquad E[H_i]=\frac1{r_i}.

Una vez que ocurre la salida, la probabilidad de elegir el destino $j\ne i$ es

R_{ij}=\frac{q_{ij}}{r_i}.

La matriz $R$ , definida sobre los estados desde los que puede haber una salida, es la cadena de destinos observados en los instantes de salto. En estados absorbentes no existe siguiente salto y la expresión requeriría dividir por cero; no debe asignarse arbitrariamente una nueva transición física a esos estados.

Retomemos el sistema A, B, C de la segunda sección. Desde A, $r_A=3$ por hora, por lo que el tiempo de salida tiene media de veinte minutos. Cuando se produce ese salto, va a B con probabilidad $2/3$ y a C con probabilidad $1/3$ . La tasa $q_{AB}=2$ por hora, que no es una probabilidad del 200 %, combina una frecuencia total de salidas con una proporción condicional de destinos.

Podemos interpretar el mismo resultado mediante relojes exponenciales competidores. Imaginemos un reloj de tasa dos para el evento A→B y otro de tasa uno para A→C, independientes y activados al entrar en A. El primero que se dispara determina la transición. El mínimo de los dos tiempos exponenciales es exponencial de tasa tres; la probabilidad de que gane el reloj de B es $2/(2+1)$ . Esta construcción muestra por qué las tasas competidoras se suman y por qué sus destinos se seleccionan proporcionalmente a sus intensidades.

Para simular una trayectoria basta, conceptualmente, con repetir dos operaciones. Primero se genera un intervalo de espera exponencial de tasa $r_i$ ; después se escoge un destino conforme a las probabilidades $R_{ij}$ , se actualiza el estado y se reinicia el mecanismo. Si $r_i=0$ , la trayectoria ya no salta. El algoritmo de simulación estocástica exacta de Gillespie, que desarrollaremos en C128 para modelos de reacción, usa precisamente esta lógica de tiempos de salto y canales de evento bajo tasas constantes entre acontecimientos.

En cadenas finitas con tasas acotadas, estas reglas construyen trayectorias sin explosiones. Si hay infinitos estados y las tasas de salida crecen demasiado deprisa, los tiempos de espera sucesivos pueden acumularse dentro de un intervalo finito (es el fenómeno matemático de explosión). En ese caso, la sola condición de que las filas del generador sumen cero ya no garantiza la conservación de la probabilidad para todas las soluciones posibles.

El generador, la ecuación maestra y la simulación por saltos describen el mismo modelo. Cuando una implementación contradice sistemáticamente una solución analítica, debemos revisar si conservó las unidades, los destinos y las condiciones de inicio antes de atribuir el error a fluctuaciones aleatorias.

Una banda superior muestra 38 trayectorias alternando A y B. Debajo, una curva teórica suave y una frecuencia simulada convergen hacia una probabilidad de B de 0,8. — Figura 126.2. Treinta y ocho trayectorias de la cadena A↔B y probabilidad de encontrarse en B desde el estado inicial A. Con α=0,4 por hora y β=0,1 por hora, la solución exacta es pB(t)=0,8(1−exp(−0,5t)); la frecuencia de 7000 realizaciones simuladas se aproxima a esa curva. Las trayectorias siguen fluctuando mientras converge la distribución. Ampliar figura ↗

126.5. Estacionariedad, balance detallado y corrientes persistentes

Una distribución estacionaria $\pi$ , tratada como vector fila, satisface

\pi Q=0,\qquad \pi_i\geq0,\qquad \sum_i\pi_i=1.

Esta ecuación cumple en tiempo continuo el papel de $\pi P=\pi$ en C123. El balance estacionario exige que, para cada estado, el flujo medio de probabilidad entrante iguale al saliente. Para una cadena finita irreducible existe una distribución estacionaria única y las probabilidades de ocupación convergen hacia ella desde cualquier estado inicial. En tiempo continuo, bajo estas condiciones, no aparece el obstáculo de periodicidad propio de algunas cadenas discretas de salto.

El equilibrio detallado es una condición más fuerte, que exige

\pi_iq_{ij}=\pi_jq_{ji} \qquad\text{para todo }i\ne j.

Cada flujo entre dos estados debe compensarse directamente con su flujo inverso. Si esta igualdad se cumple, la cadena es reversible respecto de $\pi$ . Sin embargo, la estacionariedad no obliga a cancelar los flujos pareja por pareja; puede existir una circulación de probabilidad que entra y sale de cada estado sin desaparecer globalmente.

Consideremos tres estados organizados en un ciclo orientado A→B→C→A, todos con tasa $r>0$ , sin transiciones inversas. Su generador es

Q=\begin{pmatrix} -r&r&0\\ 0&-r&r\\ r&0&-r \end{pmatrix}.

La distribución $\pi=(1/3,1/3,1/3)$ es estacionaria, porque cada estado recibe flujo $r/3$ desde su antecesor y entrega $r/3$ al siguiente. No hay equilibrio detallado, porque $\pi_Aq_{AB}=r/3$ , mientras que $\pi_Bq_{BA}=0$ . El modelo mantiene una corriente probabilística sostenida aunque las ocupaciones medias permanezcan constantes.

Podemos expresar esa corriente para un par de estados mediante $J_{ij}=\pi_iq_{ij}-\pi_jq_{ji}.$

Cuando $J_{ij}=0$ en todas las parejas conectadas, tenemos equilibrio detallado; si algunas corrientes no se anulan, la distribución puede seguir siendo estacionaria gracias a un balance global. La distribución de ocupación no determina la dirección de los movimientos ni la circulación mantenida entre estados; para reconstruir la dinámica hace falta información sobre las transiciones.

Esta comparación también permite pensar en la producción de entropía de un modelo de saltos. En sistemas físicos que satisfacen hipótesis termodinámicas adicionales, los cocientes entre tasas directas e inversas pueden relacionarse con fuerzas y disipación. Sin embargo, no es correcto asignar una producción de entropía termodinámica a cualquier matriz de tasas. El ciclo unidireccional ideal tiene transiciones inversas de tasa cero; las fórmulas logarítmicas basadas en cocientes de tasas deben usarse allí con cuidado. En modelos físicamente reversibles a escala microscópica, pueden existir flujos pequeños de retorno que una observación limitada no detecta. La distribución uniforme no distingue esas situaciones. Para sostener una interpretación física del desequilibrio necesitamos especificar el mecanismo y las variables termodinámicas pertinentes.

La existencia de una $\pi$ tampoco significa que todas las trayectorias se vuelvan constantes o que cada realización tenga necesariamente la misma proporción temporal durante ventanas cortas. En una cadena finita irreducible, la proporción de tiempo que una trayectoria larga pasa en $i$ converge a $\pi_i$ , pero ese resultado es asintótico. Las fluctuaciones, las correlaciones y la duración efectiva de la observación determinan cuánto puede diferir una trayectoria finita del valor límite.

Tres estados forman un ciclo dirigido con flechas en una sola dirección; todos tienen probabilidad estacionaria de un tercio, mientras la corriente circula de forma persistente. — Figura 126.3. Cadena en tiempo continuo de tres estados con saltos solo en el sentido 0→1→2→0, cada uno con tasa 1. La distribución π=(1/3,1/3,1/3) es estacionaria, aunque una corriente neta J=1/3 cruza cada arista. Por tanto, estacionariedad no implica equilibrio detallado. Ampliar figura ↗

126.6. Nacimiento, desaparición y una ecuación maestra numerable

Hasta aquí trabajamos con unos pocos estados. Muchos sistemas físicos y biológicos se describen mejor mediante el número de unidades presentes, $n=0,1,2,\ldots$ . Un ejemplo matemáticamente manejable es un sistema en el que nuevas unidades aparecen a tasa constante $b>0$ y cada unidad existente desaparece de manera independiente con tasa individual $\delta>0$ . Si hay $n$ unidades, la tasa total de desaparición es $\delta n$ . Este modelo se conoce como proceso de inmigración y muerte; no supone que las unidades se reproduzcan a sí mismas.

Las transiciones permitidas son

n\longrightarrow n+1\quad\text{a tasa }b, \qquad n\longrightarrow n-1\quad\text{a tasa }\delta n.

Si $p_n(t)=P\{X(t)=n\}$ , la ecuación maestra resulta

\frac{dp_n}{dt} =b\,p_{n-1}+\delta(n+1)p_{n+1}-(b+\delta n)p_n,

con la convención $p_{-1}=0$ . El primer término describe llegada desde $n-1$ ; el segundo, desaparición desde $n+1$ ; los otros dos son las salidas desde $n$ . Para $n=0$ la ecuación se reduce a $p_0'=\delta p_1-bp_0$ , porque no hay transiciones hacia números negativos.

Podemos obtener una ecuación exacta para la media $m(t)=E[X(t)]$ . Multiplicando cada ecuación por $n$ , sumando sobre los estados y justificando el intercambio de operaciones bajo condiciones apropiadas, se encuentra

\frac{dm}{dt}=b-\delta m(t).

La solución es

m(t)=\frac b\delta+ \left(m(0)-\frac b\delta\right)e^{-\delta t}.

La media converge hacia $b/\delta$ . Para este modelo lineal, la ecuación del primer momento se cierra, es decir, su evolución no depende del segundo momento. Esa propiedad no es general. En procesos con tasas no lineales, por ejemplo tasas proporcionales a $n(n-1)$ , la derivada de la media depende de momentos de orden superior. Sustituir una variable aleatoria por su media dentro de una función no lineal suele ser injustificado porque $E[f(X)]\ne f(E[X])$ .

La distribución estacionaria de este proceso es la de Poisson con parámetro $b/\delta$ ,

\pi_n=e^{-b/\delta}\frac{(b/\delta)^n}{n!}.

Podemos comprobarlo con el balance detallado entre estados consecutivos $\pi_n b=\pi_{n+1}\delta(n+1).$

Al sustituir la expresión de $\pi_n$ , ambos lados coinciden. El resultado se interpreta como la competencia entre una tasa de incorporación constante y una salida total proporcional a la cantidad presente. No implica que las llegadas sean el único origen de variabilidad ni que todas las poblaciones con media $b/\delta$ sean Poisson.

En poblaciones y redes de reacciones, las tasas suelen depender del número de unidades presentes. La ecuación maestra conserva entonces la información sobre extinción, fluctuaciones y sucesos raros que una ecuación para la esperanza podría omitir. El comportamiento de un agregado también puede coincidir con una ecuación determinista conocida, sin que sus trayectorias individuales sean deterministas. Esa diferencia debe comprobarse para cada elección del espacio de estados.

Arriba, una curva creciente de número esperado se acerca a cinco. Abajo, distribuciones Poisson para una, tres horas y equilibrio muestran la evolución de las probabilidades de cada tamaño de población. — Figura 126.4. En el proceso de inmigración a tasa 4/h y desaparición individual a tasa 0,8/h, comenzando sin unidades, el número presente tiene distribución Poisson de media m(t)=5(1−exp(−0,8t)). La media converge a 5 (A), mientras toda la distribución evoluciona hacia Poisson(5) (B). Los parámetros son ilustrativos. Ampliar figura ↗

126.7. Proyectar estados puede destruir la propiedad de Markov

La construcción anterior supone que el estado elegido contiene las variables relevantes para calcular las tasas futuras. Cuando la observación reúne varios estados microscópicos bajo una misma etiqueta, la propiedad de Markov puede perderse, porque dos sistemas con la misma categoría observable pueden tener probabilidades de salida diferentes si conservan configuraciones internas distintas que el investigador omitió.

Imaginemos que un dispositivo tiene tres estados microscópicos, A, B y C. Un sensor solamente informa «funcionando» cuando el estado real es A o B y «detenido» cuando está en C. Si A y B tienen diferentes tasas de salida hacia C, la probabilidad de una avería futura depende de cuál de los dos estados ocultos ocupa el sistema. Conforme transcurre el tiempo sin avería, cambia la composición probabilística entre A y B, por lo que la tasa aparente de salida puede variar con la duración observada.

En algunos casos, una partición de estados permite una agregación markoviana exacta, también llamada lumpability. Para una cadena finita homogénea, una condición suficiente de agregación fuerte es que, para cualquier par de estados microscópicos $i,i'$ dentro de un mismo bloque y para cada bloque destino $B$ , se cumpla

\sum_{j\in B}q_{ij}=\sum_{j\in B}q_{i'j}.

Entonces la tasa total de transición hacia otro bloque es la misma desde cualquier estado microscópico del bloque de origen y las tasas agregadas no dependen de la distribución interna. Si esta condición falla, una descripción agregada todavía puede ser útil como aproximación, pero ya no debemos asumir que es exactamente una cadena de Markov homogénea.

La dimensión temporal es otra fuente de problemas. Una tasa de fallo que aumenta con el tiempo desde la última reparación no es constante mientras el sistema ocupa una etiqueta simple como «operativo». Una solución posible es incorporar la edad del componente como variable de estado. La descripción resultante puede recuperar la propiedad de Markov en un espacio ampliado, aunque ya no sea necesariamente una cadena finita de saltos con el mismo generador original.

Podemos mostrar el problema de agregación con un cálculo. Supongamos que A y B no se comunican entre sí, pero pueden pasar al estado detenido C, respectivamente con tasas de uno y 0,1 por hora. Si al inicio ignoramos cuál de los dos estados activos corresponde a cada dispositivo y les asignamos probabilidades iguales, la supervivencia de la etiqueta «funcionando» hasta el tiempo $t$ es

S(t)=\tfrac12 e^{-t}+\tfrac12 e^{-0{,}1t}.

La función no es una exponencial única. Su tasa condicional de detención es la razón entre $-S'(t)$ y $S(t)$ ; disminuye con el paso del tiempo porque, entre los dispositivos que siguen funcionando, aumenta la proporción de los pertenecientes al estado microscópico más duradero. Ningún componente individual cambia su tasa de fallo; la aparente dependencia de la edad se debe solo a la mezcla de estados ocultos y al condicionamiento sobre la supervivencia.

Tampoco toda tasa variable obliga a introducir memoria, ya que podemos usar un generador $Q(t)$ dependiente de la hora y mantener una propiedad de Markov no homogénea. En ese caso la ecuación hacia delante es $p'(t)=p(t)Q(t)$ , pero su solución general no es simplemente $p(0)e^{Q(t)t}$ . La evolución requiere integrar la ecuación con el orden temporal adecuado.

Por eso no conviene atribuir fallos empíricos al «ruido» sin examinar antes la elección de estados. Si la variable observada no recoge una duración relevante, una configuración latente o una influencia externa, el problema puede residir en la representación. El generador pertenece siempre a un modelo definido sobre un espacio de estados y no puede asignarse a cualquier lista de categorías sin considerar qué información retienen.

Arriba, la supervivencia de una mezcla de dos exponentiales disminuye más lentamente que una única exponencial equiparada en la tasa inicial. Abajo, la tasa agregada de fallo cae progresivamente hacia 0,1 por hora. — Figura 126.5. El sensor reúne dos estados microscópicos activos A y B con tasas de fallo constantes de 1/h y 0,1/h. La supervivencia agregada es S(t)=0,5exp(−t)+0,5exp(−0,1t). El riesgo instantáneo agregado disminuye de 0,55/h hacia 0,1/h porque cambia la composición de los supervivientes. La etiqueta observada no representa por sí sola una cadena homogénea de dos estados. Ampliar figura ↗

126.8. Comprobación de un modelo de saltos

En cadenas finitas, la exponencial matricial da formalmente las distribuciones exactas. En la práctica, un programa obtiene una aproximación numérica cuyo error debe distinguirse de la variabilidad estocástica de una muestra de trayectorias. Un método útil para verificar el resultado es la uniformización. Elegimos $\nu\geq\max_i r_i$ y definimos

R=I+\frac Q\nu.

La matriz $R$ es estocástica (sus filas suman uno y sus entradas son no negativas). Entonces

e^{Qt}=e^{-\nu t} \sum_{k=0}^{\infty}\frac{(\nu t)^k}{k!}R^k.

Esta identidad presenta la evolución continua como una mezcla Poisson de pasos de una cadena discreta. Algunos pasos pueden ser «ficticios», es decir, permanencias en el mismo estado, debido a los elementos diagonales de $R$ . La representación da un procedimiento de cálculo que conserva de manera natural la no negatividad y la normalización al truncar la serie y controlar adecuadamente la cola de Poisson.

Para comprobar el ejemplo de dos estados, podemos calcular la probabilidad analítica de ocupar B y compararla con la exponencial matricial y con trayectorias simuladas por el método de tiempos exponenciales. El siguiente código requiere NumPy y SciPy; distingue el cálculo de distribución de la simulación de historias.

import numpy as np
from scipy.linalg import expm

alfa, beta = 0.4, 0.1             # por hora
Q = np.array([[-alfa, alfa],
              [ beta, -beta]])
instante = 2.0                    # horas
inicial = np.array([1.0, 0.0])   # A con probabilidad uno

distribucion = inicial @ expm(Q * instante)
analitica_b = alfa/(alfa+beta) * (1-np.exp(-(alfa+beta)*instante))
assert np.allclose(Q.sum(axis=1), 0.0)
assert np.all(distribucion >= -1e-12)
assert np.isclose(distribucion.sum(), 1.0)
assert np.isclose(distribucion[1], analitica_b)

rng = np.random.default_rng(126)
def estado_final(t_final):
    estado = 0
    reloj = 0.0
    while True:
        tasa_salida = alfa if estado == 0 else beta
        reloj += rng.exponential(scale=1.0/tasa_salida)
        if reloj > t_final:
            return estado
        estado = 1 - estado

replicas = 50_000
estados = np.fromiter((estado_final(instante) for _ in range(replicas)),
                       dtype=np.int64, count=replicas)
frecuencia_b = np.mean(estados == 1)
print('P(B, 2 horas), matriz:', round(distribucion[1], 5))
print('P(B, 2 horas), fórmula:', round(analitica_b, 5))
print('P(B, 2 horas), simulación:', round(frecuencia_b, 5))
assert abs(frecuencia_b - analitica_b) < 0.02

Los dos primeros resultados deben coincidir dentro de la tolerancia de cálculo. La frecuencia de las trayectorias simuladas fluctúa alrededor de ellos con error de muestreo, cuyo orden decrece como el inverso de la raíz del número de repeticiones. El código usa una semilla reproducible y verifica la normalización de la distribución. La prueba de simulación solo comprueba que la implementación se comporta como el modelo matemático que pretende representar; los supuestos empíricos requieren su propia validación.

Una aproximación ingenua mediante Euler explícito escribiría $p(t+h)\approx p(t)(I+hQ)$ . Si el paso $h$ es excesivo, $I+hQ$ puede contener entradas negativas y pierde entonces su interpretación probabilística. Elegir un paso pequeño y comprobar convergencia es indispensable cuando no usamos métodos como la exponencial matricial o la uniformización. Incluso un algoritmo formalmente estable puede introducir sesgos relevantes en la predicción de eventos raros.

Una cadena de Markov en tiempo continuo permite responder preguntas que no resuelve una simple tabla de transiciones observadas. Establece cuánto tiempo se espera en cada estado, qué destinos compiten por el siguiente salto, cómo evoluciona la distribución y qué flujos permanecen en un eventual régimen estacionario. El generador da una representación local en tasas y la ecuación maestra convierte esas tasas en una dinámica de probabilidades; ambos describen el mismo proceso, aunque ninguno equivale a observar directamente una trayectoria única.

La estimación de tasas depende de la calidad de los datos. Si observamos todas las transiciones y conocemos el tiempo total $\tau_i$ transcurrido en cada estado, la contribución básica de la verosimilitud de una trayectoria es, ignorando términos independientes de las tasas y fijando el estado inicial,

L(Q)\propto\prod_{i\ne j}q_{ij}^{n_{ij}} \exp\!\left(-\sum_i r_i\tau_i\right),

siendo $n_{ij}$ el número de saltos registrados de $i$ a $j$ . En esta expresión intervienen a la vez el recuento de transiciones y el tiempo de exposición en cada estado. Estimar una tasa dividiendo solo por el número de visitas o por el tiempo total de estudio, sin considerar cuánto permaneció realmente el sistema en cada estado, puede dar resultados inconsistentes.

Si solamente observamos estados en visitas separadas por intervalos amplios, sabemos que la matriz de transición entre observaciones es $P(\Delta)=e^{Q\Delta}$ , pero pueden haber ocurrido saltos intermedios no registrados. Recuperar $Q$ desde una matriz $P(\Delta)$ estimada plantea un problema de identificación, porque no toda matriz estocástica discreta puede representarse como la exponencial de un generador válido y, cuando puede, la solución puede no ser única. La falta de datos continuos no se resuelve automáticamente tomando un logaritmo matricial.

Hay otra dificultad si el mecanismo cambia durante el periodo de observación. Supongamos que una intervención reduce temporalmente una tasa de salida. Si estimamos una sola tasa promedio, el generador resultante mezcla dos regímenes y puede predecir mal los tiempos de espera en ambos. Los datos agregados pueden ser compatibles con una matriz $P(\Delta)$ aparentemente estable y, sin embargo, ocultar una dependencia relevante del calendario. La validación exige comparar la predicción con transiciones observadas en distintos intervalos y verificar que las tasas propuestas sean plausibles en la escala temporal de aplicación. Si hay pocos saltos, la incertidumbre de una tasa individual puede ser considerable incluso cuando la proporción de estados está bien estimada.

El espacio de estados también determina lo que el modelo puede explicar. Si las duraciones no son exponenciales, si hay variables ocultas decisivas o si las tasas dependen de condiciones cambiantes, puede ser necesario ampliar el espacio de estados. La transición de una descripción microscópica a una macroscópica requiere justificar qué propiedades se conservan. La ecuación para una media poblacional puede ser exacta en modelos lineales y fallar en otros precisamente porque las fluctuaciones y las dependencias alimentan las tasas de cambio.

El generador especifica las tasas de transición y, junto con la condición inicial, determina la evolución probabilística en la cadena finita homogénea. La ecuación hacia delante conserva la masa total; el generador también permite identificar permanencias exponenciales y probabilidades de elegir el destino de cada salto. En espacios de estados infinitos, la existencia de una dinámica global conservativa requiere condiciones adicionales que impidan una acumulación infinita de saltos en tiempo finito.

Un registro esporádico solo da las transiciones entre visitas, que no tienen por qué coincidir con cada salto real. La matriz observada en un intervalo fijo puede escribirse como una exponencial de generador cuando existe un modelo homogéneo adecuado, pero recuperar un generador único a partir de esa matriz no está garantizado. La elección de variables de estado y la calidad del registro condicionan la interpretación de las tasas estimadas.

Referencias

Anderson, W. J. (1991). Continuous-Time Markov Chains: An Applications-Oriented Approach. Springer. Generadores, semigrupos y propiedades de cadenas en tiempo continuo.
Gillespie, D. T. (1977). Exact stochastic simulation of coupled chemical reactions. The Journal of Physical Chemistry, 81(25), 2340–2361. DOI: 10.1021/j100540a008. Simulación basada en tiempos de salto y selección de canales.
Norris, J. R. (1997). Markov Chains. Cambridge University Press. Generadores, ecuaciones de Kolmogórov y tiempos de permanencia.
Ross, S. M. (1996). Stochastic Processes (2.ª ed.). Wiley. Construcción y aplicaciones de cadenas de Markov en tiempo continuo.
Van Kampen, N. G. (2007). Stochastic Processes in Physics and Chemistry (3.ª ed.). North-Holland. Ecuaciones maestras, aproximaciones y fluctuaciones.