Absorción y tiempos de llegada en cadenas finitas

Año 2 · Módulo 13

124.1. Probabilidades y tiempos de llegada

Para un sistema reparable interesa conocer cuánto dura una avería. En otros sistemas importa el tiempo que transcurre hasta el fallo definitivo o hasta alcanzar un umbral operativo. La matriz de transición puede responder estas preguntas, pero hace falta incorporar el primer instante de llegada como una variable aleatoria. Esa construcción permite calcular qué destinos son posibles, con qué frecuencia se alcanzan y cuánto se tarda en llegar a cada uno.

Supongamos un sistema con estados de funcionamiento normal, advertencia y fallo irreversible. El fallo es irreversible dentro del horizonte del modelo; una vez que ocurre, la cadena permanece en ese estado, que es un estado absorbente. Si el sistema comienza funcionando, la probabilidad de llegar alguna vez al fallo, la de que ocurra durante los próximos diez días y el tiempo promedio hasta que aparezca son cantidades distintas. Es posible que casi todas las trayectorias terminen fallando, pero que la mayoría siga funcionando durante mucho tiempo. También puede haber una probabilidad no nula de escapar para siempre del fallo entrando en otro régimen cerrado. En ese caso, el tiempo de llegada puede ser infinito con probabilidad positiva.

Los tiempos de llegada se definen sobre las trayectorias individuales. Cada uno es una variable aleatoria que indica el primer instante en que una trayectoria entra en el estado o conjunto de estados de interés. La distribución de esa variable determina probabilidades, cuantiles y valores esperados. A diferencia de una fotografía estacionaria, estas magnitudes describen explícitamente el recorrido temporal que precede al evento.

La absorción es un caso especial. Puede interesarnos llegar a un estado aunque sea posible abandonarlo después. Por ejemplo, el primer día en que la ocupación supera una capacidad crítica es un tiempo de llegada; el servicio podría volver al día siguiente a una condición normal. Para estudiar el instante del primer cruce podemos detener la cadena en ese momento, sin afirmar que en el sistema real la ocupación elevada sea irreversible. La operación matemática de «hacer absorbente el objetivo» conserva el tiempo de primera llegada y permite usar técnicas de cadenas absorbentes.

De una misma matriz de transición se obtienen la probabilidad de absorción eventual, la función de distribución del tiempo de llegada y la esperanza de ese tiempo. La esperanza deja de ser un resumen satisfactorio cuando existe probabilidad positiva de no llegar nunca, pues entonces puede divergir. Hay que distinguir, además, objetivos alternativos; la probabilidad de alcanzar primero uno de dos estados absorbentes depende de las rutas de la cadena, mientras que el tiempo total hasta cualquier absorción responde a otra ecuación.

124.2. Definición de tiempo de llegada y evento absorbente

Sea $(X_n)_{n\geq0}$ una cadena de Markov con espacio finito de estados $S$. Para un conjunto objetivo $A\subseteq S$, definimos el primer tiempo de llegada como

Si la trayectoria nunca visita $A$, adoptamos la convención $\tau_A=\infty$. Esta posibilidad forma parte de la variable aleatoria. Si comenzamos dentro del conjunto, $\tau_A=0$; si queremos estudiar el primer retorno después del instante inicial, usamos en cambio $\tau_A^+=\inf\{n\geq1:X_n\in A\}$. La distinción entre llegar y retornar es necesaria porque el estado inicial puede pertenecer al objetivo.

Un estado $a$ es absorbente cuando $P_{aa}=1$. Un conjunto es cerrado cuando, una vez alcanzado, no se sale de él, aunque puedan continuar transiciones entre sus estados internos. Si hay varios resultados terminales mutuamente excluyentes, puede haber dos o más estados absorbentes. También es frecuente agrupar numerosos microestados de un régimen terminal dentro de una única categoría; esa simplificación será legítima para estudiar la primera entrada si las preguntas no dependen de la evolución posterior dentro del grupo.

La distribución de $\tau_A$ se puede describir mediante la función de supervivencia $S_i(n)=P_i(\tau_A>n),$ donde $P_i$ significa que comenzamos con $X_0=i$. Para $i\notin A$, $S_i(0)=1$. Su complemento, $1-S_i(n)$, es la probabilidad de haber visitado $A$ al menos una vez antes de terminar el paso $n$. El término «supervivencia» es técnico y puede corresponder a seguir sin reparar una máquina o a continuar sin cruzar un umbral.

El evento $\{\tau_A\leq n\}$ depende solo de los estados observados hasta $n$. Por ello, $\tau_A$ es un tiempo de parada respecto de la información natural generada por la cadena. Esta propiedad permite aplicar la propiedad fuerte de Markov; al llegar al conjunto, el comportamiento posterior, condicionado al estado efectivamente alcanzado, sigue la misma regla de transición y no requiere el camino anterior. El instante de llegada, en cambio, sí depende de la historia, pues se determina observándola.

La unidad temporal fija el significado de cada transición; un mismo número de pasos se lee de forma distinta si cada paso es un día, un ensayo o un evento. Si los tiempos entre observaciones son desiguales, una cadena discreta con pasos homogéneos puede ser un modelo insuficiente del tiempo real. Mientras trabajemos con una cadena discreta, las duraciones se expresarán en un número entero de transiciones.

124.3. La forma canónica de una cadena absorbente

Consideremos una cadena finita cuyos estados pueden dividirse entre transitorios y absorbentes, de modo que desde cualquier estado transitorio se alcanza alguno de los absorbentes con probabilidad uno. Reordenemos los estados colocando primero los $t$ transitorios y después los $r$ absorbentes. La matriz de transición adopta la forma

El bloque $Q$, de dimensión $t\times t$, contiene transiciones entre estados transitorios. El bloque $R$, de dimensión $t\times r$, contiene las probabilidades de pasar desde los transitorios hacia los absorbentes. El bloque inferior izquierdo es cero porque los absorbentes no pueden regresar a estados transitorios; el bloque inferior derecho es la identidad porque cada estado absorbente permanece donde está.

La suma de una fila de $Q$ puede ser menor que uno; la diferencia es la probabilidad de pasar en un paso al conjunto absorbente. Como todos los estados del bloque superior son realmente transitorios y la cadena es finita, la probabilidad de continuar sin absorberse tiende a cero. De forma equivalente, $Q^n$ tiende a la matriz cero y el radio espectral de $Q$ es menor que uno. Bajo estas hipótesis existe la matriz fundamental

La entrada $N_{ij}$ es el número esperado de visitas al estado transitorio $j$, comenzando en el transitorio $i$ y contando también la visita inicial si $i=j$. En el paso $n$, $(Q^n)_{ij}$ es la probabilidad de estar en $j$ sin haber sido absorbido; sumar sobre todos los pasos produce el número esperado de visitas. El resultado puede superar uno, pues una trayectoria puede regresar varias veces al mismo estado.

Con el vector $\mathbf 1$ de $t$ unos se obtiene el tiempo medio total hasta absorción

La fila $i$ de $N$ suma el número esperado de pasos que el proceso ocupa estados transitorios antes de entrar en uno absorbente. La duración incluye las transiciones anteriores a la absorción y coincide con el valor esperado de $\tau_A$ cuando $A$ reúne todos los estados absorbentes y la cadena parte fuera de $A$. La matriz

contiene las probabilidades de absorción; $B_{ik}$ es la probabilidad de terminar en el absorbente $k$ cuando se empieza en el transitorio $i$. Cada fila de $B$ suma uno bajo la hipótesis de absorción casi segura en alguno de los estados absorbentes enumerados.

Las fórmulas merecen una precaución. Antes de llamar $N$ a $(I-Q)^{-1}$ hay que verificar que los estados del bloque $Q$ se abandonan casi seguramente. Si existe una clase cerrada no incluida entre los resultados terminales, el radio espectral de $Q$ puede ser uno, la serie puede no converger y el tiempo medio de llegada al objetivo puede ser infinito. Esa dificultad es una propiedad genuina del proceso.

124.4. Un ejemplo con dos estados transitorios y dos destinos finales

Estudiemos una cadena con cuatro estados. $A$ y $B$ son dos fases de un proceso de resolución, mientras que $C$ y $D$ son resultados terminales distintos. La matriz es

Las probabilidades son ilustrativas. Desde $A$, en un paso se puede permanecer en $A$, avanzar a $B$ o terminar en $C$. Desde $B$, se puede permanecer allí o terminar en cualquiera de los dos resultados. No hay transición de retorno de $B$ a $A$. Tanto $C$ como $D$ son absorbentes.

Los bloques canónicos son

Para calcular la matriz fundamental invertimos

La inversa de esta matriz triangular es

Comenzando en $A$, se esperan dos visitas a $A$, contando el instante inicial, y una visita y media a $B$. Comenzando en $B$, se esperan dos visitas y media a ese mismo estado. El tiempo medio hasta cualquiera de los resultados terminales es entonces

Ninguna trayectoria individual dura tres pasos y medio; el valor 3.5 es el promedio de duraciones enteras, que pueden variar considerablemente entre realizaciones. Del mismo modo, las entradas fraccionarias de $N$ son promedios de conteos enteros de visitas.

Las probabilidades de absorción son

Una trayectoria que comienza en $A$ termina en $C$ con probabilidad $0.55$ y en $D$ con probabilidad $0.45$. Si comienza en $B$, las probabilidades correspondientes son $0.25$ y $0.75$. Las filas suman uno, como corresponde a un modelo donde la terminación en alguno de los dos resultados está garantizada casi seguramente.

Podemos comprobar el resultado por razonamiento directo. Desde $B$, cada paso tiene probabilidad $0.4$ de terminar y $0.6$ de continuar, por lo que el número medio de pasos hasta la salida es $1/0.4=2.5$. Condicionada a que ocurra la salida, la probabilidad de terminar en $C$ es $0.1/0.4=0.25$. La coincidencia con la matriz fundamental ayuda a verificar la interpretación antes de generalizarla a decenas o cientos de estados.

124.5. Momentos y distribución del tiempo de llegada

La matriz fundamental condensa una familia de ecuaciones que puede derivarse sin invertir matrices inicialmente. Sea $h_i=E_i[\tau]$ el tiempo esperado hasta absorción. Desde un estado transitorio consumimos un paso y, si continuamos en otro transitorio $j$, agregamos el tiempo que resta desde $j$. Por la propiedad de Markov y el principio de condicionamiento,

En forma matricial se escribe $h=\mathbf1+Qh$, de donde $(I-Q)h=\mathbf1$. La solución es $h=N\mathbf1$, el resultado anterior. Estas ecuaciones de primer paso son útiles porque permiten construir y revisar el modelo desde su significado antes de aplicar un procedimiento algebraico. También sirven cuando el objetivo no es originalmente absorbente, siempre que modifiquemos la cadena para detenerla al alcanzarlo.

En nuestro ejemplo, los tiempos medios satisfacen

La segunda igualdad da $h_B=2.5$; al sustituirla en la primera, $h_A=3.5$. La probabilidad de pasar directamente a un estado absorbente no multiplica ningún tiempo posterior, porque una vez completado el paso de llegada el tiempo restante es cero. Aquí es habitual introducir por error un paso adicional que desplaza toda la distribución calculada.

El valor esperado no describe por completo la incertidumbre de la duración. Podemos calcular el segundo momento $s_i=E_i[\tau^2]$. Si la cadena no se absorbe en el primer paso, la duración tiene la forma $1+\tau'$, cuyo cuadrado es $1+2\tau'+(\tau')^2$. Condicionando en el próximo estado obtenemos

La varianza se calcula componente a componente como $\operatorname{Var}_i(\tau)=s_i-h_i^2$. Para el ejemplo anterior,

Así, un tiempo medio de 3.5 pasos desde $A$ va acompañado de una desviación estándar de $\sqrt{5.75}$, aproximadamente 2.40 pasos. Con esa dispersión, las esperas mucho más largas que la media pueden tener una frecuencia no despreciable. Si una decisión operativa depende de que la resolución ocurra antes de un plazo, necesitamos probabilidades acumuladas o cuantiles.

El mismo método admite recompensas o costos diferentes por estado. Si permanecer un paso en $i$ tiene costo $c_i$, el costo esperado total antes de la absorción es $v=Nc$. Así se estudia, por ejemplo, el consumo acumulado de recursos. Una cantidad interpretada como tiempo corresponde a un costo unitario por paso; si los pasos tienen duraciones reales desiguales, hay que revisar antes el modelo temporal.

Para pronosticar un plazo concreto se necesita la distribución de $\tau$. En una cadena absorbente en forma canónica, el vector $Q^n\mathbf1$ contiene las probabilidades de continuar en algún estado transitorio después de $n$ pasos. Por tanto, si comenzamos en el transitorio $i$,

La fórmula se deduce de la interpretación de $(Q^n)_{ij}$ como la probabilidad de encontrarse en el transitorio $j$ al paso $n$ sin haber ingresado previamente en un estado absorbente. Al sumar sobre todos los transitorios obtenemos la probabilidad de no haber terminado. El complemento da la probabilidad acumulada de absorción hasta el paso $n$ inclusive.

Para un tiempo de llegada entero positivo, la función de probabilidad es

El vector $(I-Q)\mathbf1=\mathbf1-Q\mathbf1$ contiene las probabilidades de abandonar el conjunto transitorio en el siguiente paso. Al multiplicarlo por $Q^{n-1}$ se exige sobrevivir los primeros $n-1$ pasos y absorberse en el paso $n$. Si interesa qué destino terminal se alcanza, el producto $Q^{n-1}R$ da directamente las probabilidades conjuntas de tiempo y destino. La suma de esas matrices desde $n=1$ hasta infinito es $NR=B$, la matriz de probabilidades finales.

Retomemos el ejemplo de cuatro estados. Comenzando en $A$, la probabilidad de seguir sin terminar al finalizar los pasos cero, uno, dos y tres es, respectivamente,

La probabilidad de absorberse en el primer paso es $0.2$. En el segundo es $0.8-0.58=0.22$ y en el tercero, $0.58-0.398=0.182$. La probabilidad de haber terminado al finalizar el tercer paso es $1-0.398=0.602$. Pese a la media de 3.5 pasos, la probabilidad de continuar después del tercero es todavía del 39.8 %.

La probabilidad condicional de absorción en un paso, dado que el proceso seguía activo al comienzo de ese paso, puede escribirse

cuando el denominador es positivo. Para $A$, sus valores en los primeros pasos son $0.2$, $0.22/0.8=0.275$ y aproximadamente $0.182/0.58=0.314$. Cambian porque, entre las trayectorias que siguen sin absorberse, también cambia la proporción que se encuentra en cada estado transitorio. En $B$, donde cada paso tiene probabilidad de salida $0.4$, la probabilidad condicional de absorción permanece constante y la duración sigue una distribución geométrica.

La función de supervivencia y la media de un tiempo de llegada con valores enteros no negativos cumplen la identidad general

Para cadenas absorbentes que cumplen las hipótesis de la matriz fundamental, el lado derecho coincide con $\sum_n(Q^n\mathbf1)_i=(N\mathbf1)_i$. Esta relación sirve para revisar simulaciones y detectar si una distribución propuesta para el tiempo de llegada es compatible con su media. También muestra por qué las colas de la distribución, aunque contengan probabilidades pequeñas, pueden influir sustancialmente en el tiempo esperado cuando se prolongan durante muchos pasos.

124.6. Destinos competidores y tiempos condicionados al resultado

En muchos sistemas no existe un único estado terminal. Una máquina puede volver al servicio o descartarse; una población puede establecerse en una zona o extinguirse; un proceso administrativo puede resolverse por distintas vías. Si dos resultados son mutuamente excluyentes y el primero que aparece impide el otro, hablamos de eventos competidores. La probabilidad de cualquier terminación es diferente de la probabilidad de terminar por una causa específica.

La matriz $B=NR$ da las probabilidades de esos destinos. En nuestro ejemplo, empezando en $A$, el resultado $C$ ocurre con probabilidad $0.55$ y $D$ con probabilidad $0.45$. Puede interesarnos, además, el tiempo esperado condicionado a terminar en cada resultado. Sería incorrecto asumir que ambos grupos tendrán la misma duración media de 3.5 pasos. Una trayectoria que termina directamente en $C$ desde $A$ puede hacerlo en un solo paso, mientras que para terminar en $D$ debe pasar por $B$.

Sea $b^{(C)}$ el vector de probabilidades de terminar eventualmente en $C$, comenzando en cada estado transitorio. En nuestro ejemplo es la columna $C$ de $B$,

Definamos $w^{(C)}_i=E_i[\tau\,\mathbf1_{\{\text{destino}=C\}}]$, es decir, el tiempo multiplicado por el indicador de que el destino final sea $C$. Condicionando en el primer paso se demuestra que

De aquí se obtiene el tiempo esperado condicionado a ese destino

Al calcular $Nb^{(C)}$, obtenemos $(1.475,0.625)^{\mathsf T}$. Por tanto, comenzando en $A$, el tiempo medio si el destino es $C$ vale $1.475/0.55$, aproximadamente $2.682$ pasos. Para el destino $D$, el producto $Nb^{(D)}$ tiene primera entrada $2.025$; el tiempo medio condicionado es $2.025/0.45=4.5$ pasos. La media global se recupera al ponderar los resultados, $0.55(2.682)+0.45(4.5)\approx3.5$.

Esta descomposición ayuda a evitar una confusión frecuente en estudios observacionales. Si analizamos solo los casos que alcanzaron un resultado, la distribución de duraciones puede diferir de la correspondiente al conjunto completo. La diferencia proviene de la estructura de caminos y de la selección condicionada, que alteran las probabilidades de las historias observadas. Un análisis de resultados competidores debe especificar qué condicionamientos usa y presentar las probabilidades de cada evento y las duraciones relevantes.

Hay que distinguir también los eventos competidores de la censura. Si dejamos de observar un proceso antes de conocer su destino, no ha ocurrido necesariamente ninguno de los resultados terminales. Tratar todos los registros inconclusos como si hubieran terminado en un estado particular distorsiona las estimaciones. En datos reales se requieren métodos que manejen la información incompleta y sus posibles mecanismos, además del modelo de transiciones de estados.

124.7. Cuando el objetivo quizá nunca se alcance

Hasta ahora supusimos que la cadena se absorbe casi seguramente en alguno de los estados terminales incluidos en $A$. Un problema de primer paso hacia un objetivo particular puede carecer, sin embargo, de esa garantía. Consideremos tres estados $U,V,W$. Desde $U$, la cadena permanece en $U$ con probabilidad $0.5$, va a $V$ con probabilidad $0.4$ o alcanza $W$ con probabilidad $0.1$. Tanto $V$ como $W$ son absorbentes, pero el objetivo es solo $W$. La matriz es

Si el proceso entra en $V$, nunca llegará a $W$. Sea $u=P_U(\tau_W<\infty)$, la probabilidad de visitar alguna vez $W$. Por análisis del primer paso,

La probabilidad de alcanzar el objetivo es solo el 20 %. El 80 % restante corresponde a trayectorias que terminan en $V$, para las cuales $\tau_W=\infty$. En consecuencia, el tiempo esperado sin condicionar $E_U[\tau_W]$ es infinito.

Podemos calcular una duración condicionada. Mientras la cadena permanece en $U$, en cada paso tiene probabilidad $0.5$ de salir hacia $V$ o $W$. El número de pasos hasta abandonar $U$ sigue una distribución geométrica de media dos. El tiempo de salida y el destino final son independientes en este modelo, porque la elección entre $V$ y $W$, condicionada a salir, conserva la proporción $0.4:0.1$ en cada intento. Por ello,

Una duración media condicionada de dos pasos es compatible con una duración media incondicional infinita, porque la segunda incluye las historias que jamás llegan al objetivo. En una evaluación de confiabilidad o de recuperación, omitir ese 80 % puede llevar a conclusiones muy engañosas.

Para un objetivo arbitrario $A$, la función $u_i=P_i(\tau_A<\infty)$ satisface las ecuaciones

La probabilidad buscada es la solución no negativa mínima que cumple estas ecuaciones. Si existe una clase cerrada ajena a $A$, debemos asignarle probabilidad de llegada cero. Sin esas condiciones adicionales, el sistema lineal puede tener múltiples soluciones algebraicas que no son la probabilidad correcta de alcanzar el objetivo desde todos los estados. Otra posibilidad es identificar todas las clases terminales y calcular probabilidades de absorción en cada una.

Este ejemplo separa además una propiedad de la trayectoria del modo de observarla. Un estudio empírico puede registrar muchos procesos que todavía no han terminado al cerrar la observación. Esa ausencia de un desenlace observado puede indicar un tiempo de llegada largo o la posibilidad de no llegar nunca al objetivo. Con una ventana temporal finita no se pueden distinguir ambas explicaciones sin declarar supuestos sobre la dinámica, la duración del seguimiento y los mecanismos de pérdida de información.

124.8. Escapes raros, cuasiestacionariedad y permanencia prolongada

Los tiempos de llegada son especialmente importantes en sistemas con metastabilidad, en los que el proceso permanece durante períodos largos en una región antes de atravesar una transición poco probable. Pensemos en un estado transitorio único donde, en cada paso, la probabilidad de escapar hacia un absorbente es $\varepsilon$, con $0<\varepsilon\leq1$. Su bloque transitorio es $Q=(1-\varepsilon)$ y el tiempo de escape tiene la distribución geométrica

La supervivencia es $P(\tau>n)=(1-\varepsilon)^n$, el tiempo medio $1/\varepsilon$ y la varianza $(1-\varepsilon)/\varepsilon^2$. Si $\varepsilon=0.001$, el tiempo medio es mil pasos, aunque cualquier trayectoria concreta puede terminar mucho antes o después. Para $\varepsilon$ pequeño y escalas adecuadas, $(1-\varepsilon)^n$ se aproxima por $\exp(-\varepsilon n)$. La ley exponencial de tiempo continuo aparecerá al estudiar procesos de Poisson y ecuaciones maestras, pero el modelo aquí sigue teniendo pasos discretos.

En sistemas con varios estados transitorios, la permanencia prolongada puede acompañarse de una composición relativamente estable entre las trayectorias que aún no han sido absorbidas. Esa composición es una distribución cuasiestacionaria, una distribución fila $\mu$ sobre los estados transitorios que satisface

Si empezamos con $\mu$, la probabilidad de sobrevivir un paso es $\lambda$. Condicionada a haber sobrevivido, la distribución vuelve a ser $\mu$, porque $\mu Q/\lambda=\mu$. En consecuencia, $P_\mu(\tau>n)=\lambda^n$ y la probabilidad condicional de absorción por paso es $1-\lambda$. La forma de la distribución se conserva entre supervivientes mientras la masa no absorbida disminuye continuamente.

Cuando $Q$ es irreducible y aperiódica, bajo las hipótesis de transitoriedad pertinentes, los resultados espectrales para matrices no negativas permiten identificar una distribución cuasiestacionaria dominante y estudiar la convergencia condicional hacia ella. En modelos con varias regiones débilmente conectadas pueden aparecer múltiples escalas de relajación y modos de supervivencia prolongados. Para afirmar cuasiestacionariedad a partir de una simulación hay que controlar, además de la meseta aparente, la normalización condicional, la probabilidad que se pierde por absorción y la influencia del estado inicial.

En una cadena absorbente, una distribución estacionaria ordinaria (C123) se concentra en las clases cerradas de largo plazo; no asigna masa positiva a los transitorios. La cuasiestacionariedad describe precisamente cómo se distribuye la probabilidad condicionada a no haber llegado todavía al absorbente. En ecología puede describir poblaciones aún no extinguidas; en confiabilidad, máquinas todavía operativas; en modelos de salud, procesos que todavía no han alcanzado un evento definido. La absorción sigue ocurriendo y las unidades supervivientes pueden no ser representativas de las que comenzaron el proceso.

124.9. Comprobaciones y límites de la representación absorbente

Volvamos a la cadena de cuatro estados desarrollada en C124.4. Conocemos analíticamente su matriz fundamental, los tiempos medios, los segundos momentos y las probabilidades de cada destino. El siguiente código reproduce esos valores sin simulaciones; hace las operaciones matriciales, verifica las identidades principales y calcula la distribución del tiempo de llegada durante los primeros pasos.

import numpy as np

Q = np.array([[0.5, 0.3],
              [0.0, 0.6]], dtype=float)
R = np.array([[0.2, 0.0],
              [0.1, 0.3]], dtype=float)
I = np.eye(2)
uno = np.ones(2)

N = np.linalg.solve(I - Q, I)
h = N @ uno
B = N @ R
s = N @ (uno + 2 * Q @ h)
varianzas = s - h**2

assert np.allclose(Q @ uno + R @ np.ones(2), uno)
assert np.allclose(N, [[2.0, 1.5], [0.0, 2.5]])
assert np.allclose(B, [[0.55, 0.45], [0.25, 0.75]])
assert np.allclose(h, [3.5, 2.5])
assert np.allclose(varianzas, [5.75, 3.75])

print("Tiempo medio:", h)
print("Probabilidades de destino:\n", B)
print("Varianzas:", varianzas)
for n in range(4):
    supervivencia = np.linalg.matrix_power(Q, n) @ uno
    print(f"Paso {n}: P(tau>n) = {supervivencia}")

El uso de np.linalg.solve evita calcular explícitamente una inversa en el paso inicial cuando solo se necesita resolver un sistema; aquí construimos $N$ completo porque también queremos analizar sus entradas. En sistemas más grandes o matrices dispersas, los métodos lineales adecuados pueden ser más eficientes y estables. Debemos comprobar siempre que las probabilidades de transición sean no negativas, que las filas completas sumen uno y que los estados declarados absorbentes realmente lo sean. Las comprobaciones numéricas no sustituyen la justificación de esas hipótesis.

Una segunda verificación podría generar numerosas trayectorias independientes hasta absorción y comparar las proporciones de destinos y los tiempos empíricos con $B$ y $h$. Conviene registrar por separado el error Monte Carlo y cualquier discrepancia que provenga de programar una matriz distinta de la formulada. El carácter aleatorio de las simulaciones impide exigir igualdad exacta de frecuencias, pero permite estimar su variación esperada. Si el modelo tiene escapes extremadamente raros, una simulación corta podría observar cero absorciones y sugerir falsamente que el estado es estable.

La matriz fundamental resume las visitas esperadas a los estados transitorios antes de la absorción. Multiplicarla por el bloque de probabilidades de salida da las probabilidades de cada destino; multiplicarla por el vector de unos da los tiempos medios. Cuando el objetivo elegido puede no alcanzarse, esas operaciones deben distinguirse del tiempo de llegada a un conjunto más amplio de estados absorbentes.

El uso empírico exige documentar qué significa detener la cadena. Absorción matemática, abandono del seguimiento y terminación física del proceso no son equivalentes. Debe precisarse también el condicionamiento, porque seleccionar exclusivamente realizaciones que terminan en un destino modifica la distribución de los tiempos observados, incluso cuando la dinámica anterior al evento es la misma.

Referencias

• Kemeny, J. G., y Snell, J. L. (1960). Finite Markov Chains. Van Nostrand. Matriz fundamental y probabilidades de absorción.
• Norris, J. R. (1997). Markov Chains. Cambridge University Press. Propiedad fuerte de Markov y tiempos de llegada.
• Ross, S. M. (1996). Stochastic Processes (2.ª ed.). Wiley. Modelos de tiempos de espera y procesos de Markov.
• Darroch, J. N., y Seneta, E. (1965). On quasi-stationary distributions in absorbing discrete-time finite Markov chains. Journal of Applied Probability, 2, 88–100. Distribuciones cuasiestacionarias en cadenas finitas. DOI: 10.2307/3211876.
• Allen, L. J. S. (2010). An Introduction to Stochastic Processes with Applications to Biology (2.ª ed.). CRC Press. Modelos de absorción y extinción.