Distribuciones estacionarias y equilibrio detallado

Año 2 · Módulo 13

123.1. Invariancia estadística en un sistema que cambia

Una red de unidades reparables puede mantener constante la proporción de elementos averiados aunque cada unidad siga fallando y reparándose. Esta invariancia es una propiedad de la distribución de estados, mientras que los recorridos individuales siguen cambiando. La teoría de cadenas finitas permite caracterizarla mediante una ecuación matricial. También distingue entre conservar una distribución, converger hacia ella y mantener corrientes de probabilidad entre estados; son fenómenos que se investigan con herramientas diferentes.

Supongamos que, al observar un conjunto muy grande de equipos, el 60 % está operativo y el 40 % en reparación. En una segunda observación aparecen idénticas proporciones. No sabemos, sin embargo, cuántos equipos cambiaron de condición entre ambas observaciones. Es posible que ninguno lo hiciera o que existiera un flujo considerable de averías compensado por reparaciones. La invariancia del vector de proporciones solo expresa un balance global entre estados. Para determinar el flujo de transiciones se necesita conocer la matriz del proceso.

Conviene diferenciar tres objetos. El primero es el estado de una unidad, que puede cambiar aleatoriamente. El segundo es la distribución de probabilidades de los estados en un instante. El tercero es la ley conjunta de una secuencia completa de observaciones, incluida su dependencia temporal. En una sucesión arbitraria de variables, una distribución marginal constante es compatible con una estructura temporal que cambia de un instante a otro. En una cadena de Markov homogénea, en cambio, iniciar el proceso con una distribución invariante sí produce una versión estrictamente estacionaria, cuyas distribuciones conjuntas se conservan todas al trasladar el origen temporal.

La distinción tiene consecuencias para el trabajo empírico. Una proporción constante de días con alta demanda no implica independencia entre días ni ausencia de rachas. Podríamos observar las mismas frecuencias agregadas en dos hospitales y encontrar duraciones de episodios completamente distintas. Las matrices de transición contienen la información que falta. A la inversa, que las proporciones muestrales se mantengan durante un período corto no prueba que el mecanismo tenga una distribución estacionaria; puede tratarse de una compensación transitoria o de un cambio lento que todavía no es visible.

En física, «equilibrio» suele evocar un estado que ha dejado de evolucionar macroscópicamente. En probabilidad debemos afinar ese lenguaje. La estacionariedad exige invariancia de una distribución bajo la dinámica, mientras que el equilibrio detallado, que estudiaremos más adelante, impone una simetría adicional entre flujos de transición opuestos. Hay cadenas estacionarias con circulación probabilística persistente. Por ello, las expresiones equilibrio estadístico, régimen estacionario y equilibrio termodinámico no deben intercambiarse sin precisar las hipótesis del modelo.

123.2. La ecuación de invariancia y el problema de existencia

Sea una cadena de Markov homogénea con estados finitos $S=\{1,\ldots,m\}$. Usaremos la convención adoptada en C122, según la cual $P_{ij}$ es la probabilidad de pasar de $i$ a $j$, cada fila de $P$ suma uno y las distribuciones se escriben como vectores fila. Si la distribución inicial es $p_0$, entonces

Una distribución $\pi=(\pi_1,\ldots,\pi_m)$ es estacionaria cuando satisface

Es un sistema de ecuaciones lineales con restricciones probabilísticas. La primera igualdad significa que $\pi$ es un autovector izquierdo de $P$ asociado al autovalor uno. El autovalor uno existe para toda matriz estocástica finita, porque $P\mathbf 1=\mathbf 1$, donde $\mathbf 1$ es el vector columna formado por unos. La existencia de un autovector izquierdo no negativo que pueda normalizarse se demuestra con argumentos de cadenas finitas o promediando distribuciones sucesivas. No es necesario suponer que las trayectorias individuales se estabilicen.

Para verlo mediante promedios, partamos de cualquier distribución $p_0$ y definamos

Al multiplicar por $P$, obtenemos

Las entradas de un vector de probabilidad están acotadas entre cero y uno, de modo que la diferencia del lado derecho tiende a cero. El conjunto de distribuciones sobre un espacio finito es compacto; por tanto, cualquier punto de acumulación de esos promedios satisface la ecuación de invariancia. Esto prueba existencia para toda cadena finita sin requerir irreducibilidad ni aperiodicidad. Más adelante veremos que, de hecho, estos promedios convergen a una distribución estacionaria, aunque el límite puede depender del punto de partida si existen varias clases cerradas.

La existencia no garantiza unicidad. Si una cadena tiene estados o conjuntos de estados cerrados que nunca intercambian probabilidad, pueden existir varias distribuciones estacionarias y todas sus combinaciones convexas. Tampoco garantiza convergencia de $p_0P^n$ hacia alguna de ellas. La alternancia determinista entre dos estados, estudiada en C122, conserva la distribución $(1/2,1/2)$ pero hace oscilar otras distribuciones iniciales. Si existe una distribución invariante, si es única y si las distribuciones evolucionadas se aproximan a ella son tres preguntas independientes.

La ecuación lineal puede resolverse suprimiendo una de las ecuaciones redundantes de $\pi P=\pi$ y añadiendo la normalización $\sum_i\pi_i=1$. Para matrices grandes y dispersas se usan métodos numéricos especializados. Un algoritmo que devuelva un autovector sin verificar positividad y normalización todavía no ha producido una distribución probabilística válida. Cuando hay varias soluciones, encontrar una de ellas no autoriza a presentarla como «el» comportamiento estacionario universal.

123.3. Un modelo de dos estados resuelto por completo

Tomemos la cadena de ocupación hospitalaria introducida al final de C122. Los estados son $N$, ocupación normal, y $A$, ocupación alta. Su matriz ilustrativa es

Llamemos $\pi_N$ y $\pi_A$ a las probabilidades estacionarias. La primera ecuación de $\pi P=\pi$ puede escribirse como

lo que equivale a $0.15\pi_N=0.25\pi_A$. Combinando esta relación con $\pi_N+\pi_A=1$, encontramos

Si la cadena se inicia con esas probabilidades, las mantiene en todos los días posteriores. Como además es irreducible y aperiódica, las probabilidades marginales también convergen a esos valores desde cualquier distribución inicial. El número $0.375$ no significa que un servicio observado deba presentar exactamente un 37,5 % de días con ocupación alta durante cualquier ventana. Las frecuencias finitas fluctúan y las observaciones diarias están correlacionadas.

El cálculo puede extenderse a otros parámetros. Para dos estados, sea

La ecuación de invariancia se reduce a $a\pi_1=b\pi_2$. La única solución normalizada es

Esto muestra por qué la frecuencia relativa estacionaria de un estado depende tanto de la probabilidad de entrada como de la de salida. Un estado raro puede persistir largo tiempo cuando ocurre; otro puede recibir numerosas entradas y presentar episodios cortos. Confundir frecuencia con duración es especialmente problemático al analizar demanda asistencial, estados ecológicos o fallos técnicos.

La relación entre transición y convergencia también se puede calcular exactamente. Si $q_n=P(X_n=2)$, entonces $q_{n+1}=a+(1-a-b)q_n.$

Restando el punto fijo $q_*=a/(a+b)$, obtenemos $q_n-q_*=(1-a-b)^n(q_0-q_*).$

El segundo autovalor de la matriz es $\lambda_2=1-a-b$. En el ejemplo hospitalario vale $0.60$, de modo que la diferencia respecto de la probabilidad estacionaria se multiplica por ese factor cada día. Si $a+b>1$, el factor es negativo y el error alterna de signo; disminuye si su valor absoluto es menor que uno. Si $a=b=1$, vale $-1$ y la cadena, iniciada en un estado definido, alterna sin converger, aunque la solución estacionaria existe igualmente.

Cuando $a$ o $b$ puede ser cero, hay que revisar la clasificación. Si $a=b=0$, ambos estados son absorbentes y cualquier distribución es estacionaria. Si solo $a=0$ y $b>0$, el primer estado es absorbente y la única distribución estacionaria concentra toda la probabilidad en él. La fórmula $a/(a+b)$ conserva sentido en este último caso, pero la interpretación de un equilibrio entre dos estados comunicantes deja de ser apropiada.

123.4. Clases cerradas, estados transitorios y distribuciones múltiples

El vocabulario de comunicación y recurrencia introducido en C122 permite comprender la estructura de todas las distribuciones estacionarias de una cadena finita. Una clase comunicante reúne estados entre los que existe un camino de transiciones posibles en ambas direcciones. Es cerrada cuando ninguna transición con probabilidad positiva permite salir de ella. Una cadena finita siempre tiene al menos una clase cerrada. Dentro de una clase cerrada irreducible existe una distribución estacionaria única, con probabilidad positiva para todos sus estados.

Si hay varias clases cerradas, cada una admite su propia distribución estacionaria extendida con ceros fuera de la clase. Cualquier combinación convexa de esas distribuciones también es estacionaria. Los estados transitorios, que se abandonan definitivamente con probabilidad uno en una cadena finita, reciben probabilidad cero en toda distribución estacionaria. La expresión «se abandonan» describe el comportamiento eventual del proceso, sin fijar cuántos pasos tarda en ocurrir el abandono.

Consideremos tres estados $R,E,F$. Desde $R$ se permanece con probabilidad $0.4$, se entra en $E$ con probabilidad $0.2$ o en $F$ con probabilidad $0.4$. Los estados $E$ y $F$ son absorbentes. La matriz es

El estado $R$ es transitorio, porque la probabilidad de continuar en él durante $n$ pasos vale $0.4^n$, que tiende a cero. Las distribuciones estacionarias tienen la forma

Si comenzamos en $R$, la cadena acaba absorbida en $E$ o $F$. Como cada salida efectiva de $R$ se reparte en proporción $0.2:0.4$, las probabilidades finales son $1/3$ y $2/3$, respectivamente; la distribución límite es $(0,1/3,2/3)$. Si comenzamos en $E$, la distribución límite es $(0,1,0)$. Ambas son estacionarias, pero el resultado al que llega cada trayectoria depende de su situación inicial y de las transiciones aleatorias realizadas.

Una trayectoria individual iniciada en $R$ termina en uno de los dos estados absorbentes. La distribución límite $(0,1/3,2/3)$ describe el conjunto de realizaciones posibles; ninguna historia termina en un estado físico intermedio. Confundir la ley límite con la trayectoria es un error especialmente visible cuando los estados finales son alternativas excluyentes, como supervivencia o extinción de una población en un modelo discreto.

En una cadena finita irreducible todos los estados se comunican y la distribución estacionaria es única. La presencia de una sola clase cerrada también garantiza unicidad, aunque puedan existir estados transitorios fuera de ella. Para determinar qué ocurrirá al empezar en esos estados, además de la distribución estacionaria de cada clase cerrada hacen falta probabilidades de alcanzar cada una. Ese problema se estudiará de manera sistemática en C124, con tiempos de llegada y probabilidades de absorción.

123.5. Periodicidad, límites temporales y velocidad de mezclado

Una cadena finita irreducible tiene una distribución estacionaria única. Para garantizar que $p_0P^n$ converja a ella desde cualquier estado inicial se necesita, además, aperiodicidad. Una cadena que alterna necesariamente entre dos estados tiene una organización temporal rígida que impide que las probabilidades en instantes sucesivos se acerquen a un límite fijo.

Retomemos la matriz de alternancia

Empezando en el estado uno, las distribuciones son $(1,0)$, $(0,1)$, $(1,0)$ y así sucesivamente. La distribución $\pi=(1/2,1/2)$ es estacionaria porque $\pi P=\pi$. Sin embargo, $p_n$ no converge a $\pi$. El promedio temporal de las distribuciones, en cambio, cumple

En una cadena finita irreducible, las frecuencias temporales de visitas a los estados también convergen casi seguramente a $\pi$, incluso cuando la cadena es periódica. Así se distingue el límite de la distribución en un instante del límite de un promedio de observaciones. Una cadena puede ser ergódica para promedios temporales y, pese a ello, conservar oscilaciones en las distribuciones marginales si no se elimina la periodicidad. El uso del término «ergódica» varía entre áreas; por eso es preferible mencionar explícitamente la propiedad de convergencia que se está usando.

Cuando una cadena finita es irreducible y aperiódica, las distribuciones convergen geométricamente hacia $\pi$. La rapidez depende de la matriz y no se deduce de la sola existencia de la distribución estacionaria. En cadenas reversibles, que definiremos enseguida, los autovalores son reales y puede describirse el decaimiento mediante su magnitud. Un autovalor cercano a uno corresponde a un modo de relajación lento. Un autovalor cercano a menos uno puede producir alternancia persistente; su magnitud también cuenta para la convergencia. En cadenas no reversibles los autovalores pueden ser complejos y una sola cifra espectral no resume necesariamente toda la dinámica transitoria.

No debe confundirse mezclado con pérdida absoluta de memoria física. El mezclado afirma que distribuciones diferentes se aproximan entre sí y a $\pi$ conforme pasan los pasos, según una distancia probabilística y bajo las hipótesis pertinentes. Una trayectoria sigue conectando estados mediante transiciones dependientes; si $P_{ii}$ es elevado, observar $X_n=i$ continúa siendo informativo sobre $X_{n+1}$. Con el tiempo se pierde la capacidad de reconstruir la condición inicial remota a partir de la distribución del estado posterior, mientras que la correlación entre observaciones cercanas puede persistir.

Una distancia frecuente es la variación total, definida para dos distribuciones finitas como

Esta magnitud equivale a la mayor diferencia $|p(A)-q(A)|$ entre probabilidades asignadas a un mismo evento $A$. Con ella, la convergencia se traduce en una discrepancia entre predicciones. En aplicaciones hay que saber, además, si la cadena se acerca lo suficiente al régimen estacionario en un plazo pertinente. Una distribución estacionaria matemáticamente válida puede ser poco informativa para un fenómeno observado durante un intervalo mucho más breve que su tiempo de mezclado.

123.6. Flujos estacionarios, corrientes y equilibrio detallado

La ecuación $\pi P=\pi$ puede interpretarse como una contabilidad de probabilidad. Para cada estado $j$, exige

En el lado derecho se suma la probabilidad de llegar a $j$ desde todos los estados posibles, incluido $j$ mismo. La igualdad garantiza que su probabilidad no aumente ni disminuya de un paso al siguiente cuando la distribución inicial es $\pi$. Esta condición se llama balance global, porque lo que llega a cada estado compensa, en conjunto, lo que sale. Como es una condición sobre sumas, admite circulaciones dirigidas entre grupos de estados.

Definamos el flujo probabilístico estacionario desde $i$ hacia $j$ como $F_{ij}=\pi_iP_{ij}.$

El flujo es la probabilidad conjunta de ocupar $i$ en un instante y $j$ en el siguiente, cuando la cadena está en régimen estacionario. Para cada estado, el flujo total saliente es $\sum_jF_{ij}=\pi_i$; por balance global, el total entrante es $\sum_jF_{ji}=\pi_i$. Estas dos sumas pueden coincidir aun si $F_{ij}$ y $F_{ji}$ son distintos para pares particulares.

El equilibrio detallado impone una condición más exigente,

Cuando se cumple, cada flujo entre dos estados queda compensado exactamente por su flujo inverso. Sumando sobre $i$ recuperamos el balance global, porque

En esta igualdad final, el índice $i$ recorre las columnas de la segunda expresión, pero $P_{ji}$ son entradas de la fila $j$; por eso su suma es uno. Este cuidado evita un error habitual, el de suponer que las matrices estocásticas por filas también suman uno por columnas.

La condición de equilibrio detallado equivale a reversibilidad temporal de una cadena estacionaria. Si observamos pares consecutivos de estados, las probabilidades de $i\to j$ y $j\to i$ son iguales. En general, bajo equilibrio detallado, una secuencia finita de estados tiene la misma probabilidad que su secuencia invertida. La demostración usa el producto de probabilidades de transición y cancela sucesivamente los factores $\pi_i$. Esta simetría es probabilística. Para interpretar una cadena como sistema físico en equilibrio termodinámico se requieren, además, supuestos sobre microestados, intercambio de energía y naturaleza de sus transiciones.

En una cadena irreducible de dos estados, el balance global implica automáticamente equilibrio detallado. La probabilidad neta que va del primero al segundo debe compensarse con la que va en dirección contraria, pues no existe una tercera vía que permita una circulación cerrada. Con tres o más estados puede haber un ciclo orientado por el que la probabilidad circula continuamente. La posibilidad de corrientes estacionarias distingue ambas condiciones y es central en el estudio de procesos fuera del equilibrio.

Construyamos una cadena con tres estados colocados sobre un anillo, numerados $0,1,2$. Desde cada estado se avanza al siguiente en dirección horaria con probabilidad $0.8$ y se retrocede con probabilidad $0.2$. La probabilidad de permanecer en el mismo estado es nula. En el orden $0,1,2$, su matriz es

Las filas y las columnas suman uno. Por tanto, la distribución uniforme $\pi=(1/3,1/3,1/3)$ es estacionaria y cada estado recibe la misma probabilidad total que envía. Sin embargo, en cada arista orientada en sentido horario el flujo directo vale $(1/3)0.8=4/15$, mientras que el flujo contrario vale $(1/3)0.2=1/15$. La corriente neta es

entendiendo los índices módulo tres. Hay circulación sostenida de probabilidad en un régimen cuyas proporciones macroscópicas no cambian. Si solo registramos cuántas veces aparece cada estado, no veremos esa dirección preferente; para verla hay que contar transiciones orientadas.

La cadena es irreducible y, aunque nunca permanezca un paso en el mismo estado, también es aperiódica, porque es posible regresar a un estado tanto en dos pasos como en tres; el máximo común divisor de los tiempos de retorno es, entonces, uno. En consecuencia, desde cualquier distribución inicial las probabilidades convergen a la distribución uniforme. El ejemplo reúne existencia, unicidad y convergencia al régimen estacionario sin satisfacer equilibrio detallado. El mezclado no garantiza la ausencia de corrientes.

Una forma de cuantificar la asimetría de las transiciones es comparar las probabilidades de historias con sus inversiones temporales. Para una cadena finita estacionaria con pares de transiciones bidireccionales de probabilidad positiva, puede definirse la producción media de entropía de trayectoria mediante

El logaritmo es natural y la magnitud se expresa en nats por paso. En el anillo, cada una de las tres aristas aporta $0.2\log 4$, así que $\sigma=0.6\log 4$, aproximadamente $0.832$ nats por paso. La magnitud es no negativa porque, para flujos positivos, la diferencia y el logaritmo de su cociente tienen siempre el mismo signo. Bajo equilibrio detallado se anula. En contextos físicos donde existe una interpretación termodinámica bien especificada, esta expresión puede relacionarse con producción de entropía; en un sistema de categorías abstractas mide ante todo la asimetría estadística de las trayectorias.

El cálculo exige prudencia si una transición inversa es imposible. Un flujo directo positivo y uno inverso nulo dan lugar a una divergencia infinita en la expresión idealizada. Los datos finitos pueden mostrar ceros por falta de observaciones aunque la transición real tenga probabilidad positiva, de modo que un cero empírico no debe leerse automáticamente como una prohibición física. Hay que distinguir entre estructura del modelo e insuficiencia de la muestra, igual que con las matrices de transición de C122.

123.7. Reversibilidad, espectro y caminatas sobre redes

El equilibrio detallado facilita el análisis matemático porque permite construir una representación simétrica del operador de transición. Consideremos una cadena finita irreducible con distribución estacionaria $\pi$, de entradas estrictamente positivas. Sea $D$ la matriz diagonal con $D_{ii}=\pi_i$. Entonces el equilibrio detallado equivale a

Definimos $S=D^{1/2}PD^{-1/2}$. Mediante la igualdad anterior se obtiene $S=S^{\mathsf T}$. Por tanto, $P$ es semejante a una matriz real simétrica. Sus autovalores son reales y existe una base apropiada de modos ortogonales con respecto al producto interno ponderado por $\pi$. Este resultado explica por qué la reversibilidad aparece con tanta frecuencia en demostraciones de convergencia, desigualdades espectrales y análisis de muestreo de Monte Carlo.

Un ejemplo son las caminatas aleatorias sobre grafos no dirigidos. Consideremos una red conectada con pesos simétricos $w_{ij}=w_{ji}\geq0$ y fuerza del vértice $s_i=\sum_jw_{ij}>0$. Un caminante elige su próximo vecino con probabilidad proporcional al peso de la arista, es decir,

La distribución

es estacionaria y satisface equilibrio detallado, pues $\pi_iP_{ij}=w_{ij}/\sum_k s_k=\pi_jP_{ji}$. El caminante visita con mayor frecuencia los vértices de fuerza elevada. Para un grafo simple no dirigido, $s_i$ coincide con el grado. Se recuperan así ideas de las clases sobre redes, aunque la probabilidad de visitar un vértice no equivale a su importancia causal o funcional.

La reversibilidad tampoco elimina todos los problemas de convergencia. Si el grafo es bipartito y la caminata cambia obligatoriamente de una parte a la otra, la cadena tiene período dos. Podemos conservar la misma distribución estacionaria e introducir una caminata «perezosa», definida por $P_{\mathrm{lazy}}=(I+P)/2$. Ahora cada estado tiene probabilidad al menos $1/2$ de permanecer donde está; la periodicidad se elimina y se conserva la reversibilidad respecto de $\pi$. La modificación cambia la escala temporal de las transiciones. No debe aplicarse como un truco numérico sin considerar qué representa un paso del modelo.

En una cadena reversible aperiódica, las magnitudes de los autovalores no triviales controlan modos de relajación. Si el segundo valor en magnitud absoluta está muy cerca de uno, algunas discrepancias con la distribución estacionaria decaen lentamente. En las cadenas perezosas los autovalores son no negativos y la interpretación del llamado hueco espectral es más simple. No obstante, el espectro no reemplaza el análisis de observables concretos, porque una cantidad que depende poco de un modo lento podría estabilizar sus estimaciones antes que otra que depende intensamente de él.

123.8. Estimación y diagnóstico de regímenes estacionarios

Una matriz de transición puede venir de una hipótesis mecanística o estimarse a partir de observaciones. En una cadena finita observada sin errores, bajo homogeneidad y con suficientes visitas a cada estado, una estimación elemental es $\widehat P_{ij}=N_{ij}/N_i$, donde $N_{ij}$ cuenta transiciones de $i$ a $j$ y $N_i=\sum_jN_{ij}$. A partir de esa matriz podemos calcular $\widehat\pi$ resolviendo $\widehat\pi\widehat P=\widehat\pi$. Otra opción es estimar directamente la ocupación temporal, contando cuántas observaciones corresponden a cada estado.

Estos dos procedimientos responden de manera diferente a observaciones cortas. El primero usa las transiciones observadas y permite extrapolaciones bajo el modelo; si casi nunca visitamos un estado, su fila tendrá gran incertidumbre. El segundo refleja la trayectoria disponible y puede estar sesgado para aproximar la distribución de largo plazo si el sistema comenzó muy lejos de ella o presenta tiempos de relajación extensos. En una cadena irreducible finita con parámetros constantes, las frecuencias temporales convergen casi seguramente a $\pi$. Esa garantía asintótica, sin embargo, no dice cuántos datos necesitamos para una precisión científica razonable.

La dependencia temporal hace que contar mil observaciones consecutivas no equivalga a contar mil muestras independientes. En la cadena de dos estados con parámetro de persistencia $\lambda=1-a-b$, la correlación del indicador de un estado en el régimen estacionario decae como $\lambda^k$ al separar las observaciones $k$ pasos. Para $|\lambda|<1$ y registros suficientemente largos, el factor que multiplica aproximadamente la varianza de una media es $(1+\lambda)/(1-\lambda)$. Si $\lambda=0.6$, dicho factor es cuatro y mil observaciones correlacionadas contienen, para estimar esa media bajo estas hipótesis, una información comparable a unas doscientas cincuenta observaciones independientes. La equivalencia es aproximada, depende del estimando y no sustituye intervalos de confianza construidos correctamente.

Los datos pueden mostrar también cambios incompatibles con la homogeneidad asumida. Un sistema sanitario puede cambiar su capacidad instalada, recibir variaciones estacionales de demanda o modificar protocolos. Una matriz estimada combinando períodos de funcionamiento diferentes puede ser una media que no describe adecuadamente ninguno. Una aparente circulación entre categorías podría deberse a un cambio secular en las proporciones. Antes de interpretar corrientes $F_{ij}$ como propiedad del mecanismo, conviene comprobar que el período analizado admite razonablemente una descripción estable.

Para evaluar equilibrio detallado podemos comparar flujos empíricos orientados. En una trayectoria larga aproximadamente estacionaria, $N_{ij}/N$ estima $F_{ij}$. Las diferencias entre $N_{ij}$ y $N_{ji}$ son indicios de asimetría temporal, aunque requieren cuantificar variabilidad y el efecto de no haber iniciado el proceso en régimen estacionario. Una falta de evidencia de corriente no demuestra reversibilidad, porque quizá haya pocos datos, categorías mal elegidas o una dinámica oculta. Conviene formular el problema como un contraste entre modelos y predicciones observables.

Consideremos tres estados de funcionamiento de un servicio, etiquetados $B$, $M$ y $A$ (baja, media y alta ocupación). Supongamos la matriz de transición, puramente didáctica,

Solo se permiten transiciones entre estados vecinos o permanencia en el mismo estado. El cero entre ocupaciones baja y alta es una hipótesis explícita, según la cual un cambio de dos categorías en un solo día es imposible en el modelo. No deberíamos incorporarlo si los datos muestran saltos de esa magnitud. Todas las filas suman uno y los estados se comunican. Como existen probabilidades positivas de permanecer en cada estado, la cadena es aperiódica.

Busquemos una distribución con equilibrio detallado. Entre $B$ y $M$, la igualdad de flujos exige $0.3\pi_B=0.2\pi_M$; entre $M$ y $A$, exige $0.2\pi_M=0.4\pi_A$. De la primera relación resulta $\pi_B=(2/3)\pi_M$; de la segunda, $\pi_A=(1/2)\pi_M$. Al normalizar,

La ocupación media tiene probabilidad estacionaria $6/13$, mayor que la de la baja y la de la alta. La frecuencia de ocupación alta de largo plazo es $3/13$. La igualdad $\pi P=\pi$ puede comprobarse directamente. Entre $B$ y $M$, los flujos valen $(4/13)0.3=(6/13)0.2=1.2/13$. Entre $M$ y $A$, valen $(6/13)0.2=(3/13)0.4=1.2/13$. No hay corriente neta por las aristas, así que la cadena es reversible.

El siguiente código reproducible verifica tanto la invariancia como el equilibrio detallado y muestra cómo se aproximan las distribuciones iniciales a $\pi$.

import numpy as np

P = np.array([[0.7, 0.3, 0.0],
              [0.2, 0.6, 0.2],
              [0.0, 0.4, 0.6]], dtype=float)
pi = np.array([4, 6, 3], dtype=float) / 13
p0 = np.array([1.0, 0.0, 0.0])

assert np.all(P >= 0)
assert np.allclose(P.sum(axis=1), 1)
assert np.allclose(pi @ P, pi)
flujos = pi[:, None] * P
assert np.allclose(flujos, flujos.T)

for n in (0, 1, 3, 10, 30):
    pn = p0 @ np.linalg.matrix_power(P, n)
    distancia = 0.5 * np.abs(pn - pi).sum()
    print(f"n={n:2d}: {pn.round(5)}; TV={distancia:.6f}")

La cadena de tres estados del ejemplo tiene la distribución estacionaria $\pi=(4/13,6/13,3/13)$. Las proporciones permanecen constantes cuando se inicia el proceso con esa ley, aunque cada unidad siga cambiando de estado. La convergencia desde otra distribución exige condiciones adicionales; en la cadena presentada, la irreducibilidad y la aperiodicidad permiten obtenerla.

La reversibilidad plantea otra pregunta. Las proporciones estacionarias satisfacen un balance global de entradas y salidas en cada estado, mientras el equilibrio detallado compara el flujo de cada transición con el de su inversa. Esa distinción es indispensable al interpretar redes con circulación de probabilidad y procesos físicos mantenidos fuera del equilibrio.

Referencias

• Kemeny, J. G., y Snell, J. L. (1960). Finite Markov Chains. Van Nostrand. Estructura de clases, distribuciones estacionarias y estados absorbentes.
• Norris, J. R. (1997). Markov Chains. Cambridge University Press. Existencia, clasificación de estados y reversibilidad.
• Levin, D. A., Peres, Y., y Wilmer, E. L. (2017). Markov Chains and Mixing Times (2.ª ed.). American Mathematical Society. Convergencia, cadenas reversibles y espectro.
• Kelly, F. P. (1979). Reversibility and Stochastic Networks. Wiley. Interpretación de equilibrio detallado y redes estocásticas.
• Schnakenberg, J. (1976). Network theory of microscopic and macroscopic behavior of master equation systems. Reviews of Modern Physics, 48, 571–585. Corrientes y producción de entropía en modelos de transición. DOI: 10.1103/RevModPhys.48.571.