88.1. La parte menos observada puede dominar la pregunta

C87 mostró una dificultad básica del Monte Carlo para eventos raros. Si un evento tiene probabilidad

p≪1,p\ll1,

una simulación de tamaño NN produce aproximadamente NpNp ocurrencias. Cuando NpNp es pequeño, la estimación relativa es inestable incluso si el generador es correcto.

Ahora la pregunta cambia. Más allá de estimar una probabilidad rara bajo una distribución conocida, queremos entender cómo la forma de la cola determina esas probabilidades y qué ocurre cuando extrapolamos más allá de la región donde tenemos datos.

La cola de una distribución puede afectar las probabilidades de eventos extremos, los cuantiles altos, los máximos observados, la existencia de media o varianza, la velocidad de convergencia de los promedios y la estabilidad de los estimadores.

Dos distribuciones pueden parecer semejantes en su región central y producir predicciones muy diferentes para eventos raros.

Por eso la cola no es un detalle que se añade al final del análisis. Si la pregunta científica depende de extremos, la especificación de la cola forma parte del modelo principal.

88.2. Función de supervivencia

Para una variable real XX con función de distribución

F(x)=P(X≤x),F(x)=P(X\leq x),

definimos la función de supervivencia

Fˉ(x)=P(X>x)=1−F(x).\bar F(x) = P(X>x) = 1-F(x).

La supervivencia responde directamente a preguntas de cola.

Si queremos saber la probabilidad de superar un umbral xx, necesitamos

Fˉ(x).\bar F(x).

En escalas ordinarias, las probabilidades pequeñas pueden resultar difíciles de comparar. Por eso suelen representarse mediante ejes logarítmicos.

Para una exponencial con tasa λ\lambda,

Fˉexp(x)=e−λx,x≥0.\bar F_{\mathrm{exp}}(x) = e^{-\lambda x}, \qquad x\geq0.

En un gráfico semilogarítmico,

log⁡Fˉexp(x)=−λx,\log\bar F_{\mathrm{exp}}(x) = -\lambda x,

que es una recta.

Para una Pareto con escala mínima xmx_m y exponente α>0\alpha>0,

Fˉpar(x)=(xmx)α,x≥xm.\bar F_{\mathrm{par}}(x) = \left( \frac{x_m}{x} \right)^\alpha, \qquad x\geq x_m.

En ejes log-log,

log⁡Fˉpar(x)=αlog⁡xm−αlog⁡x.\log\bar F_{\mathrm{par}}(x) = \alpha\log x_m-\alpha\log x.

La pendiente es −α.-\alpha.

Las dos colas decaen de manera cualitativamente distinta.

88.3. Cola ligera, cola pesada y ley de potencia no son sinónimos

La terminología requiere cuidado.

Una exponencial tiene una cola que decae exponencialmente. Se considera típicamente una distribución de cola ligera.

Una Pareto tiene una cola de potencia:

Fˉ(x)∝x−α.\bar F(x) \propto x^{-\alpha}.

Es un ejemplo canónico de cola pesada y, más específicamente, de cola regularmente variante.

Ahora bien, «cola pesada» es una categoría más amplia que «Pareto». Una lognormal, por ejemplo, decae más lentamente que cualquier exponencial lineal en xx, pero su cola no es una ley de potencia regularmente variante.

Existen varias definiciones técnicas de heavy-tailed según el contexto. Una definición común exige que la función generadora de momentos positiva diverja:

E[etX]=∞para todo t>0.\mathbb E[e^{tX}] = \infty \qquad \text{para todo }t>0.

No toda distribución pesada comparte las mismas propiedades asintóticas.

Por ello, observar valores extremos frecuentes no justifica afirmar automáticamente «ley de potencia».

88.4. Un contraste controlado con la misma mediana

Compararemos una exponencial y una Pareto fijando en ambas

Med⁡(X)=1.\operatorname{Med}(X)=1.

Para la exponencial,

Med⁡(X)=log⁡2λ.\operatorname{Med}(X) = \frac{\log2}{\lambda}.

Elegimos entonces

λ=log⁡2.\lambda=\log2.

Para una Pareto,

Med⁡(X)=xm21/α.\operatorname{Med}(X) = x_m2^{1/\alpha}.

Tomamos α=1.5\alpha=1.5 y elegimos xm=2−1/α.x_m = 2^{-1/\alpha}.

Así,

Med⁡(X)=1\operatorname{Med}(X)=1

en ambas familias.

Supervivencias con la misma mediana.
Supervivencias con la misma mediana Ampliar figura ↗

Compartir un cuantil central, como muestra la figura, no hace comparables sus extremos.

88.5. Cuantiles

Para

0<p<1,0<p<1,

definimos un cuantil mediante

qp=inf⁡{x:F(x)≥p}.q_p = \inf\{x:F(x)\geq p\}.

En una distribución continua estrictamente creciente, F(qp)=p.F(q_p)=p.

Es frecuente trabajar con probabilidad de cola τ=1−p.\tau=1-p.

Entonces P(X>q1−τ)=τ.P(X>q_{1-\tau})=\tau.

Para la exponencial,

τ=e−λq,\tau = e^{-\lambda q},

de donde

q1−τexp=−log⁡τλ.q_{1-\tau}^{\mathrm{exp}} = -\frac{\log\tau}{\lambda}.

Para Pareto,

τ=(xmq)α,\tau = \left( \frac{x_m}{q} \right)^\alpha,

por lo que

q1−τpar=xmτ−1/α.q_{1-\tau}^{\mathrm{par}} = x_m\tau^{-1/\alpha}.

La diferencia entre logaritmo y potencia dominará la extrapolación extrema.

88.6. Cuantiles extremos con el mismo centro

Con las parametrizaciones anteriores, para τ=10−3,\tau=10^{-3}, la exponencial produce un cuantil cercano a 9.97,9.97, mientras la Pareto produce aproximadamente 62.996.62.996.

Para τ=10−6,\tau=10^{-6}, la exponencial entrega 19.93,19.93, mientras la Pareto alcanza aproximadamente 6299.61.6299.61.

Cuantiles extremos.
Cuantiles extremos Ampliar figura ↗

Ambas distribuciones tenían mediana uno.

La forma funcional de la cola cambia la predicción en varios órdenes de magnitud, muy por encima de lo que sería una pequeña corrección.

88.7. Los cuantiles no requieren media ni varianza

Una ventaja conceptual de los cuantiles es que pueden estar bien definidos aun cuando ciertos momentos no existan.

Para una Pareto con parámetro α\alpha,

E[Xr]<∞\mathbb E[X^r] <\infty

si r<α.r<\alpha.

En particular, la media es finita solo si α>1.\alpha>1.

La varianza es finita solo si α>2.\alpha>2.

Nuestro ejemplo utiliza α=1.5.\alpha=1.5.

Entonces

E[X]=αxmα−1\mathbb E[X] = \frac{\alpha x_m}{\alpha-1}

es finita, pero

Var⁡(X)=∞.\operatorname{Var}(X)=\infty.

Aun así, la mediana, el cuantil 0.99 o cualquier otro cuantil con p<1p<1 son finitos.

Esto vuelve a los cuantiles útiles cuando los momentos altos son inestables o inexistentes.

88.8. Por qué diverge el segundo momento de Pareto

La densidad Pareto es

f(x)=αxmαx−α−1,x≥xm.f(x) = \alpha x_m^\alpha x^{-\alpha-1}, \qquad x\geq x_m.

El momento de orden rr contiene

E[Xr]=αxmα∫xm∞xr−α−1 dx.\mathbb E[X^r] = \alpha x_m^\alpha \int_{x_m}^{\infty} x^{r-\alpha-1}\,dx.

La integral converge solo si r−α−1<−1,r-\alpha-1<-1, es decir, r<α.r<\alpha.

Para

r=2,α=1.5,r=2, \qquad \alpha=1.5,

la integral diverge.

El paquete calcula momentos truncados

E[Xr;X≤M].\mathbb E[X^r;X\leq M].

El primer momento converge hacia la media finita cuando MM aumenta. El segundo continúa creciendo sin estabilizarse.

La divergencia significa que la contribución esperada de valores cada vez mayores impide que el segundo momento poblacional converja, sin que ninguna muestra finita contenga infinitos.

88.9. Cuantiles empíricos

Dada una muestra ordenada

X(1)≤X(2)≤⋯≤X(n),X_{(1)} \leq X_{(2)} \leq \cdots \leq X_{(n)},

los cuantiles empíricos se construyen a partir de estadísticos de orden cercanos a la posición np.np.

Existen varias convenciones de interpolación finita. Todas coinciden asintóticamente bajo condiciones regulares, pero pueden diferir cuando nn es pequeño o pp está muy cerca de uno.

El punto principal es simple.

Para estimar q0.90,q_{0.90}, aproximadamente el 10 % de la muestra queda por encima del cuantil.

Para q0.999,q_{0.999}, solo el 0.1 % queda por encima.

Con n=1000,n=1000, esperamos apenas n(1−p)=1n(1-p)=1 observación por encima del cuantil 0.999.

La información empírica directa en esa región es mínima.

88.10. Error de un cuantil y densidad local

Bajo condiciones regulares, un cuantil empírico satisface una aproximación asintótica de la forma

n(q^p−qp)⟶dN(0,p(1−p)f(qp)2).\sqrt n (\widehat q_p-q_p) \overset d\longrightarrow N\left( 0, \frac{p(1-p)} {f(q_p)^2} \right).

Por tanto,

SE⁡(q^p)≈p(1−p)n f(qp).\operatorname{SE}(\widehat q_p) \approx \frac{ \sqrt{p(1-p)} }{ \sqrt n\,f(q_p) }.

La densidad en el propio cuantil aparece en el denominador.

Si la densidad es muy pequeña en la cola, una pequeña variación de probabilidad puede traducirse en una gran variación de posición.

Los cuantiles extremos son difíciles por la escasez de observaciones y también por su sensibilidad a la pendiente local de la distribución.

88.11. El caso Pareto hace visible n(1−p)n(1-p)

Para Pareto,

f(qp)=α(1−p)qp.f(q_p) = \frac{\alpha(1-p)}{q_p}.

Sustituyendo en la varianza asintótica,

SE⁡(q^p)qp≈pαn(1−p).\frac{ \operatorname{SE}(\widehat q_p) }{ q_p } \approx \frac{ \sqrt p }{ \alpha \sqrt{ n(1-p) } }.

Aparece de nuevo la cantidad n(1−p).n(1-p).

Es el número esperado de observaciones por encima del cuantil.

La misma estructura que C87 encontró para probabilidades raras reaparece ahora en la estimación de cuantiles extremos.

Cuando n(1−p)n(1-p) es pequeño, la precisión relativa se deteriora.

88.12. Simulación de cuantiles Pareto

El paquete simula muestras Pareto para

n=200, 1000, 5000, 20000n= 200,\ 1000,\ 5000,\ 20000

y estima los cuantiles

p=0.90, 0.99, 0.999.p=0.90,\ 0.99,\ 0.999.
Error de cuantiles.
Error de cuantiles Ampliar figura ↗

En todos los niveles, el error mediano disminuye al aumentar nn.

Para un mismo tamaño de muestra, sin embargo, el cuantil 0.999 es mucho menos estable que el 0.90.

Con n=1000n=1000, la mediana del error relativo del cuantil 0.999 supera ampliamente la del cuantil 0.90.

La simulación reproduce la estructura prevista por la teoría de estadísticos de orden.

88.13. La muestra tiene una frontera observacional

Sea

MN=max⁡(X1,…,XN).M_N = \max(X_1,\ldots,X_N).

Si las observaciones son i.i.d. con CDF FF, P(MN≤x)=F(x)N.P(M_N\leq x) = F(x)^N.

La mediana del máximo satisface

F(mN)N=12.F(m_N)^N = \frac12.

Entonces la probabilidad de cola correspondiente es

Fˉ(mN)=1−2−1/N.\bar F(m_N) = 1-2^{-1/N}.

Para NN grande,

1−2−1/N≈log⁡2N.1-2^{-1/N} \approx \frac{\log2}{N}.

Por tanto, el máximo típico de una muestra vive aproximadamente en una región con probabilidad de cola de orden 1/N.1/N.

Esta relación da una escala natural para distinguir observación de extrapolación.

88.14. Máximos exponenciales y Pareto

Para la exponencial,

mNexp=−log⁡(1−2−1/N)λ.m_N^{\mathrm{exp}} = -\frac{ \log(1-2^{-1/N}) }{\lambda}.

Asintóticamente crece de forma logarítmica con NN.

Para Pareto,

mNpar=xm(1−2−1/N)−1/α.m_N^{\mathrm{par}} = x_m \left( 1-2^{-1/N} \right)^{-1/\alpha}.

Asintóticamente crece como N1/α.N^{1/\alpha}.

Escala de los máximos.
Escala de los máximos Ampliar figura ↗

El tamaño del máximo observado depende del tamaño muestral y no es una propiedad fija de la distribución.

Comparar máximos de estudios con NN muy diferentes sin ajustar por exposición puede inducir conclusiones erróneas sobre la cola.

88.15. Extrapolar significa ir donde casi no hubo observaciones

Supongamos una muestra de tamaño n=1000n=1000 y queremos estimar el cuantil asociado a τ=10−5.\tau=10^{-5}.

El número esperado de observaciones más allá de ese cuantil es nτ=0.01.n\tau = 0.01.

En otras palabras, una muestra típica contiene cero observaciones directas en esa región.

Cualquier estimación de ese cuantil depende entonces de la forma paramétrica o semiparamétrica que extrapolamos desde regiones menos extremas. La cifra resultante queda lejos de ser una interpolación entre puntos observados.

88.16. Incluso bajo el modelo correcto existe incertidumbre de extrapolación

El paquete genera muestras desde una Pareto verdadera con α=1.5\alpha=1.5 y xmx_m conocido.

Para una muestra de tamaño

n=1000,n=1000,

el estimador de máxima verosimilitud es

α^MV=n∑ilog⁡(Xi/xm).\widehat\alpha_{\mathrm{MV}} = \frac{n}{ \sum_i\log(X_i/x_m) }.

Como tiene un pequeño sesgo finito, el experimento utiliza también

α~=n−1∑ilog⁡(Xi/xm),\widetilde\alpha = \frac{n-1}{ \sum_i\log(X_i/x_m) },

cuya media coincide con α\alpha en este caso ideal.

Después se extrapola

q^1−10−5=xm(10−5)−1/α~.\widehat q_{1-10^{-5}} = x_m (10^{-5})^{-1/\widetilde\alpha}.

El cuantil verdadero es aproximadamente 1357.21.1357.21.

Aun con el modelo correcto, xmx_m conocido y mil observaciones, el intervalo central del 90 % de las extrapolaciones simuladas va aproximadamente desde 933933 hasta 2056.2056.

No existe error de especificación en este experimento. La amplitud proviene solo de incertidumbre en el parámetro de cola.

88.17. La extrapolación amplifica pequeños errores del exponente

Para Pareto, qτ=xmτ−1/α.q_\tau = x_m\tau^{-1/\alpha}.

Tomando logaritmos,

log⁡qτ=log⁡xm−1αlog⁡τ.\log q_\tau = \log x_m - \frac1\alpha \log\tau.

Derivando respecto de α\alpha,

∂log⁡qτ∂α=log⁡τα2.\frac{\partial\log q_\tau}{\partial\alpha} = \frac{\log\tau}{\alpha^2}.

Como

log⁡τ<0,\log\tau<0,

la magnitud de la sensibilidad crece cuando τ\tau disminuye.

Para

α=1.5,τ=10−5,\alpha=1.5, \qquad \tau=10^{-5},
∣∂log⁡qτ∂α∣≈5.12.\left| \frac{\partial\log q_\tau}{\partial\alpha} \right| \approx5.12.

Una pequeña incertidumbre en α\alpha puede convertirse en una incertidumbre relativa mucho mayor en el cuantil extrapolado.

Cuanto más lejos extrapolamos, más domina el supuesto de cola.

88.18. El máximo observado no es un límite físico

Si en una muestra el mayor valor es MN=m,M_N=m, no podemos concluir P(X>m)=0.P(X>m)=0.

Bajo una distribución no acotada, la probabilidad de superar mm sigue siendo positiva.

El propio hecho de que mm sea el máximo observado implica solamente que, en esas NN realizaciones, ningún valor mayor apareció.

La distribución uniforme de C84 era diferente, porque allí el límite superior pertenecía al soporte especificado por el modelo.

Confundir máximo muestral con límite del soporte transforma una ausencia finita de observaciones en una afirmación estructural injustificada.

88.19. La ausencia de extremos también tiene probabilidad

Si un evento tiene probabilidad de cola τ,\tau, la probabilidad de no observarlo en NN realizaciones independientes es (1−τ)N.(1-\tau)^N.

Para

Nτ≪1,N\tau\ll1,
(1−τ)N≈e−Nτ≈1−Nτ.(1-\tau)^N \approx e^{-N\tau} \approx1-N\tau.

Por tanto, no ver un evento muy raro es exactamente lo esperado.

Esta es la razón probabilística por la que una muestra finita no puede validar de manera directa extrapolaciones muy profundas en la cola.

Podemos evaluar consistencia con regiones observadas y comparar modelos, pero las probabilidades mucho menores que 1/N1/N dependen necesariamente de estructura adicional.

88.20. Cuantiles y riesgo no son lo mismo que probabilidad de excedencia

La probabilidad de exceder un umbral fijo uu es P(X>u).P(X>u).

El cuantil qpq_p invierte la pregunta:

P(X≤qp)=p.P(X\leq q_p)=p.

Ambas representaciones contienen la misma información si FF es conocida y estrictamente creciente.

En aplicaciones, sin embargo, la incertidumbre estadística puede comportarse de manera diferente porque un problema fija uu y el otro debe inferir la posición correspondiente a una probabilidad.

Cuando los extremos importan conviene expresar los resultados en ambos lenguajes, como probabilidad de excedencia de umbrales físicamente relevantes y como niveles alcanzados por cuantiles de interés.

Esto evita que una única métrica oculte qué aspecto de la cola se está interpretando.

88.21. Cuantiles son invariantes ante transformaciones monótonas

Si Y=g(X)Y=g(X) y gg es estrictamente creciente, qp(Y)=g(qp(X)).q_p(Y) = g(q_p(X)).

Esto hace a los cuantiles naturales para variables positivas transformadas.

Por ejemplo, si Y=eX,Y=e^X, como en C85, qp(Y)=eqp(X).q_p(Y) = e^{q_p(X)}.

No ocurre lo mismo con la media:

E[eX]≠eE[X].\mathbb E[e^X] \neq e^{\mathbb E[X]}.

Los cuantiles respetan transformaciones monótonas porque preservan el orden de las realizaciones.

Esta propiedad facilita comunicar posiciones relativas en escalas transformadas, aunque no resuelve por sí sola el problema de estimar cuantiles extremos.

88.22. Robustez central no equivale a precisión extrema

La mediana tiene una conocida resistencia frente a valores muy extremos, porque alterar una pequeña fracción de observaciones enormes no necesariamente cambia mucho la posición central.

Un cuantil alto, en cambio, está diseñado para responder a la región superior.

El cuantil 0.99 depende de las mayores observaciones; el 0.999 depende todavía más.

Por tanto, decir que «los cuantiles son robustos» requiere especificar cuáles.

Los cuantiles centrales pueden ser mucho más estables que la media bajo colas pesadas. Los cuantiles extremos son sensibles porque están estimando directamente la parte menos poblada de la distribución.

Robustez ante magnitud extrema y cantidad de información disponible son propiedades distintas.

88.23. Una recta log-log no basta para declarar Pareto

C79 mostró que una relación curva puede parecer lineal en un intervalo finito.

La misma cautela se aplica a colas.

Una cola Pareto exacta produce

log⁡Fˉ(x)=c−αlog⁡x.\log\bar F(x) = c-\alpha\log x.

Observar una región aproximadamente recta en un gráfico log-log, sin embargo, no demuestra que la ley continúe indefinidamente.

Distribuciones lognormales, Weibull con ciertos parámetros y mezclas pueden imitar una pendiente casi lineal dentro de rangos limitados.

La evaluación debería incluir el umbral utilizado, sensibilidad de la pendiente, alternativas plausibles y rango dinámico disponible.

Extrapolar una recta más allá de la mayor observación multiplica las consecuencias de cualquier curvatura no detectada.

88.24. El umbral crea un compromiso

En análisis de extremos suele elegirse un umbral uu y modelarse el exceso Y=X−uY=X-u condicionado a X>u.X>u.

Un umbral alto concentra el análisis en la cola relevante, pero deja pocas observaciones.

Un umbral más bajo aporta más datos, aunque aumenta el riesgo de incluir una región que aún no sigue el régimen asintótico de cola.

Existe por tanto un compromiso entre:

sesgo de modelo\text{sesgo de modelo}

y

varianza de estimacioˊn.\text{varianza de estimación}.

Este problema es análogo al rango de escala de C79. Seleccionar retrospectivamente el umbral que produce la cola más convincente puede introducir el mismo tipo de razonamiento circular.

88.25. Aproximación de Pareto generalizada en excesos

Un resultado central de teoría de valores extremos, asociado a Balkema–de Haan y Pickands, establece que para una clase amplia de distribuciones la distribución de excesos por encima de un umbral suficientemente alto puede aproximarse mediante una Pareto generalizada.

Su función de supervivencia puede escribirse como

P(Y>y)=(1+ξyβ)−1/ξ,P(Y>y) = \left( 1+\xi\frac{y}{\beta} \right)^{-1/\xi},

en el soporte donde

1+ξy/β>0.1+\xi y/\beta>0.

El caso límite

ξ→0\xi\to0

produce una cola exponencial.

Si

ξ>0,\xi>0,

aparece una cola de potencia.

Si

ξ<0,\xi<0,

la distribución tiene un extremo superior finito.

Esta familia da un lenguaje unificado para diferentes regímenes de cola, pero no elimina el problema de seleccionar el umbral ni de estimar parámetros con pocos extremos.

88.26. Teoría de extremos no crea información inexistente

La teoría de valores extremos aporta límites y modelos especializados para colas, aunque no puede convertir diez observaciones extremas en miles.

Una extrapolación a una probabilidad 10−610^{-6} desde una muestra de mil observaciones puede estar matemáticamente definida, pero la información empírica directa en esa región es prácticamente nula.

Su credibilidad depende de la validez del régimen de cola, de la estabilidad del parámetro respecto del umbral, de la independencia o dependencia de los extremos, de la calidad de medición de los valores mayores y de la plausibilidad de extrapolar la familia elegida. Un número calculable puede quedar mal identificado por los datos.

88.27. Dependencia entre extremos

Hasta ahora los argumentos de máximos utilizaron observaciones independientes.

En series temporales, eventos extremos pueden agruparse.

Si una tormenta, crisis o episodio dinámico produce varios valores consecutivos grandes, contar cada punto como un extremo independiente sobrestima la cantidad de información sobre la cola.

El tamaño nominal de la muestra NN ya no coincide con el número efectivo de oportunidades independientes para extremos.

Este problema es análogo a la dependencia en C86 y C87. La cola no elimina la necesidad de modelar estructura temporal.

La teoría de extremos dependientes introduce conceptos específicos, como agrupamiento y extremal index, que quedan fuera de este capítulo.

88.28. Extrapolación y cambio de régimen

Una dificultad mayor es que la distribución futura puede no conservar la misma cola.

Si el mecanismo generador cambia para valores muy grandes, extrapolar desde la región moderada puede fallar aunque la estimación estadística dentro de esa región sea impecable.

Puede intervenir una saturación física, la ruptura de un material, un cambio de política, un límite de capacidad, un mecanismo protector o una transición dinámica.

En esos casos, la cola estadística observada antes del cambio no contiene por sí sola la nueva dinámica.

El problema pasa a ser de incertidumbre estructural sobre si la misma ley continúa siendo aplicable, más allá de la incertidumbre paramétrica.

88.29. Un cuantil no describe qué ocurre después de cruzarlo

El cuantil qpq_p localiza un umbral. No informa cuánto pueden superar ese umbral las observaciones que quedan en la cola.

Dos distribuciones pueden tener el mismo q0.99q_{0.99} y distribuciones de excedencias muy diferentes.

Una cantidad complementaria es la media condicional por encima del cuantil:

E[X∣X>qp],\mathbb E[ X\mid X>q_p ],

cuando existe.

En aplicaciones de riesgo suele relacionarse con el concepto de expected shortfall o media de cola. Su utilidad conceptual aquí es mostrar que la frecuencia de excedencia y la severidad del excedente son dimensiones distintas.

Para una exponencial, por falta de memoria,

E[X∣X>u]=u+1λ.\mathbb E[ X\mid X>u ] = u+\frac1\lambda.

El exceso medio sobre uu es constante:

E[X−u∣X>u]=1λ.\mathbb E[ X-u\mid X>u ] = \frac1\lambda.

Para una Pareto con α>1\alpha>1,

E[X∣X>u]=αα−1u.\mathbb E[ X\mid X>u ] = \frac{\alpha}{\alpha-1}u.

Por tanto,

E[X−u∣X>u]=uα−1.\mathbb E[ X-u\mid X>u ] = \frac{u}{\alpha-1}.

El exceso medio crece linealmente con el umbral.

La diferencia es de fondo. En la exponencial, alcanzar un nivel más alto no cambia la escala esperada del exceso restante. En Pareto, cuanto mayor es el umbral ya superado, mayor es también el exceso medio esperado. Una sola cifra de cuantil no contiene esa estructura.

88.30. La función de exceso medio como diagnóstico de cola

Definamos la función de exceso medio

e(u)=E[X−u∣X>u].e(u) = \mathbb E[ X-u\mid X>u ].

Para la exponencial,

e(u)=1λ.e(u)=\frac1\lambda.

Es horizontal.

Para Pareto,

e(u)=uα−1.e(u) = \frac{u}{\alpha-1}.

Es creciente y lineal.

Esta propiedad da otra forma de observar la diferencia entre colas.

En datos empíricos podemos calcular

e^(u)=∑i(Xi−u)1(Xi>u)∑i1(Xi>u)\widehat e(u) = \frac{ \sum_i (X_i-u)\mathbf 1(X_i>u) }{ \sum_i\mathbf 1(X_i>u) }

si existen observaciones por encima de uu.

La estimación, en cambio, se vuelve progresivamente más inestable al elevar el umbral, porque el denominador contiene cada vez menos observaciones.

Un gráfico de exceso medio puede sugerir estructura de cola, pero no prueba por sí solo que la distribución sea Pareto o exponencial. Los mismos problemas de selección de umbral y rango finito de C79 reaparecen aquí.

La cola admite múltiples diagnósticos, todos dependientes de cuántos datos sobreviven al corte.

88.31. Los periodos de retorno como traducción con supuestos fuertes

Una probabilidad de excedencia

τ\tau

se traduce a veces en un periodo de retorno

T=1τ.T=\frac1\tau.

Si cada periodo es una oportunidad independiente con la misma probabilidad, un evento con τ=0.01\tau=0.01 tiene un tiempo de espera geométrico medio de 100100 periodos.

Esta frase suele malinterpretarse.

«Periodo de retorno de 100 años» no significa que el evento ocurra exactamente una vez cada 100 años ni que, después de observarlo hoy, exista una protección de 99 años.

Bajo independencia y estacionariedad,

P(al menos un evento en T periodos)=1−(1−τ)T.P(\text{al menos un evento en }T\text{ periodos}) = 1-(1-\tau)^T.

Si

T=1τT=\frac1\tau

y τ\tau es pequeño,

1−(1−τ)1/τ≈1−e−1≈0.632.1-(1-\tau)^{1/\tau} \approx 1-e^{-1} \approx0.632.

Por tanto, durante una ventana igual al periodo de retorno medio existe alrededor de un 63 % de probabilidad de observar al menos una excedencia, lejos del 100 %.

Si hay dependencia temporal o no estacionariedad, incluso esta interpretación necesita modificación.

88.32. Transformar la escala puede revelar o esconder la cola

C85 mostró que las transformaciones cambian distribuciones.

Para una Pareto,

X≥xm,P(X>x)=(xmx)α.X\geq x_m, \qquad P(X>x) = \left( \frac{x_m}{x} \right)^\alpha.

Definamos

Y=log⁡(Xxm).Y = \log\left( \frac{X}{x_m} \right).

Entonces, para y≥0y\geq0, P(Y>y)=P(X>xmey).P(Y>y) = P( X>x_me^y ).

Sustituyendo la cola Pareto, P(Y>y)=e−αy.P(Y>y) = e^{-\alpha y}.

Por tanto,

Y∼Exp⁡(α).Y\sim\operatorname{Exp}(\alpha).

Una cola de potencia en escala original se convierte en una cola exponencial en escala logarítmica.

Lo que cambia es la variable que estamos modelando, sin que la cola pesada del fenómeno original desaparezca.

La observación es útil por dos razones. Primero, explica por qué ciertos estimadores de cola Pareto utilizan logaritmos de razones. Segundo, muestra que palabras como «exponencial» o «potencia» deben vincularse siempre con la escala de la variable.

Una transformación no lineal puede convertir una cola aparentemente extrema en una distribución mucho más regular, o viceversa.

88.33. Una disciplina práctica para extrapolar

Una extrapolación de cola debería declarar al menos cinco elementos.

El primero es el umbral o rango desde el cual se ajustó la cola. El segundo es el número de observaciones efectivamente utilizadas en esa región. El tercero es la familia de cola asumida, junto con las alternativas razonables.

El cuarto es cuánto más allá del máximo observado se encuentra la cantidad solicitada. Una probabilidad de cola 10−510^{-5} estimada desde n=1000n=1000 implica una extrapolación a una región con apenas 0.010.01 excedencias esperadas en la muestra original.

El quinto es la sensibilidad a los parámetros y a las decisiones de umbral.

Una estrategia útil es presentar una escalera de extrapolación, donde junto al cuantil más remoto se muestran resultados para

τ=10−2, 10−3, 10−4, 10−5.\tau=10^{-2}, \ 10^{-3}, \ 10^{-4}, \ 10^{-5}.

Si las distintas familias candidatas producen resultados similares cerca de la región observada y divergen progresivamente fuera de ella, el lector puede ver dónde comienza a dominar el supuesto de modelo.

Esta presentación separa dos fuentes de incertidumbre que suelen mezclarse:

incertidumbre de estimacioˊn\text{incertidumbre de estimación}

y

incertidumbre de extrapolacioˊn estructural.\text{incertidumbre de extrapolación estructural}.

La primera puede disminuir con más datos bajo el mismo régimen. La segunda requiere evidencia sobre si la forma de cola continúa siendo válida.

88.34. Verificación computacional

El paquete reproducible utiliza exponencial y Pareto con mediana exactamente uno.

Comprueba las fórmulas de cuantiles y muestra que, para probabilidad de cola 10−6,10^{-6}, el cuantil exponencial es aproximadamente 19.9319.93 y el Pareto aproximadamente 6299.616299.61.

Para la Pareto con α=1.5,\alpha=1.5, verifica que el primer momento truncado converge hacia la media finita mientras el segundo momento crece al aumentar el corte superior.

Las simulaciones de cuantiles empíricos confirman que el error disminuye con el tamaño muestral y aumenta al avanzar desde p=0.90p=0.90 hacia p=0.999p=0.999.

El código deriva la mediana del máximo mediante F(mN)N=1/2F(m_N)^N=1/2 y verifica por simulación los resultados para N=100,1000,10000N=100,1000,10000.

Finalmente, genera 4000 muestras Pareto de tamaño 10001000, estima α\alpha y extrapola el cuantil de cola 10−510^{-5}. Aunque el modelo está correctamente especificado, el rango central del 90 % de las estimaciones se extiende aproximadamente de 933933 a 20562056, alrededor de un valor verdadero cercano a 13571357.

Se ejecutaron 30 comprobaciones automáticas y las 30 resultaron satisfactorias.

88.35. Qué queda establecido

Las colas determinan qué tan plausibles son las observaciones extremas y cómo crecen los cuantiles cuando exigimos probabilidades cada vez menores.

Una exponencial y una Pareto pueden compartir un cuantil central y diferir por órdenes de magnitud en la cola.

Los cuantiles siguen existiendo en situaciones donde ciertos momentos divergen, pero los cuantiles extremos disponen de poca información porque solo una fracción 1−p1-p de la muestra cae por encima de ellos.

El máximo observado en una muestra de tamaño NN explora de manera típica probabilidades de cola del orden de 1/N.1/N.

Ir mucho más allá requiere extrapolar una estructura de cola.

Incluso bajo un modelo Pareto verdadero, pequeños errores en el exponente producen grandes diferencias en cuantiles extremadamente altos. Bajo especificación incierta, el riesgo es mayor.

La teoría de valores extremos aporta modelos adecuados para estudiar excesos, pero no elimina la necesidad de justificar umbrales, dependencia y estabilidad del régimen.

C89 continuará con el bootstrap y la variabilidad de una estimación. Allí dejaremos de asumir que podemos calcular analíticamente la distribución de un estimador y estudiaremos qué información puede recuperarse re-muestreando los datos observados, junto con los casos en que esa estrategia falla.

Referencias

Recursos reproducibles

Descargar recursos del capítulo (ZIP, 388 kB).

6 archivos CSV · 4 figuras · 1 programa Python.

El programa se ha ejecutado en una carpeta vacía y genera los archivos de datos y figuras incluidos en el paquete.

Ver instrucciones y contenido del paquete.