83.1. De una distribución completa a unos pocos números

C81 introdujo distribuciones como objetos que asignan probabilidad a resultados posibles. C82 mostró cómo esas distribuciones cambian al condicionar y cómo Bayes reorganiza masa probabilística entre hipótesis o estados. Una distribución completa puede contener mucha información. Sin embargo, en numerosos problemas necesitamos resumir algunos de sus rasgos mediante cantidades más compactas.

Tres de las más utilizadas son:

E[X],\mathbb E[X],
Var⁡(X),\operatorname{Var}(X),

y

Cov⁡(X,Y).\operatorname{Cov}(X,Y).

La esperanza resume una localización promedio ponderada por probabilidad. La varianza cuantifica dispersión cuadrática alrededor de esa esperanza. La covarianza describe cómo dos variables se apartan conjuntamente de sus medias.

Estas cantidades resultan muy útiles porque obedecen identidades algebraicas simples y se propagan con facilidad a través de sumas y transformaciones lineales. Esa misma comodidad favorece que se sobreinterpreten. Dos distribuciones muy distintas pueden compartir media y varianza. Dos variables pueden tener covarianza cero mientras dependen entre sí de forma exacta. Una matriz de covarianza resume la geometría lineal de la distribución conjunta y deja fuera el resto de su estructura.

El objetivo de C83 será aprender qué dicen estos momentos, cómo se derivan y dónde dejan de ser suficientes.

83.2. Esperanza de una variable discreta

Sea XX una variable aleatoria discreta que toma valores

x1,x2,…x_1,x_2,\ldots

con probabilidades pi=P(X=xi).p_i=P(X=x_i).

Cuando la suma correspondiente es integrable, definimos

E[X]=∑ixipi.\mathbb E[X] = \sum_i x_i p_i.

La esperanza es un promedio ponderado por probabilidad, distinto del valor que observaremos en una realización concreta.

Consideremos

X∈{−1,0,2},X\in\{-1,0,2\},

con

P(X=−1)=0.2,P(X=0)=0.5,P(X=2)=0.3.P(X=-1)=0.2, \qquad P(X=0)=0.5, \qquad P(X=2)=0.3.

Entonces

E[X]=(−1)(0.2)+0(0.5)+2(0.3)=0.4.\mathbb E[X] = (-1)(0.2) + 0(0.5) + 2(0.3) = 0.4.

El valor 0.40.4 ni siquiera pertenece al soporte de XX, lo que muestra que la esperanza puede quedar fuera de los resultados posibles.

Distribución discreta y esperanza.
Distribución discreta y esperanza Ampliar figura ↗

La interpretación correcta es geométrica y probabilística. Si repetimos el experimento bajo condiciones compatibles con la misma distribución, las contribuciones de los diferentes valores se ponderan según sus probabilidades.

83.3. Esperanza de una variable continua

Si XX tiene densidad fX(x)f_X(x) y el momento es integrable,

E[X]=∫−∞∞xfX(x) dx.\mathbb E[X] = \int_{-\infty}^{\infty} x f_X(x)\,dx.

Más generalmente, para una función gg,

E[g(X)]=∫g(x)fX(x) dx\mathbb E[g(X)] = \int g(x)f_X(x)\,dx

cuando la integral existe.

En la formulación de teoría de la medida, la definición más general es

E[X]=∫ΩX(ω) dP(ω).\mathbb E[X] = \int_\Omega X(\omega)\,dP(\omega).

Las fórmulas discretas y continuas son representaciones particulares de este mismo operador integral.

Bajo el cambio de notación permanece la misma idea. Una expectativa combina valores con la medida de probabilidad que los pondera.

83.4. Existencia de la esperanza

No toda variable aleatoria tiene una esperanza finita.

Una condición suficiente y, para variables reales, la condición estándar de integrabilidad es

E[∣X∣]<∞.\mathbb E[|X|]<\infty.

Esto evita expresiones ambiguas del tipo

+∞−∞.+\infty-\infty.

Considérese una variable discreta positiva con

P(X=n)=6π2n2,n=1,2,…P(X=n) = \frac{6}{\pi^2 n^2}, \qquad n=1,2,\ldots

La normalización funciona porque

∑n=1∞1n2=π26.\sum_{n=1}^{\infty}\frac1{n^2} = \frac{\pi^2}{6}.

Sin embargo,

E[X]=6π2∑n=1∞1n,\mathbb E[X] = \frac6{\pi^2} \sum_{n=1}^{\infty}\frac1n,

y la serie armónica diverge. Por tanto,

E[X]=+∞.\mathbb E[X]=+\infty.

El paquete reproducible conserva las sumas parciales. A N=100 000N=100\,000, la masa acumulada ya es aproximadamente 0.9999940.999994, pero la media parcial supera 7 y continúa creciendo lentamente. Una distribución puede estar bien normalizada y, aun así, carecer de media finita.

83.5. Linealidad de la esperanza

Entre las propiedades de la esperanza, la linealidad es la de mayor alcance.

Si XX e YY son integrables y a,ba,b son constantes,

E[aX+bY]=aE[X]+bE[Y].\mathbb E[aX+bY] = a\mathbb E[X] + b\mathbb E[Y].

La identidad no requiere independencia.

En particular,

E[X+Y]=E[X]+E[Y].\mathbb E[X+Y] = \mathbb E[X]+\mathbb E[Y].

Para una transformación afín

Z=aX+b,Z=aX+b,

tenemos

E[Z]=aE[X]+b.\mathbb E[Z] = a\mathbb E[X]+b.

En el ejemplo discreto anterior, con

a=−3,b=5,a=-3, \qquad b=5,
E[Z]=−3(0.4)+5=3.8.\mathbb E[Z] = -3(0.4)+5 = 3.8.

El código verifica directamente este resultado sumando sobre la distribución transformada.

La linealidad hace que la esperanza de una suma pueda calcularse incluso cuando la estructura de dependencia es complicada. La varianza carecerá de esa simplicidad.

83.6. Esperanza de una transformación no lineal

En general,

E[g(X)]≠g(E[X]).\mathbb E[g(X)] \neq g(\mathbb E[X]).

El caso más importante para este capítulo es g(x)=x2.g(x)=x^2.

Para la variable discreta del ejemplo,

E[X2]=(−1)2(0.2)+02(0.5)+22(0.3)=1.4.\mathbb E[X^2] = (-1)^2(0.2) + 0^2(0.5) + 2^2(0.3) = 1.4.

En cambio,

(E[X])2=0.42=0.16.(\mathbb E[X])^2 = 0.4^2 = 0.16.

La diferencia entre ambas cantidades es la varianza.

Esta separación aparece en muchos modelos no lineales. Conocer la media de una entrada no basta para predecir la media de una salida no lineal. Si el sistema aplica gg, la forma completa de la distribución puede influir en

E[g(X)].\mathbb E[g(X)].

83.7. Definición de varianza

Si XX tiene segundo momento finito, definimos

Var⁡(X)=E[(X−E[X])2].\operatorname{Var}(X) = \mathbb E\left[ (X-\mathbb E[X])^2 \right].

La varianza mide la distancia cuadrática promedio respecto de la media.

Como el integrando es no negativo,

Var⁡(X)≥0.\operatorname{Var}(X)\geq0.

Además,

Var⁡(X)=0\operatorname{Var}(X)=0

si y solo si

X=E[X]X=\mathbb E[X]

casi seguramente.

La varianza mide dispersión respecto de una localización específica, la esperanza, con una penalización cuadrática. La descripción vaga «qué tan lejos están los valores» omite ambos elementos.

La desviación estándar se define como

σX=Var⁡(X).\sigma_X = \sqrt{\operatorname{Var}(X)}.

A diferencia de la varianza, tiene las mismas unidades físicas que XX.

83.8. La identidad Var⁡(X)=E[X2]−E[X]2\operatorname{Var}(X)=E[X^2]-E[X]^2

Partimos de

Var⁡(X)=E[(X−μ)2],\operatorname{Var}(X) = \mathbb E[(X-\mu)^2],

donde

μ=E[X].\mu=\mathbb E[X].

Expandiendo, (X−μ)2=X2−2μX+μ2.(X-\mu)^2 = X^2-2\mu X+\mu^2.

Aplicando linealidad,

Var⁡(X)=E[X2]−2μE[X]+μ2.\operatorname{Var}(X) = \mathbb E[X^2] - 2\mu\mathbb E[X] + \mu^2.

Como

E[X]=μ,\mathbb E[X]=\mu,

obtenemos

Var⁡(X)=E[X2]−μ2.\operatorname{Var}(X) = \mathbb E[X^2]-\mu^2.

Por tanto,

Var⁡(X)=E[X2]−(E[X])2\boxed{ \operatorname{Var}(X) = \mathbb E[X^2] - (\mathbb E[X])^2 }

siempre que los momentos requeridos existan.

Para nuestro ejemplo,

Var⁡(X)=1.4−0.16=1.24.\operatorname{Var}(X) = 1.4-0.16 = 1.24.

83.9. Traslación y cambio de escala

Sea Z=aX+b.Z=aX+b.

Su media es

E[Z]=aμ+b.\mathbb E[Z] = a\mu+b.

Restando esa media,

Z−E[Z]=a(X−μ).Z-\mathbb E[Z] = a(X-\mu).

Al elevar al cuadrado,

(Z−E[Z])2=a2(X−μ)2.(Z-\mathbb E[Z])^2 = a^2(X-\mu)^2.

Por tanto,

Var⁡(aX+b)=a2Var⁡(X).\operatorname{Var}(aX+b) = a^2\operatorname{Var}(X).

La constante aditiva desaparece porque una traslación no modifica la dispersión.

El factor aa aparece al cuadrado. Si una longitud se expresa en centímetros en vez de metros, la varianza cambia por el cuadrado del factor de conversión. La desviación estándar cambia linealmente.

Esto explica las unidades:

[Var⁡(X)]=[X]2.[\operatorname{Var}(X)] = [X]^2.

83.10. Varianza de una suma

Para dos variables XX e YY,

Var⁡(X+Y)=E[(X+Y−E[X]−E[Y])2].\operatorname{Var}(X+Y) = \mathbb E\left[ \left( X+Y-\mathbb E[X]-\mathbb E[Y] \right)^2 \right].

Definamos

X~=X−E[X],Y~=Y−E[Y].\widetilde X=X-\mathbb E[X], \qquad \widetilde Y=Y-\mathbb E[Y].

Entonces

Var⁡(X+Y)=E[(X~+Y~)2].\operatorname{Var}(X+Y) = \mathbb E[(\widetilde X+\widetilde Y)^2].

Expandiendo,

Var⁡(X+Y)=E[X~2]+E[Y~2]+2E[X~Y~].\operatorname{Var}(X+Y) = \mathbb E[\widetilde X^2] + \mathbb E[\widetilde Y^2] + 2\mathbb E[\widetilde X\widetilde Y].

Los dos primeros términos son las varianzas. El tercero conduce a la covarianza.

83.11. Definición de covarianza

La covarianza entre XX e YY se define por

Cov⁡(X,Y)=E[(X−E[X])(Y−E[Y])],\operatorname{Cov}(X,Y) = \mathbb E\left[ (X-\mathbb E[X]) (Y-\mathbb E[Y]) \right],

si el producto es integrable.

También puede escribirse

Cov⁡(X,Y)=E[XY]−E[X]E[Y].\operatorname{Cov}(X,Y) = \mathbb E[XY] - \mathbb E[X]\mathbb E[Y].

La derivación es inmediata al expandir el producto centrado.

La covarianza puede ser positiva, negativa o cero.

Si los valores altos de XX tienden a coincidir con valores altos de YY y los bajos con bajos, la covarianza suele ser positiva. Si desviaciones en sentidos opuestos tienden a coincidir, puede ser negativa.

Sin embargo, esta descripción es solo orientativa. La covarianza resume asociación lineal centrada y deja fuera otras formas de dependencia.

83.12. Varianza de la suma con covarianza

La identidad anterior se convierte en

Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)+2Cov⁡(X,Y)\boxed{ \operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2\operatorname{Cov}(X,Y) }

sin necesidad de independencia.

Más generalmente,

Var⁡(aX+bY)=a2Var⁡(X)+b2Var⁡(Y)+2abCov⁡(X,Y).\operatorname{Var}(aX+bY) = a^2\operatorname{Var}(X) + b^2\operatorname{Var}(Y) + 2ab\operatorname{Cov}(X,Y).

Ahora aparece con claridad qué información faltaba al conocer solo las varianzas marginales. Para determinar la dispersión del agregado necesitamos también cómo fluctúan conjuntamente las variables.

83.13. Retomar el sistema binario de C81

En C81 fijamos

P(X=1)=0.3,P(Y=1)=0.4.P(X=1)=0.3, \qquad P(Y=1)=0.4.

Como XX es Bernoulli,

Var⁡(X)=0.3(0.7)=0.21.\operatorname{Var}(X) = 0.3(0.7) = 0.21.

Análogamente,

Var⁡(Y)=0.4(0.6)=0.24.\operatorname{Var}(Y) = 0.4(0.6) = 0.24.

En el modelo independiente, P(X=1,Y=1)=0.12.P(X=1,Y=1)=0.12.

Por tanto,

Cov⁡(X,Y)=0.12−(0.3)(0.4)=0.\operatorname{Cov}(X,Y) = 0.12-(0.3)(0.4) = 0.

En el modelo dependiente,

P(X=1,Y=1)=0.25,P(X=1,Y=1)=0.25,

y entonces

Cov⁡(X,Y)=0.25−0.12=0.13.\operatorname{Cov}(X,Y) = 0.25-0.12 = 0.13.

Las marginales son exactamente las mismas. La covarianza detecta una diferencia que las varianzas individuales no contienen.

83.14. La dependencia cambia la varianza del agregado

Definamos nuevamente S=X+Y.S=X+Y.

Bajo independencia,

Var⁡(S)=0.21+0.24=0.45.\operatorname{Var}(S) = 0.21+0.24 = 0.45.

En el modelo dependiente,

Var⁡(S)=0.21+0.24+2(0.13)=0.71.\operatorname{Var}(S) = 0.21+0.24+2(0.13) = 0.71.

El paquete calcula también la distribución completa de SS y obtiene la misma varianza directamente.

Distribución de la suma bajo dos dependencias.
Distribución de la suma bajo dos dependencias Ampliar figura ↗

La media de SS es

E[S]=0.3+0.4=0.7\mathbb E[S] = 0.3+0.4 = 0.7

en ambos modelos. Cambiar la dependencia no modificó la media del agregado, pero sí su variabilidad.

Este ejemplo resume una diferencia de fondo:

linealidad de la esperanza\text{linealidad de la esperanza}

no necesita independencia, mientras la varianza de una suma sí depende de la estructura conjunta mediante las covarianzas.

83.15. Covarianza bajo cambios de escala

Si

U=aX+b,V=cY+d,U=aX+b, \qquad V=cY+d,

entonces

Cov⁡(U,V)=ac Cov⁡(X,Y).\operatorname{Cov}(U,V) = ac\,\operatorname{Cov}(X,Y).

Las constantes bb y dd desaparecen por centrado.

La covarianza tiene unidades [X][Y].[X][Y].

Por ello su magnitud depende de las unidades en que se midan ambas variables. Multiplicar XX por mil multiplica la covarianza por mil.

Esta dependencia de escala motiva una versión estandarizada.

83.16. Correlación

Cuando ambas varianzas son positivas, definimos la correlación de Pearson

ρXY=Cov⁡(X,Y)σXσY.\rho_{XY} = \frac{ \operatorname{Cov}(X,Y) }{ \sigma_X\sigma_Y }.

Es adimensional y satisface −1≤ρXY≤1.-1\leq\rho_{XY}\leq1.

En el ejemplo binario dependiente,

ρXY=0.130.21⋅0.24≈0.579.\rho_{XY} = \frac{0.13} {\sqrt{0.21\cdot0.24}} \approx 0.579.

La correlación elimina las unidades y normaliza la covarianza por las escalas marginales.

Su carácter lineal, en cambio, permanece. Una relación no lineal fuerte puede tener correlación cero.

83.17. Independencia implica covarianza cero

Si XX e YY son independientes y tienen momentos suficientes,

E[XY]=E[X]E[Y].\mathbb E[XY] = \mathbb E[X]\mathbb E[Y].

Por tanto,

Cov⁡(X,Y)=0.\operatorname{Cov}(X,Y)=0.

Así,

X⊥Y⟹Cov⁡(X,Y)=0.X\perp Y \quad\Longrightarrow\quad \operatorname{Cov}(X,Y)=0.

La implicación inversa es falsa. Conviene mostrarlo con un ejemplo exacto.

83.18. Covarianza cero sin independencia

Sea

U∼Unif⁡(−1,1)U\sim\operatorname{Unif}(-1,1)

y definamos V=U2.V=U^2.

La dependencia es determinista. Conocer UU determina exactamente VV.

Por simetría,

E[U]=0.\mathbb E[U]=0.

Además,

E[V]=E[U2]=13.\mathbb E[V] = \mathbb E[U^2] = \frac13.

El producto es UV=U3.UV=U^3.

Como U3U^3 es impar y la distribución es simétrica,

E[UV]=E[U3]=0.\mathbb E[UV] = \mathbb E[U^3] = 0.

Por tanto,

Cov⁡(U,V)=0−0⋅13=0.\operatorname{Cov}(U,V) = 0-0\cdot\frac13 = 0.
Dependencia exacta con covarianza cero.
Dependencia exacta con covarianza cero Ampliar figura ↗

La nube sigue una parábola exacta, de modo que las dos variables están lejos de ser independientes.

La lección es que la covarianza responde a una pregunta específica sobre asociación lineal centrada.

83.19. Matriz de covarianza

Para un vector aleatorio

X=(X1⋮Xd),X= \begin{pmatrix} X_1\\ \vdots\\ X_d \end{pmatrix},

con media

μ=E[X],\mu=\mathbb E[X],

la matriz de covarianza se define como

Σ=E[(X−μ)(X−μ)T].\Sigma = \mathbb E[ (X-\mu)(X-\mu)^{\mathsf T} ].

Sus elementos son

Σij=Cov⁡(Xi,Xj).\Sigma_{ij} = \operatorname{Cov}(X_i,X_j).

La diagonal contiene varianzas:

Σii=Var⁡(Xi).\Sigma_{ii} = \operatorname{Var}(X_i).

La matriz es simétrica porque

Cov⁡(Xi,Xj)=Cov⁡(Xj,Xi).\operatorname{Cov}(X_i,X_j) = \operatorname{Cov}(X_j,X_i).

En dos dimensiones puede escribirse

Σ=(σX2σXYσXYσY2).\Sigma = \begin{pmatrix} \sigma_X^2 & \sigma_{XY}\\ \sigma_{XY} & \sigma_Y^2 \end{pmatrix}.

83.20. Semidefinición positiva

La matriz de covarianza tiene una propiedad estructural que conviene establecer.

Para cualquier vector aa,

aTΣa=aTE[(X−μ)(X−μ)T]a.a^{\mathsf T}\Sigma a = a^{\mathsf T} \mathbb E[ (X-\mu)(X-\mu)^{\mathsf T} ] a.

Moviendo los escalares al interior,

aTΣa=E[(aT(X−μ))2].a^{\mathsf T}\Sigma a = \mathbb E[ (a^{\mathsf T}(X-\mu))^2 ].

El lado derecho es una varianza:

aTΣa=Var⁡(aTX)≥0.a^{\mathsf T}\Sigma a = \operatorname{Var}(a^{\mathsf T}X) \geq0.

Por tanto, toda matriz de covarianza es semidefinida positiva.

Esto implica que sus valores propios son no negativos.

El paquete utiliza

Σ=(10.80.82)\Sigma= \begin{pmatrix} 1 & 0.8\\ 0.8 & 2 \end{pmatrix}

y verifica numéricamente esta propiedad.

Geometría de una matriz de covarianza.
Geometría de una matriz de covarianza Ampliar figura ↗

Los vectores propios marcan direcciones principales de variación lineal. Esta interpretación conectará más adelante con herramientas espectrales y reducción dimensional.

83.21. Matrices singulares y relaciones exactas

Una matriz de covarianza puede ser singular.

En el ejemplo binario dependiente definimos S=X+Y.S=X+Y.

Consideremos el vector

Z=(XYS).Z= \begin{pmatrix} X\\ Y\\ S \end{pmatrix}.

Sus tres componentes no son linealmente independientes porque S−X−Y=0S-X-Y=0 exactamente.

Entonces existe un vector no nulo

a=(−1−11)a= \begin{pmatrix} -1\\ -1\\ 1 \end{pmatrix}

tal que

aTZ=0a^{\mathsf T}Z=0

para todas las realizaciones.

Por tanto,

Var⁡(aTZ)=0,\operatorname{Var}(a^{\mathsf T}Z)=0,

y

aTΣZa=0.a^{\mathsf T}\Sigma_Za=0.

La matriz ΣZ\Sigma_Z tiene al menos un valor propio nulo.

El código reproduce esta singularidad con error numérico cercano a precisión de máquina.

83.22. Esperanza condicional

C82 introdujo distribuciones condicionales. Podemos aplicar ahora la esperanza dentro de ellas.

La esperanza condicional

E[X∣Y]\mathbb E[X\mid Y]

es una variable aleatoria que depende de YY. Para cada valor de YY, resume la distribución de XX compatible con esa información.

En un caso discreto,

E[X∣Y=y]=∑xx P(X=x∣Y=y).\mathbb E[X\mid Y=y] = \sum_x x\,P(X=x\mid Y=y).

En el ejemplo binario dependiente de C82,

P(X=1∣Y=1)=0.625.P(X=1\mid Y=1)=0.625.

Como XX toma valores 0 y 1,

E[X∣Y=1]=0.625.\mathbb E[X\mid Y=1] = 0.625.

Si Y=0Y=0,

P(X=1∣Y=0)=0.050.60=112,P(X=1\mid Y=0) = \frac{0.05}{0.60} = \frac1{12},

por lo que

E[X∣Y=0]=112.\mathbb E[X\mid Y=0] = \frac1{12}.

La esperanza condicional cambia con la información observada.

83.23. Ley de la esperanza total

Una propiedad central es

E[X]=E[E[X∣Y]].\mathbb E[X] = \mathbb E[ \mathbb E[X\mid Y] ].

En el ejemplo,

E[X]=P(Y=1)E[X∣Y=1]+P(Y=0)E[X∣Y=0].\mathbb E[X] = P(Y=1)\mathbb E[X\mid Y=1] + P(Y=0)\mathbb E[X\mid Y=0].

Sustituyendo,

E[X]=0.4(0.625)+0.6(112).\mathbb E[X] = 0.4(0.625) + 0.6\left(\frac1{12}\right).

Entonces

E[X]=0.25+0.05=0.30.\mathbb E[X] = 0.25+0.05 = 0.30.

Recuperamos la marginal de C81.

La ley de la esperanza total muestra que podemos calcular un promedio global promediando primero dentro de estratos o estados condicionales y después ponderando esos promedios por la distribución del condicionante.

83.24. Ley de la varianza total

Existe una descomposición análoga para la varianza:

Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y]).\operatorname{Var}(X) = \mathbb E[ \operatorname{Var}(X\mid Y) ] + \operatorname{Var}( \mathbb E[X\mid Y] ).

El primer término mide la variabilidad promedio dentro de los niveles de YY. El segundo mide cuánto cambian las medias condicionales entre esos niveles.

Esta identidad importa en sistemas heterogéneos. Una varianza global grande puede provenir de dispersión interna en cada estado, de diferencias entre estados o de ambas.

La descomposición describe cómo se reparte la variabilidad respecto de la variable utilizada para condicionar, sin identificar por sí sola una causa.

En capítulos posteriores aparecerán modelos jerárquicos donde esta separación volverá a utilizarse.

83.25. La media y la varianza no determinan una distribución

Dos distribuciones pueden compartir

E[X]\mathbb E[X]

y

Var⁡(X)\operatorname{Var}(X)

y diferir en casi todo lo demás.

Una distribución puede ser simétrica y unimodal, mientras otra es bimodal. Una tercera concentra casi toda la masa cerca de la media y reserva poca probabilidad para valores extremos. Las tres pueden ajustarse para tener la misma media y varianza.

Por ello, (μ,σ2)(\mu,\sigma^2) no es una codificación completa de una distribución.

En algunos modelos específicos, como una distribución normal, esos dos parámetros determinan toda la ley. Esa suficiencia pertenece a la familia elegida y no se extiende a media y varianza en general.

C84 estudiará las distribuciones discretas y continuas como supuestos de modelamiento, con las restricciones que cada elección impone.

83.26. Segundo momento finito y límites de la varianza

Para que la varianza sea finita necesitamos

E[X2]<∞.\mathbb E[X^2]<\infty.

Esto implica

E[∣X∣]<∞,\mathbb E[|X|]<\infty,

pero no al revés en general.

La distribución de cola

P(X=n)=6π2n2P(X=n) = \frac{6}{\pi^2n^2}

utilizada antes ni siquiera tiene media finita. Su segundo momento parcial crece mucho más rápido:

∑n=1Nn26π2n2=6Nπ2.\sum_{n=1}^{N} n^2 \frac{6}{\pi^2n^2} = \frac{6N}{\pi^2}.

Cuando N→∞N\to\infty,

E[X2]=+∞.\mathbb E[X^2]=+\infty.

Por tanto no existe una varianza finita.

Un algoritmo puede calcular una varianza muestral para cualquier muestra finita, pero eso no implica que la distribución generadora tenga segundo momento finito. La estadística finita y la propiedad del modelo deben distinguirse.

83.27. Covarianza y causalidad

Una covarianza positiva no identifica el mecanismo que la produce.

Puede aparecer porque XX influye sobre YY, porque YY influye sobre XX, porque ambas variables responden a un tercer proceso o porque la selección de observaciones induce asociación.

C82 ya estableció la misma cautela para probabilidades condicionales. La covarianza no añade causalidad a esa relación.

Tampoco covarianza cero certifica ausencia de interacción. El ejemplo V=U2V=U^2 contiene una relación funcional exacta y covarianza nula.

La covarianza es un descriptor de segundo orden de la distribución conjunta.

83.28. Estandarización

Cuando

Var⁡(X)>0,\operatorname{Var}(X)>0,

podemos definir

Z=X−μσ,Z = \frac{X-\mu}{\sigma},

donde

μ=E[X],σ=Var⁡(X).\mu=\mathbb E[X], \qquad \sigma=\sqrt{\operatorname{Var}(X)}.

Por linealidad,

E[Z]=E[X]−μσ=0.\mathbb E[Z] = \frac{\mathbb E[X]-\mu}{\sigma} = 0.

Por la regla de escala de la varianza,

Var⁡(Z)=Var⁡(X)σ2=1.\operatorname{Var}(Z) = \frac{\operatorname{Var}(X)}{\sigma^2} = 1.

La estandarización elimina una localización y una escala específicas, sin igualar dos distribuciones que tenían formas diferentes.

Para la variable discreta inicial, con

μ=0.4,σ=1.24,\mu=0.4, \qquad \sigma=\sqrt{1.24},

el paquete transforma los tres valores y verifica exactamente media cero y varianza uno.

La operación es útil cuando queremos comparar variables expresadas en unidades diferentes. Sin embargo, una diferencia de una desviación estándar no tiene necesariamente el mismo significado sustantivo en dos sistemas distintos. La estandarización iguala los dos primeros momentos y deja intactas colas, asimetría y estructura multimodal.

83.29. La cota de Cauchy–Schwarz y por qué ∣ρ∣≤1|\rho|\leq1

La cota de la correlación no es una convención.

Definamos las variables centradas

Xc=X−E[X],Yc=Y−E[Y].X_c=X-\mathbb E[X], \qquad Y_c=Y-\mathbb E[Y].

La desigualdad de Cauchy–Schwarz para variables cuadrado-integrables establece

∣E[XcYc]∣2≤E[Xc2]E[Yc2].\left| \mathbb E[X_cY_c] \right|^2 \leq \mathbb E[X_c^2] \mathbb E[Y_c^2].

El lado izquierdo es

Cov⁡(X,Y)2.\operatorname{Cov}(X,Y)^2.

El derecho es

Var⁡(X)Var⁡(Y).\operatorname{Var}(X)\operatorname{Var}(Y).

Por tanto,

∣Cov⁡(X,Y)∣≤σXσY.|\operatorname{Cov}(X,Y)| \leq \sigma_X\sigma_Y.

Si ambas desviaciones estándar son positivas, dividimos por su producto:

∣ρXY∣≤1.|\rho_{XY}|\leq1.

La igualdad ∣ρXY∣=1|\rho_{XY}|=1 requiere, bajo las condiciones habituales, una relación lineal casi segura entre las variables centradas. Una dependencia no lineal perfecta como V=U2V=U^2 puede tener ρ=0.\rho=0.

El intervalo [−1,1][-1,1] acota la asociación lineal normalizada, sin ordenar toda forma de dependencia desde «ninguna» hasta «máxima».

83.30. Varianza de una combinación lineal de muchas variables

Sea

X=(X1⋮Xd)X= \begin{pmatrix} X_1\\ \vdots\\ X_d \end{pmatrix}

con matriz de covarianza Σ\Sigma. Consideremos un agregado

Z=aTX=∑i=1daiXi.Z=a^{\mathsf T}X = \sum_{i=1}^{d}a_iX_i.

Ya demostramos que

Var⁡(Z)=aTΣa.\operatorname{Var}(Z) = a^{\mathsf T}\Sigma a.

Expandiendo el producto matricial,

Var⁡(Z)=∑i=1dai2Var⁡(Xi)+2∑i<jaiajCov⁡(Xi,Xj).\operatorname{Var}(Z) = \sum_{i=1}^{d} a_i^2\operatorname{Var}(X_i) + 2\sum_{i<j} a_i a_j \operatorname{Cov}(X_i,X_j).

Esta fórmula muestra por qué la variabilidad de un sistema agregado no se obtiene sumando mecánicamente las variabilidades de sus componentes.

Los términos diagonales describen dispersión individual. Los términos cruzados describen coordinación entre fluctuaciones.

Si muchas covarianzas son positivas, las variaciones pueden reforzarse. Si varias son negativas, pueden compensarse.

En un sistema con cientos de componentes, ignorar la dependencia equivale a eliminar todos los términos fuera de la diagonal de Σ\Sigma. Esa simplificación puede ser apropiada como modelo de referencia, pero debe reconocerse como un supuesto.

83.31. Compensación exacta mediante covarianza negativa

La covarianza puede reducir la variabilidad de una suma.

Sea

X∼Bernoulli⁡(p)X\sim\operatorname{Bernoulli}(p)

y definamos Y=1−X.Y=1-X.

Entonces X+Y=1X+Y=1 en todas las realizaciones.

Por tanto,

Var⁡(X+Y)=0.\operatorname{Var}(X+Y)=0.

Como

Var⁡(Y)=Var⁡(X),\operatorname{Var}(Y)=\operatorname{Var}(X),

la identidad general exige

0=2Var⁡(X)+2Cov⁡(X,Y).0 = 2\operatorname{Var}(X) + 2\operatorname{Cov}(X,Y).

Luego

Cov⁡(X,Y)=−Var⁡(X).\operatorname{Cov}(X,Y) = -\operatorname{Var}(X).

Para p=0.3p=0.3,

Var⁡(X)=0.21,\operatorname{Var}(X)=0.21,

de modo que

Cov⁡(X,Y)=−0.21.\operatorname{Cov}(X,Y)=-0.21.

Aquí la dependencia es perfectamente compensatoria. Cada aumento de XX viene acompañado por una disminución de YY.

Este ejemplo y el caso positivo de C81 muestran que la misma variabilidad marginal puede producir agregados mucho más variables, igual de variables o incluso completamente constantes, según la estructura conjunta.

83.32. Resolver la ley de la varianza total en el ejemplo binario

Volvamos al modelo dependiente con

P(X=1)=0.3,P(Y=1)=0.4,P(X=1,Y=1)=0.25.P(X=1)=0.3, \qquad P(Y=1)=0.4, \qquad P(X=1,Y=1)=0.25.

Ya obtuvimos

P(X=1∣Y=1)=0.625.P(X=1\mid Y=1)=0.625.

Cuando Y=0Y=0,

P(X=1∣Y=0)=0.050.60=112.P(X=1\mid Y=0) = \frac{0.05}{0.60} = \frac1{12}.

Como una Bernoulli con parámetro θ\theta tiene varianza θ(1−θ),\theta(1-\theta), la varianza condicional para Y=1Y=1 es 0.625(0.375)=0.234375.0.625(0.375) = 0.234375.

Para Y=0Y=0,

1121112=11144≈0.076389.\frac1{12}\frac{11}{12} = \frac{11}{144} \approx0.076389.

Promediando dentro de los dos estratos,

E[Var⁡(X∣Y)]=0.4(0.234375)+0.6(0.076389)≈0.139583.\mathbb E[ \operatorname{Var}(X\mid Y) ] = 0.4(0.234375) + 0.6(0.076389) \approx0.139583.

Las medias condicionales son

0.6250.625

y

112.\frac1{12}.

Su varianza respecto de la media global 0.30.3 es aproximadamente 0.070417.0.070417.

Sumando,

0.139583+0.070417=0.21=Var⁡(X).0.139583+0.070417 = 0.21 = \operatorname{Var}(X).

El paquete verifica esta igualdad con precisión numérica.

La descomposición permite distinguir variación residual dentro de los estados de YY de variación atribuible a que las medias de esos estados son distintas.

83.33. Momentos de una distribución y estadísticas de una muestra

Hasta ahora

E[X],Var⁡(X),Cov⁡(X,Y)\mathbb E[X], \qquad \operatorname{Var}(X), \qquad \operatorname{Cov}(X,Y)

han sido propiedades de una distribución.

En datos finitos calculamos cantidades empíricas, por ejemplo

Xˉ=1n∑i=1nXi.\bar X = \frac1n \sum_{i=1}^{n}X_i.

La media muestral es una variable aleatoria antes de observar la muestra. Después de observarla se convierte en un número.

No debemos escribir automáticamente

Xˉ=E[X].\bar X=\mathbb E[X].

En una muestra finita normalmente difieren.

Lo mismo ocurre con la varianza. Podemos calcular

1n∑i=1n(Xi−Xˉ)2\frac1n \sum_{i=1}^{n} (X_i-\bar X)^2

como segundo momento empírico centrado, o utilizar

1n−1∑i=1n(Xi−Xˉ)2\frac1{n-1} \sum_{i=1}^{n} (X_i-\bar X)^2

cuando buscamos el estimador insesgado usual de una varianza poblacional bajo muestreo independiente con segundo momento finito.

El factor n−1n-1 pertenece a un problema de estimación y deja intacta la definición matemática

Var⁡(X)=E[(X−μ)2].\operatorname{Var}(X) = \mathbb E[(X-\mu)^2].

C86 estudiará por qué ciertos promedios muestrales convergen a cantidades poblacionales. Por ahora basta mantener separados parámetro de distribución y estadístico observado.

83.34. Sensibilidad de la varianza a valores extremos

El cuadrado hace a la varianza muy sensible a observaciones alejadas de la media.

Si una desviación pasa de dd a 10d,10d, su contribución cuadrática pasa de d2d^2 a 100d2.100d^2.

Esta propiedad es una consecuencia deliberada de medir dispersión mediante energía cuadrática.

Tiene ventajas claras. La expansión algebraica es simple, la varianza interactúa bien con productos internos y conduce a matrices semidefinidas positivas, mínimos cuadrados y geometría euclídea.

Sin embargo, en distribuciones de cola amplia puede hacer que la varianza sea muy grande o infinita. Una muestra pequeña puede entonces producir estimaciones muy inestables.

Existen otras medidas de dispersión, como desviación absoluta respecto de una localización o rangos basados en cuantiles. No son equivalentes a la varianza y responden de forma diferente a las colas.

El descriptor adecuado depende de qué propiedad del sistema queremos resumir. Esta elección debe declararse porque distintos descriptores pueden ordenar de manera diferente dos sistemas con colas o asimetrías distintas.

83.35. Qué información conservan los momentos de segundo orden

El conjunto

μ=E[X]\mu=\mathbb E[X]

y

Σ=Cov⁡(X)\Sigma=\operatorname{Cov}(X)

describe por completo la localización y la geometría lineal de segundo orden.

Eso puede ser suficiente para algunas preguntas. Por ejemplo, la varianza de cualquier combinación lineal

aTXa^{\mathsf T}X

queda completamente determinada por Σ\Sigma.

En cambio, μ\mu y Σ\Sigma no determinan probabilidades de eventos generales. Tampoco especifican colas, multimodalidad ni dependencias no lineales.

Dos vectores aleatorios pueden compartir la misma media y matriz de covarianza y presentar distribuciones conjuntas muy distintas.

Existe una excepción. Dentro de la familia normal multivariada, media y covarianza sí determinan toda la distribución. Esa suficiencia proviene del supuesto de normalidad más que de los primeros dos momentos en sí.

Esta es la transición conceptual hacia C84. Elegir una familia probabilística convierte ciertos resúmenes en parámetros suficientes para describir esa familia, pero también introduce compromisos sobre la forma de la distribución.

83.36. Dependencia de orden superior invisible para la covarianza por pares

El ejemplo XOR de C81 permite llevar la limitación un paso más lejos.

Sean UU y VV bits independientes y equiprobables, y

W=U⊕V.W=U\oplus V.

Cada variable tiene distribución Bernoulli con parámetro 1/21/2. Además, los tres pares

(U,V),(U,W),(V,W)(U,V), \qquad (U,W), \qquad (V,W)

son independientes.

Por tanto,

Cov⁡(U,V)=Cov⁡(U,W)=Cov⁡(V,W)=0.\operatorname{Cov}(U,V) = \operatorname{Cov}(U,W) = \operatorname{Cov}(V,W) = 0.

La matriz de covarianza de (U,V,W)(U,V,W) es diagonal:

Σ=14(100010001).\Sigma = \frac14 \begin{pmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{pmatrix}.

Si solo observáramos media y matriz de covarianza, el sistema sería indistinguible, en esos momentos de segundo orden, de tres bits mutuamente independientes. Las tres variables, sin embargo, distan de serlo.

Existe la restricción exacta

W=U⊕V.W=U\oplus V.

Conocer dos variables determina la tercera. Por ejemplo,

P(W=1∣U=0,V=1)=1.P(W=1\mid U=0,V=1)=1.

Además, el estado

(U,V,W)=(1,1,1)(U,V,W)=(1,1,1)

tiene probabilidad cero, mientras que tres Bernoulli independientes asignarían

18.\frac18.

La dependencia vive en la distribución conjunta de tercer orden y no aparece en ninguna covarianza por pares.

Este ejemplo importa en ciencias de la complejidad. Un sistema puede carecer de asociaciones lineales bivariadas y, sin embargo, estar fuertemente organizado por restricciones colectivas.

Las matrices de covarianza siguen siendo objetos centrales cuando la pregunta depende de combinaciones lineales o de estructura de segundo orden. Lo que el ejemplo acota es su alcance, porque una matriz de covarianza no representa por completo la organización multivariada.

Este límite también afecta cualquier procedimiento que reconstruya un sistema utilizando únicamente correlaciones. Si dos conjuntos de datos tienen la misma matriz de covarianza, un método basado exclusivamente en esa matriz producirá la misma entrada matemática para ambos, aunque uno contenga una restricción XOR y el otro sea completamente independiente. La pérdida de información no aparece durante el cálculo; ocurrió antes, cuando resumimos la distribución conjunta mediante segundos momentos. Esta observación ayuda a separar dos preguntas distintas, la de si un método está correctamente implementado respecto de su entrada y la de si esa entrada conserva la estructura necesaria para la pregunta científica. Un cálculo impecable sobre una representación insuficiente puede ser incapaz de detectar el fenómeno relevante.

Más adelante, la teoría de la información permitirá describir dependencias que no se reducen a segundos momentos y distinguir redundancia de estructura que solo aparece al combinar varias variables.

83.37. Verificación computacional

El paquete reproducible ejecuta controles analíticos y numéricos.

Para la variable discreta

X∈{−1,0,2},X\in\{-1,0,2\},

verifica

E[X]=0.4,\mathbb E[X]=0.4,
E[X2]=1.4,\mathbb E[X^2]=1.4,

y

Var⁡(X)=1.24.\operatorname{Var}(X)=1.24.

También comprueba

E[aX+b]=aE[X]+b\mathbb E[aX+b] = a\mathbb E[X]+b

y

Var⁡(aX+b)=a2Var⁡(X).\operatorname{Var}(aX+b) = a^2\operatorname{Var}(X).

En el ejemplo binario calcula exactamente las dos covarianzas, las varianzas de XX, YY y S=X+YS=X+Y. Confirma además que la fórmula con el término 2Cov⁡(X,Y)2\operatorname{Cov}(X,Y) coincide con la varianza obtenida directamente desde la distribución de SS.

Para el contraejemplo

U∼Unif⁡(−1,1),V=U2,U\sim\operatorname{Unif}(-1,1), \qquad V=U^2,

la integración numérica recupera

E[U]=0,E[U2]=13,E[U3]=0.\mathbb E[U]=0, \qquad \mathbb E[U^2]=\frac13, \qquad \mathbb E[U^3]=0.

La covarianza teórica es cero, mientras la simulación conserva la relación determinista parabólica.

Finalmente, el código comprueba que las matrices de covarianza son simétricas y semidefinidas positivas. Para el vector (X,Y,S)(X,Y,S), con S=X+YS=X+Y, detecta un valor propio nulo compatible con dependencia lineal exacta.

La distribución pesada truncada se utiliza únicamente como aproximación numérica a las sumas parciales del ejemplo analítico de momento divergente.

Se ejecutaron 43 comprobaciones automáticas y las 43 resultaron satisfactorias.

83.38. Qué queda establecido

La esperanza es un operador lineal que resume una distribución mediante un promedio ponderado. Puede existir fuera del soporte y no se conserva a través de transformaciones no lineales.

La varianza mide dispersión cuadrática alrededor de la esperanza. Cambia con el cuadrado de la escala y exige un segundo momento finito.

La covarianza es el término que conecta las fluctuaciones de dos variables y determina cómo cambia la varianza de una suma. Su versión estandarizada, la correlación, elimina unidades pero no deja de describir asociación lineal.

La matriz de covarianza generaliza estas ideas a muchas variables y es necesariamente semidefinida positiva porque toda combinación lineal tiene varianza no negativa.

Ninguno de estos resúmenes reemplaza a la distribución completa. Covarianza cero no implica independencia. Media más varianza no determinan una ley salvo en familias particulares.

El próximo capítulo, C84, estudiará las distribuciones discretas y continuas como supuestos de modelamiento. Allí la pregunta cambiará de «qué momentos tiene una distribución» a «qué familia probabilística estamos suponiendo y qué compromisos introduce esa elección».

Referencias

Recursos reproducibles

Descargar recursos del capítulo (ZIP, 1,6 MB).

7 archivos CSV · 4 figuras · 1 programa Python.

El programa se ha ejecutado en una carpeta vacía y genera los archivos de datos y figuras incluidos en el paquete.

Ver instrucciones y contenido del paquete.