¿Puede mejorar la predicción mientras empeora la explicación?

487.1. Elegir un criterio antes de elegir un modelo

Un modelo puede predecir mejor que otro y, al mismo tiempo, ofrecer menos respaldo a una explicación causal concreta. También puede ocurrir lo inverso: un modelo fácil de interpretar puede predecir peor porque representa el fenómeno de forma incompleta. Ninguna de estas posibilidades establece una jerarquía general entre modelos simples y complejos. Lo que sí exigen es declarar qué tarea se evalúa. Predecir una observación nueva, estimar el efecto de una intervención y describir una asociación requieren información y comprobaciones diferentes, aunque partan de los mismos datos.

Shmueli (2010) examina la distinción entre modelamiento explicativo y predictivo a lo largo de todo el proceso, desde la definición del objetivo hasta el uso de los resultados. Su argumento no relega la predicción a una función aplicada. Entre las contribuciones del modelamiento predictivo al desarrollo de teoría enumera la generación de hipótesis a partir de patrones difíciles de anticipar, la comparación de operacionalizaciones y la construcción de referencias de predictibilidad, y propone tratar el poder explicativo y la exactitud predictiva como dos dimensiones distintas de un mismo modelo. Esa lectura evita suponer que un buen ajuste a una hipótesis causal garantiza predicción o que una predicción acertada identifica el mecanismo que la produce.

Breiman (2001) contrapone dos culturas de modelamiento. Una supone un modelo estocástico para el mecanismo que genera los datos y estima sus parámetros; la otra trata ese mecanismo como desconocido y busca algoritmos evaluados por su exactitud predictiva. Su defensa de los métodos algorítmicos se apoya en la información que entregan sobre la relación entre entradas y salida, sin afirmar que sus variables importantes sean causas, y advierte a la otra cultura que las conclusiones de un modelo de datos se refieren al mecanismo del modelo y no necesariamente al de la naturaleza. Hernán, Hsu y Healy (2019) distinguen tres clases de tareas, descripción, predicción y predicción contrafactual, e insisten en que las tareas causales requieren conocimiento experto del dominio además de buenos datos y algoritmos.

En este capítulo esa tensión se examina con un generador conocido. Todos los resultados numéricos son sintéticos y ninguno constituye evidencia clínica ni empírica sobre poblaciones reales. El sistema contiene una causa observada, otra que no se observa directamente y una medición indirecta de esta última; se compara un modelo restringido con uno más flexible y luego se altera la relación entre la medición y su origen. Como las ecuaciones son conocidas, es posible separar las propiedades verdaderas del ejemplo de las conclusiones que los datos observacionales, por sí solos, no permitirían sostener.

487.2. Un generador con una medición indirecta útil

Sean dos variables independientes de media cero y varianza unitaria. La primera se observa directamente. La segunda también influye en el resultado, pero solo se conoce a través de una medición con ruido. El resultado suma el doble de la primera variable, la segunda y un error pequeño. La medición indirecta se obtiene antes de que ocurra el resultado y está disponible para cualquier procedimiento predictivo en el momento de uso, de modo que no se introduce información posterior.

En esta notación, el segundo argumento de $\mathcal N$ es la varianza; las desviaciones estándar de los errores son, por tanto, 0,1 y 0,2, que son los valores usados en el código. Los términos de error son independientes entre sí y de $X$ y $U$. En este sistema, cambiar el valor registrado de la medición sin tocar su fuente no modifica el resultado. La medición aporta información sobre una causa sin ser ella misma una causa. Esa propiedad está escrita en las ecuaciones estructurales del ejemplo. En una aplicación empírica, establecer una relación semejante requeriría conocer el procedimiento de medición y el sistema estudiado; una correlación elevada no bastaría.

Un predictor que usa solo la variable observada puede reproducir la parte del resultado que depende de ella. Su error conserva la variación aportada por la causa no observada y por el ruido final, de manera que su error cuadrático medio poblacional es 1,01. Un predictor que también usa la medición indirecta reduce la incertidumbre sobre la segunda causa. Como todas las variables son gaussianas, la esperanza condicional del resultado es lineal en $X$ y $Z$. El coeficiente de la medición es el cociente entre la covarianza de $U$ con $Z$ y la varianza de $Z$, es decir, $1/1{,}04=25/26\approx0{,}9615$.

La mejora predictiva es real dentro del generador y no proviene de una fuga de información ni de evaluar sobre los datos del ajuste. Sin embargo, sería incorrecto leer el coeficiente de la medición como el efecto de manipular su valor registrado. El predictor informa qué resultado cabe esperar cuando se observa cierto valor, mientras que una intervención cambia una variable por una vía que puede dejar intacto el resultado; el ejemplo permite comprobar con cifras exactas esa diferencia entre condicionar y modificar.

487.3. Ajustar una representación restringida y otra flexible

La comparación empírica utiliza dos modelos estimados con la misma muestra de entrenamiento. El restringido incluye intercepto y la primera variable. El flexible contiene todos los términos polinómicos de ambas variables hasta grado total tres. Esa familia admite relaciones más amplias que las necesarias para el generador e incluye como caso particular la esperanza condicional correcta. Ambos se ajustan por mínimos cuadrados y se evalúan sobre una muestra independiente obtenida con las mismas reglas.

El polinomio se eligió porque permite inspeccionar la implementación completa sin depender de bibliotecas de aprendizaje automático, y no pretende representar la diversidad de modelos flexibles. La comparación tampoco aísla la flexibilidad funcional, porque el segundo modelo dispone de una variable adicional. Esa asimetría es deliberada, ya que interesa estudiar el valor predictivo de una medición indirecta. Para atribuir una mejora exclusivamente a la familia de funciones habría que mantener idénticas las variables disponibles y variar solo la forma del modelo, control que se realiza en la sección 487.6.

import numpy as np
rng = np.random.default_rng(487)
def generate(n, sign=1):
    x,u = rng.normal(size=(2,n))
    y = 2*x+u+.1*rng.normal(size=n)
    z = sign*u+.2*rng.normal(size=n)
    return x,z,y
def restricted(x):
    return np.column_stack([np.ones(len(x)),x])
def flexible(x,z):
    return np.column_stack([np.ones(len(x)),x,z,x*x,x*z,z*z,
                            x**3,x*x*z,x*z*z,z**3])
x,z,y = generate(3000)
br = np.linalg.lstsq(restricted(x),y,rcond=None)[0]
bf = np.linalg.lstsq(flexible(x,z),y,rcond=None)[0]
xt,zt,yt = generate(30000)
r_error = np.mean((yt-restricted(xt)@br)**2)
f_error = np.mean((yt-flexible(xt,zt)@bf)**2)
assert .9 < r_error < 1.15
assert f_error < .07
print("ECM independiente, restringido y flexible:",r_error,f_error)
print("Coeficientes principales flexibles:",bf[:3])
print("Términos de grado dos y tres:",np.round(bf[3:],4))

En la ejecución de referencia, el error cuadrático medio sobre la muestra independiente fue cercano a 1,001 para el modelo restringido y a 0,048 para el flexible, ambos compatibles con los valores poblacionales de 1,01 y 0,0485. Los coeficientes de $X$ y $Z$ resultaron cercanos a 2,00 y 0,96, y los siete términos de grado dos y tres quedaron por debajo de 0,005 en valor absoluto. Estas cifras pueden variar ligeramente con otra versión de la biblioteca o con otra semilla; las comprobaciones del código usan márgenes amplios por esa razón.

Un buen desempeño del modelo flexible sostiene su utilidad para la tarea definida y bajo la distribución examinada. No demuestra que cada término estimado corresponda a un mecanismo separado. Los términos de orden superior son pequeños porque el generador es lineal, y sus valores concretos cambiarán de una muestra a otra. Incluso el coeficiente de la medición, estable y próximo a su valor poblacional, conserva una interpretación predictiva: estimar con precisión una asociación no la convierte en el efecto de una intervención. El ejemplo no premia la complejidad. Muestra que una representación enriquecida puede reducir el error al aprovechar información asociativa y que esa ganancia debe interpretarse según su origen.

487.4. Cambiar el contexto de la medición

Supóngase que en otro entorno la medición indirecta invierte su relación con la variable que pretende registrar. El resultado conserva la misma ecuación causal y la primera variable mantiene su significado. La inversión puede representar, de forma deliberadamente esquemática, un cambio de codificación o del mecanismo de observación. Los modelos entrenados se aplican sin recalibración. El predictor restringido conserva su error poblacional, porque no depende de la medición, mientras que el enriquecido sigue esperando una relación que ya no existe.

Como los tres términos del error son independientes, su varianza es la suma de las varianzas de cada uno. El error cuadrático medio del predictor poblacional enriquecido pasa a ser aproximadamente 3,8946, casi cuatro veces el del predictor restringido. La ventaja obtenida en el contexto original se convierte en una desventaja. Este resultado no implica que los modelos flexibles transfieran peor en general, pues depende de una modificación precisa en la relación que el predictor aprovechaba. Si el cambio se conoce, puede corregirse la codificación o reentrenarse el modelo con una evaluación apropiada.

xs,zs,ys = generate(30000,sign=-1)
r_shift = np.mean((ys-restricted(xs)@br)**2)
f_shift = np.mean((ys-flexible(xs,zs)@bf)**2)
beta = 1/1.04
population_shift = (1+beta)**2+.01+.04*beta**2
assert .9 < r_shift < 1.15
assert f_shift > 3.4
assert np.isclose(population_shift,3.8946153846153844)
print("ECM tras el cambio:",r_shift,f_shift)
print("Referencia poblacional:",population_shift)

En la ejecución de referencia el modelo flexible alcanzó un error cercano a 3,85 tras el cambio. La diferencia con el valor poblacional de 3,89 es compatible con la variación muestral, pues con 30 000 observaciones el error estándar de esa media ronda 0,03 y a ello se suma la incertidumbre de los coeficientes.

La prueba identifica una condición de transferencia: la relación entre la medición y su fuente debe conservarse o modelarse explícitamente, y que las variables tengan el mismo nombre en ambos archivos no la garantiza. Si la inversión respondiera a una codificación documentada, corregirla sería parte del preprocesamiento; si fuera desconocida y dependiera del contexto, la incertidumbre sería científica. En ambos casos, el desempeño observado en el primer entorno dice poco sobre el segundo.

487.5. Una intervención sobre el registro y otra sobre su fuente

En el generador, sustituir el valor registrado de la medición por otro modifica la predicción, pero deja intacta la ecuación del resultado. Intervenir sobre la variable que origina la medición, en cambio, sí cambia el resultado. Ambas acciones pueden producir el mismo valor observado de la medición y tener consecuencias distintas. Por eso, una recomendación que propone aumentar o disminuir un predictor debe especificar por qué vía se produce esa modificación en el sistema.

Si se reduce en una unidad la fuente y se mantiene todo lo demás, el resultado disminuye exactamente una unidad y la medición, recalculada con el mismo error, también baja una unidad. El predictor poblacional enriquecido reduce entonces su estimación en 0,9615 (el ajustado en la sección 487.3, en torno a 0,97), una aproximación razonable porque la medición sigue reflejando su fuente. Si, en cambio, solo se resta una unidad al registro después de medir, el resultado no cambia y el predictor vuelve a reducir su estimación en 0,9615. La misma respuesta numérica es casi correcta en el primer caso y completamente errónea en el segundo. El predictor no distingue las dos operaciones porque solo recibe el valor de entrada.

rng_i = np.random.default_rng(5487)
m = 100000
xi,ui = rng_i.normal(size=(2,m))
ei,hi = .1*rng_i.normal(size=m),.2*rng_i.normal(size=m)
y0,z0 = 2*xi+ui+ei, ui+hi
y_source,z_source = 2*xi+(ui-1)+ei, (ui-1)+hi
y_record,z_record = y0, z0-1
pred = lambda xv,zv: flexible(xv,zv)@bf
d_source = (np.mean(y_source-y0), np.mean(pred(xi,z_source)-pred(xi,z0)))
d_record = (np.mean(y_record-y0), np.mean(pred(xi,z_record)-pred(xi,z0)))
assert np.isclose(d_source[0],-1) and np.isclose(d_record[0],0)
assert abs(d_source[1]-d_record[1]) < .02 and abs(d_record[1]+.96) < .05
print("Intervención sobre la fuente, cambio real y predicho:",d_source)
print("Intervención sobre el registro, cambio real y predicho:",d_record)

Que una variable mejore la predicción sigue siendo un hallazgo útil. Puede indicar que contiene información sobre procesos omitidos y orientar nuevas mediciones o hipótesis, una de las funciones científicas que Shmueli (2010) atribuye al modelamiento predictivo. El problema surge cuando se pasa de esa utilidad a una afirmación causal sin examinar el mecanismo. Una investigación puede aprovechar la señal predictiva y mantener abierta su interpretación; no está obligada a elegir entre descartar la variable y declararla causa demostrada.

La explicación tampoco empeora necesariamente por usar el predictor enriquecido. Empeora cuando una interpretación causal correcta se reemplaza por otra sin respaldo, o cuando se omiten las condiciones de transferencia. Un informe que describe la función predictiva de la medición y conserva las ecuaciones causales conocidas puede mejorar el conocimiento total. La pregunta del capítulo, entonces, se refiere a criterios que pueden divergir y no a una oposición inevitable entre precisión y comprensión.

487.5.1. Una estructura causal puede conservar la mejora predictiva

El generador permite construir un modelo que represente explícitamente la causa no observada y su medición. En ese modelo, observar el registro actualiza la distribución de la causa sin convertir el registro en causa del resultado. La distribución condicional de la variable no observada, dada la medición, es normal, con media igual al coeficiente ya calculado multiplicado por la medición y varianza de aproximadamente 0,03846. Al integrar esa incertidumbre se obtiene exactamente la predicción óptima que utilizaba el modelo enriquecido.

Una representación estructural adecuada puede, por tanto, predecir con la misma precisión y además distinguir intervenciones. Si se modifica la fuente, cambia la ecuación del resultado; si se modifica solo el registro, cambia la información disponible para predecir, pero no el resultado generado. La diferencia entre ambos modelos no aparece en la predicción ordinaria, que es idéntica. Aparece en cómo cada uno representa operaciones distintas de la simple observación. Dos modelos pueden coincidir sobre datos ordinarios y responder de manera diferente a preguntas causales.

En el ejemplo esa estructura se conoce porque se usó para generar los datos. En una investigación real, especificarla no equivale a demostrarla, ya que podrían existir mecanismos alternativos compatibles con la misma distribución observacional. Escribir ecuaciones estructurales hace explícitas las hipótesis y sus consecuencias; el respaldo para aceptarlas debe venir del diseño de la medición, de intervenciones apropiadas o de restricciones sustantivas justificadas.

Los residuos tampoco resuelven la cuestión. Bajo el generador gaussiano, el error de la esperanza condicional es independiente de las variables observadas, de modo que un análisis residual podría resultar impecable mientras la interpretación de intervenir sobre el registro sigue siendo equivocada. Breiman (2001) ya había señalado que las pruebas de bondad de ajuste y el examen de residuos tienen poca potencia para detectar falta de ajuste, sobre todo en varias dimensiones. El ejemplo ilustra un límite distinto y más básico: incluso un ajuste perfecto de la distribución condicional no identifica la estructura causal que la produce. Los diagnósticos detectan ciertas discrepancias, pero su silencio no descarta las explicaciones rivales.

487.6. Separar información disponible y flexibilidad funcional

Para localizar el origen de la mejora se ajusta un tercer modelo, lineal, que usa ambas variables. Comparte con el flexible la información disponible, pero restringe la función a un plano. Como la esperanza condicional del generador es lineal, los términos polinómicos adicionales no aportan ventaja poblacional y en una muestra finita solo introducen pequeñas variaciones de rendimiento. Si el modelo lineal con ambas variables iguala al flexible, la ganancia principal procede de observar la medición indirecta y no de la curvatura.

def linear_both(x,z):
    return np.column_stack([np.ones(len(x)),x,z])
bl = np.linalg.lstsq(linear_both(x,z),y,rcond=None)[0]
l_error = np.mean((yt-linear_both(xt,zt)@bl)**2)
l_shift = np.mean((ys-linear_both(xs,zs)@bl)**2)
assert l_error < .07 and l_shift > 3.4
print("Modelo lineal con ambas variables:",l_error,l_shift)

En la ejecución de referencia, el modelo lineal con ambas variables obtuvo errores de 0,0478 en el contexto original y de 3,849 tras el cambio, prácticamente iguales a los del polinomio. Tanto la mejora como el fracaso posterior acompañan a la variable incorporada y no a la forma funcional. Si solo se hubiera comparado el modelo restringido con el polinómico, la ganancia podría haberse atribuido a la flexibilidad. En la práctica suelen cambiar a la vez las variables, la muestra de entrenamiento, la función de pérdida y la arquitectura, y cuando la interpretación depende de cuál produjo la mejora, la evaluación debe separarlos.

La flexibilidad es útil cuando el generador contiene relaciones no lineales que una familia restringida no puede representar, y también puede revelar interacciones no anticipadas; su valor debe examinarse sobre datos reservados y en las condiciones de uso. La crítica de este capítulo apunta a una atribución causal equivocada y a una transferencia no comprobada. No sostiene que un modelo lineal sea superior por su forma ni que un algoritmo flexible carezca de contenido explicativo.

La elección puede conservar más de un modelo para tareas distintas. El modelo con la medición indirecta puede emplearse para predecir dentro del contexto validado, mientras una representación estructural orienta las preguntas sobre intervención, siempre que las salidas de uno no se usen en lugar de las del otro sin justificación. La arquitectura de uso debería indicar qué función cumple cada componente y qué evidencia respalda su aplicación.

487.7. Parámetros inestables con predicciones estables

La interpretación también puede fallar cuando coeficientes muy distintos producen predicciones casi iguales. Si dos predictores son prácticamente copias uno del otro y el resultado depende solo del primero, una regresión puede repartir el peso entre ambos de maneras muy diferentes sin alterar su suma. Pequeñas variaciones de la muestra producen entonces grandes cambios en cada coeficiente, mientras la predicción dentro del mismo dominio permanece estable, porque los datos contienen poca información para separar ambas contribuciones. Breiman (2001) describió un fenómeno emparentado, que llamó efecto Rashomon: muchos modelos con errores casi idénticos pueden contar historias diferentes sobre qué variables importan.

El experimento siguiente genera cuatrocientas observaciones, ajusta la regresión en doscientas muestras obtenidas con reemplazo y compara la dispersión de cada coeficiente con la de su suma. No evalúa la cobertura de intervalos; permite observar directamente la compensación entre parámetros en una situación conocida.

rng_c = np.random.default_rng(3487)
n = 400
x1 = rng_c.normal(size=n)
x2 = x1+.01*rng_c.normal(size=n)
yc = 3*x1+rng_c.normal(size=n)
D = np.column_stack([np.ones(n),x1,x2])
full_fit = np.linalg.lstsq(D,yc,rcond=None)[0][1:]
coefs = []
for b in range(200):
    ids = rng_c.integers(0,n,size=n)
    coefs.append(np.linalg.lstsq(D[ids],yc[ids],rcond=None)[0][1:])
coefs = np.asarray(coefs)
individual_sd = coefs.std(axis=0,ddof=1)
sum_sd = coefs.sum(axis=1).std(ddof=1)
assert individual_sd.min() > 1
assert sum_sd < .2
print("Coeficientes con la muestra completa:",full_fit)
print("Dispersión de coeficientes:",individual_sd)
print("Dispersión de su suma:",sum_sd)

En la ejecución de referencia, la muestra completa produjo un coeficiente de −2,59 para $X_1$ y de 5,58 para $X_2$, aunque los valores del generador son 3 y 0. Su suma, 3,00, coincide con el efecto total que el diseño sí permite estimar. Entre las réplicas por remuestreo, la desviación estándar de cada coeficiente fue de unos 5,5, frente a 0,05 para la suma, y el coeficiente de la única causa verdadera resultó negativo en cerca de dos tercios de ellas. Un cálculo analítico da el mismo orden de magnitud: el error estándar de cada coeficiente es inversamente proporcional a la variación de $X_1$ no explicada por $X_2$, de desviación estándar 0,01, lo que conduce a valores en torno a 5.

Interpretar el signo de cada coeficiente como una propiedad del mecanismo sería un error en este diseño. La matriz de datos informa bien sobre una combinación de los parámetros y mal sobre su descomposición. Reunir más observaciones ayuda cuando la correlación es alta pero no perfecta, aunque de manera costosa, porque el error estándar individual disminuye con la raíz cuadrada del tamaño muestral: reducirlo a la mitad exige cuadruplicar la muestra. Cambiar el diseño para observar variación independiente de ambos predictores puede aportar mucha más información. La estrategia adecuada depende de si la pregunta requiere predecir en el mismo dominio o identificar efectos separados.

Una predicción estable tampoco garantiza transferencia a situaciones en que los predictores se separan. Si ambos aumentaron siempre juntos, el modelo nunca observó qué ocurre cuando uno cambia sin el otro, que es justamente lo que puede ocurrir bajo intervención. Por eso el dominio de validación debe describirse por las relaciones entre variables y no solo por el rango de cada una.

487.8. Sesgo deliberado y error predictivo

Un estimador sesgado puede tener menor error cuadrático medio que uno insesgado si reduce lo suficiente su varianza, de modo que acercarse al parámetro verdadero no siempre mejora la predicción en muestras pequeñas. Shmueli (2010) desarrolla el argumento con la descomposición del error predictivo esperado en ruido irreducible, sesgo al cuadrado y varianza de estimación, y muestra en un apéndice que un modelo deliberadamente mal especificado puede predecir mejor que el correcto. La comparación debe distinguir, además, el error al estimar un parámetro del error al predecir una observación con ruido, ya que una mejora grande en el primero puede ser pequeña en el segundo si la variabilidad irreducible domina.

Considérese un coeficiente verdadero de 0,1 y un estimador insesgado con varianza 0,04. Multiplicar la estimación por 0,5 introduce un sesgo de −0,05 y reduce la varianza a 0,01. El error cuadrático medio pasa de 0,04 a 0,0025 + 0,01 = 0,0125. Si se predice una respuesta nueva con valor unitario del predictor y ruido independiente de varianza uno, y la estimación es independiente de ese ruido, los errores predictivos esperados son 1,04 y 1,0125. En este caso delimitado, el estimador sesgado predice mejor.

rng_b = np.random.default_rng(4487)
true_beta = .1
estimates = true_beta+.2*rng_b.normal(size=100000)
ordinary_mse = np.mean((estimates-true_beta)**2)
shrunk_mse = np.mean((.5*estimates-true_beta)**2)
assert abs(ordinary_mse-.04)<.001
assert abs(shrunk_mse-.0125)<.001
print("ECM del parámetro, ordinario y contraído:",ordinary_mse,shrunk_mse)

La ventaja depende del valor verdadero y de la incertidumbre del estimador. Con un factor de 0,5 y la misma varianza, la contracción mejora el error cuadrático medio solo mientras el coeficiente verdadero sea menor que $\sqrt{0{,}12}\approx0{,}35$ en valor absoluto; con un coeficiente de 0,4, el error contraído sería 0,05 y superaría al del estimador ordinario. Elegir la intensidad de la contracción a partir de los datos requiere un procedimiento que no evalúe de manera optimista sobre las mismas observaciones usadas para seleccionarla. El ejemplo no prescribe un factor universal. Muestra cómo puede mejorar una función de pérdida predictiva sin que cada componente del modelo se acerque a su valor estructural.

La regularización puede ser razonable para predecir y exige cautela al interpretar magnitudes. Un coeficiente pequeño puede deberse a la penalización y no a un efecto pequeño, y la selección de variables puede cambiar entre muestras cuando los predictores están correlacionados. El informe debe describir el procedimiento completo, incluidos los criterios de ajuste, para que el lector sepa qué cantidad se está estimando. Presentar coeficientes regularizados como estimaciones causales directas confunde una estrategia predictiva con una identificación que no se ha realizado.

487.9. Explicar una predicción no equivale a explicar el fenómeno

Una herramienta de interpretación puede describir qué entradas usa un predictor y cuánto cambia su salida cuando se modifican. Esa información sirve para auditar el comportamiento del modelo, detectar errores de procesamiento o comparar casos, pero su objeto inmediato es la función aprendida. Convertirla en una explicación del fenómeno requiere supuestos que conecten cambios en las entradas con intervenciones posibles. En el generador, la medición indirecta tiene gran influencia sobre la predicción y ninguna influencia causal si solo se altera el registro.

La importancia por permutación, que Breiman (2001) describió para los bosques aleatorios, ofrece un ejemplo concreto. Si se desordena la medición entre observaciones, se rompe su relación con la causa no observada y el predictor poblacional pasa a un error de $1{,}01+1{,}04\,\beta^2\approx1{,}97$, mayor incluso que el del modelo que nunca usó la medición, porque sigue incorporando una entrada que ahora solo aporta ruido. Ese aumento demuestra que la variable era útil para predecir bajo la distribución evaluada, no que intervenir sobre ella modifique el resultado.

Aquí la permutación no crea combinaciones de entradas ausentes en los datos, porque la medición es independiente de la primera variable. Con variables correlacionadas la situación cambia. Hooker, Mentch y Zhou (2021) muestran que la permutación incondicional rompe esa dependencia y obliga al modelo a extrapolar hacia regiones con pocos datos o ninguno, lo que puede exagerar la importancia de las variables correlacionadas; recomiendan alternativas con modelamiento adicional, como la permutación condicional o el reajuste del modelo sin la variable. Incluso la lectura predictiva de una importancia depende, por tanto, del procedimiento usado para calcularla.

Una explicación local también depende de cómo se define la vecindad de un caso. Si las variaciones propuestas salen del conjunto observado, la respuesta del modelo queda determinada por extrapolación; en el ejemplo polinómico, valores extremos de entrada activarían términos cúbicos estimados con poca información. Una descripción de sensibilidad debe indicar si examina variaciones plausibles y qué respaldo empírico tienen.

La transparencia sigue siendo valiosa para localizar dependencias problemáticas y formular preguntas que un buen resultado promedio ocultaría. Lo que debe evitarse es usarla como certificado causal: un modelo transparente puede estar equivocado y uno difícil de inspeccionar puede producir predicciones útiles. Comprender la función aprendida, validar la medición, identificar mecanismos y anticipar el desempeño en condiciones nuevas son tareas distintas, y cada propiedad del modelo debe evaluarse respecto de la tarea que pretende respaldar.

487.10. Evaluar estabilidad sin convertirla en una garantía universal

La estabilidad puede referirse a coeficientes, predicciones, clasificación de casos o decisiones recomendadas, y una de estas dimensiones puede ser estable mientras otra no lo es. En el ejemplo de predictores casi duplicados, la suma de coeficientes resultó unas cien veces más estable que cada término. Si el uso solo requiere la combinación observada, esa estabilidad puede bastar; si se pretende actuar sobre uno de los predictores por separado, la cantidad relevante es la incertidumbre individual.

La estabilidad entre muestras de un mismo contexto tampoco garantiza invariancia entre contextos. Un modelo puede estimar con precisión una relación que cambia cuando se modifica el instrumento o el proceso que genera los datos. La inversión de la medición en la sección 487.4 es una forma extrema y transparente de ese problema; en situaciones reales los cambios suelen ser parciales y difíciles de detectar. Al evaluar transferencia conviene examinar las variables, los mecanismos de selección y los procedimientos de medición, además de repetir métricas globales.

Un modelo estructurado puede facilitar esa evaluación al indicar qué mecanismos deberían permanecer constantes y cuáles pueden variar. Peters, Bühlmann y Meinshausen (2016) parten de esta idea: las predicciones de un modelo causal deberían, en general, mantener su desempeño bajo intervenciones sobre los predictores o cambios de entorno, mientras que las de un modelo no causal pueden fallar gravemente. Proponen aprovechar esa invariancia para la inferencia causal cuando se dispone de datos de varios entornos. El supuesto exige conservar el mecanismo del resultado dado sus causas, sin intervenir directamente sobre el resultado. La ventaja depende de que la estructura sea adecuada y sus parámetros estén identificados; una ecuación sencilla con supuestos incorrectos no se vuelve transportable por ser interpretable, y algunos modelos flexibles pueden resultar robustos en dominios determinados.

Wilson y Collins (2019), en sus reglas para el modelamiento computacional de datos conductuales, recomiendan comprobar mediante simulación que los parámetros de un modelo pueden recuperarse, que los modelos candidatos pueden distinguirse entre sí y que el modelo ganador, simulado con los parámetros ajustados, reproduce los patrones cualitativos y cuantitativos de los datos. Estas pruebas ayudan a separar la capacidad del procedimiento de estimación de la adecuación del modelo candidato. Los propios autores advierten que una recuperación exitosa representa el mejor escenario posible, porque se obtiene con datos generados por el mismo modelo; no identifica el mecanismo de los datos reales ni garantiza que los parámetros signifiquen lo que se les atribuye. En una aplicación deben complementarse con observaciones nuevas y con una evaluación del uso previsto.

487.11. Del error promedio a la decisión

Una reducción del error promedio no mejora necesariamente todas las decisiones. Si los errores importantes se concentran en una región pequeña o tienen costos muy diferentes, una métrica global puede ocultarlos. Por eso el criterio de evaluación debe fijarse antes de seleccionar el modelo: para estimar una cantidad continua puede bastar el error cuadrático, para priorizar casos importa el orden y para actuar bajo incertidumbre pueden requerirse probabilidades calibradas y consecuencias explícitas.

La evaluación también debe considerar qué información estará disponible en el momento de uso. Una variable puede ser excelente para reconstruir un resultado que ya ocurrió y estar ausente cuando se necesita anticiparlo. Shmueli (2010) llama a este requisito disponibilidad ex ante y lo distingue de la simple precedencia temporal que exige un modelo causal: en un modelo predictivo, la variable no solo debe preceder al resultado, sino estar disponible cuando se formula la predicción. En el generador se declaró explícitamente que la medición indirecta cumplía esa condición. En una aplicación real hay que comprobar las marcas temporales y el proceso de obtención de los datos, porque un conjunto reservado no corrige una variable que contiene información posterior al momento de la decisión.

El costo de obtener una variable, las demoras que introduce o las situaciones en que no puede medirse pueden superar parte de la ganancia predictiva. Un predictor algo menos exacto puede ser preferible si funciona con la información disponible y su incertidumbre es manejable, siempre que ese intercambio se declare como tal y no como una superioridad científica general de la representación elegida.

487.11.1. Predecir quién tendrá un resultado no identifica quién se beneficia de actuar

Considérese una decisión hipotética con dos grupos del mismo tamaño y un resultado no deseado. Un predictor estima sin error las probabilidades basales, que son 0,8 en el grupo A y 0,4 en el grupo B. Una acción reduce esas probabilidades en 0,05 y 0,20, respectivamente. Si la acción solo puede aplicarse a uno de los grupos y el objetivo es evitar la mayor cantidad esperada de resultados, corresponde elegir el grupo B. Una regla que priorizara exclusivamente el riesgo basal elegiría el grupo A. La predicción basal sería exacta y la regla de asignación, subóptima para el objetivo definido.

Las reducciones se suponen conocidas para el ejercicio y no se deducen de las probabilidades basales. En una aplicación, estimarlas requeriría datos y supuestos sobre la intervención, por ejemplo un ensayo aleatorizado con análisis de efectos heterogéneos. Un predictor de riesgo puede describir necesidades o anticipar demanda, pero medir su capacidad de discriminar riesgo no indica si la política asigna bien una intervención cuyo beneficio varía entre grupos. Ascarza (2018) documentó esta divergencia fuera del ámbito clínico. En dos experimentos de campo sobre programas de retención de clientes, quienes tenían mayor riesgo de abandonar no eran necesariamente quienes más respondían a la intervención, y asignarla según la sensibilidad estimada resultó más eficaz que hacerlo según el riesgo.

Si cada aplicación de la acción tiene un costo equivalente a 0,10 unidades del resultado, el beneficio neto esperado es −0,05 en el grupo A y +0,10 en el grupo B. Convertir el costo a una unidad común es una elección de la evaluación y no una propiedad descubierta en los datos. Otros criterios, como garantizar acceso o atender primero una necesidad urgente, podrían modificar la decisión. El ejemplo obliga a declarar el objetivo y a separar las cantidades empíricas de las valoraciones que organizan la elección.

Un modelo nuevo podría estimar con mayor precisión el riesgo del grupo A sin aportar información sobre la diferencia de efectos, y su mejora sería real para una tarea y poco relevante para la otra. Antes de usar un predictor como apoyo a decisiones conviene especificar la regla que transforma sus salidas en acciones y evaluar esa regla completa, de la cual el desempeño predictivo es solo un componente.

487.12. Resolución de la comparación

En el ejemplo principal, incorporar una medición indirecta redujo el error de 1,01 a menos de 0,05 dentro del contexto original. El mismo predictor falló cuando se invirtió la relación de medición, mientras el modelo restringido conservaba su desempeño, y un modelo lineal con la misma información mostró que tanto la ganancia como el fracaso dependían de la variable y no de la flexibilidad. La interpretación causal de la medición habría sido incorrecta aunque su coeficiente fuera estable y los residuos no mostraran problemas. En el ejemplo de predictores casi duplicados, los coeficientes individuales variaron ampliamente, con el signo de la causa verdadera invertido en la mayoría de las réplicas, mientras su suma permanecía estable. La contracción mostró, por último, que introducir sesgo puede reducir el error esperado bajo condiciones que pueden calcularse.

Estos resultados justifican elegir modelos según la pregunta y mantener las fronteras entre sus usos. Para predecir en el contexto validado, la medición indirecta aporta información; para modificar el resultado hay que identificar la intervención y el mecanismo por el que actúa; para transferir un modelo a otro entorno hay que examinar las relaciones que se supone que permanecen. La respuesta a la pregunta del título es afirmativa en un sentido preciso: la predicción puede mejorar mientras empeora una explicación cuando se atribuye al modelo más de lo que sus pruebas sostienen.

El informe debe documentar las entradas de cada modelo, la selección de parámetros y los contextos examinados, distinguiendo valores teóricos de estimaciones muestrales. Una explicación debilitada puede reformularse sin descartar un predictor validado para otra tarea. Intervenciones, nuevos entornos y mejores mediciones permitirían contrastar los mecanismos propuestos.

Referencias

Ascarza, E. (2018). Retention futility: Targeting high-risk customers might be ineffective. Journal of Marketing Research, 55(1), 80–98. https://doi.org/10.1509/jmr.16.0163

Breiman, L. (2001). Statistical modeling: The two cultures (con comentarios y réplica del autor). Statistical Science, 16(3), 199–231. https://doi.org/10.1214/ss/1009213726

Hernán, M. A., Hsu, J., y Healy, B. (2019). A second chance to get causal inference right: A classification of data science tasks. Chance, 32(1), 42–49. https://doi.org/10.1080/09332480.2019.1579578

Hooker, G., Mentch, L., y Zhou, S. (2021). Unrestricted permutation forces extrapolation: Variable importance requires at least one more model, or there is no free variable importance. Statistics and Computing, 31, artículo 82. https://doi.org/10.1007/s11222-021-10057-z

Peters, J., Bühlmann, P., y Meinshausen, N. (2016). Causal inference by using invariant prediction: Identification and confidence intervals. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 78(5), 947–1012. https://doi.org/10.1111/rssb.12167

Shmueli, G. (2010). To explain or to predict? Statistical Science, 25(3), 289–310. https://doi.org/10.1214/10-STS330. Consultado en la reimpresión electrónica arXiv:1101.0891v1 (enero de 2011), cuya paginación difiere de la original.

Wilson, R. C., y Collins, A. G. E. (2019). Ten simple rules for the computational modeling of behavioral data. eLife, 8, e49547. https://doi.org/10.7554/eLife.49547