Ajustar modelos de aprendizaje a conducta

424.1. Un parámetro estimado necesita una prueba de recuperación

Un modelo de aprendizaje convierte una historia de elecciones y resultados en predicciones sobre decisiones futuras. Ajustarlo consiste en buscar los parámetros que asignan mayor probabilidad a la conducta observada. Esa búsqueda puede terminar en un ajuste convincente sin que los datos determinen de manera única los valores que los generaron. Por eso, antes de tratar una tasa de aprendizaje como característica de una persona, conviene averiguar cuánta información aporta la tarea sobre ese parámetro.

La recuperación de parámetros transforma esa inquietud en una pregunta que puede responderse por simulación. Se generan datos con valores conocidos y se observa si el procedimiento de ajuste vuelve a encontrarlos con precisión suficiente. La respuesta depende del diseño de la tarea, del número de ensayos, del ruido de elección y de la región del espacio paramétrico explorada. Un resultado favorable en una condición sencilla no asegura que la recuperación sea buena en otras.

Wilson y Collins (2019) reunieron recomendaciones prácticas para modelar datos conductuales en forma de diez reglas. Entre ellas figuran simular los modelos antes de ajustarlos, comprobar que los parámetros pueden recuperarse, verificar que los modelos candidatos pueden distinguirse entre sí y validar el modelo ganador comparando su conducta simulada con los datos. Palminteri, Wyart y Koechlin (2017) sostuvieron que comparar modelos según el equilibrio entre ajuste y complejidad no basta para respaldar afirmaciones sobre funciones cognitivas. A su juicio, los modelos candidatos deben simularse para que puedan ser falsados por los datos. Ambos trabajos ayudan a distinguir la calidad relativa de un ajuste de la evidencia que ese ajuste aporta sobre un mecanismo.

Este capítulo construye una tarea de dos opciones con aprendizaje por actualización de valor. Sobre ella se generan nueve participantes sintéticos, cuyos parámetros se ajustan después mediante una cuadrícula explícita. La demostración es deliberadamente pequeña para que el lector pueda inspeccionar los datos, la función de verosimilitud y los resultados. Todos los participantes son hipotéticos y el ejercicio no pretende estimar valores clínicos ni caracterizar una población humana.

La recuperación se complementa con una equivalencia exacta entre la escala de la recompensa y la sensibilidad de elección. Ese caso muestra un límite estructural, porque hay parámetros que el diseño no permite separar aunque se disponga de muchos ensayos. Superarlo exige cambiar lo que se observa o lo que se supone.

424.2. Definir tarea, estados internos y observaciones

En cada ensayo, el agente elige una de dos opciones y recibe o no una recompensa. Durante la primera mitad de la tarea, las probabilidades de recompensa de las opciones 0 y 1 son 0,80 y 0,20; en la segunda mitad se intercambian. El cambio de contingencia permite observar adaptación y evita que todo el registro corresponda a una sola situación estable.

El agente mantiene un valor para cada opción, ambos iniciados en cero. Después de elegir actualiza solo el valor de la opción seleccionada, según la diferencia entre la recompensa recibida y el valor esperado. La opción no elegida conserva su valor porque el agente no recibe información sobre su resultado.

En esta regla, $\alpha$ es la tasa de aprendizaje y determina cuánto pesa el resultado reciente. Un valor pequeño conserva una historia extensa de experiencias. Un valor grande produce ajustes rápidos y vuelve al agente más sensible a resultados aislados. Ninguno es mejor en general, porque su desempeño depende de cuán variable y cambiante sea el ambiente, así como del criterio con que se evalúe.

La conducta observada incluye elecciones y recompensas. Los valores internos no se miden; se reconstruyen aplicando la regla a la historia con un parámetro candidato. Esa reconstrucción es condicional al modelo, de modo que una trayectoria de valores calculada no equivale a una observación del estado mental.

El modelo debe respetar la información de la que efectivamente dispuso el participante. Si este vio los resultados de ambas opciones, la regla que actualiza solo la elegida puede ser inadecuada. Si recibió instrucciones sobre el cambio de contingencias, pudo actualizar de otra manera antes de experimentar nuevas recompensas.

También hay que registrar omisiones y ensayos interrumpidos. El tiempo transcurrido puede afectar la memoria o la motivación aunque la regla elemental no lo contemple. Tratar una pausa larga como un intervalo igual a los demás agrega un supuesto no declarado sobre la estabilidad del aprendizaje.

424.3. La tasa de aprendizaje como filtro de la historia

La regla recursiva puede desplegarse para mostrar cuánto pesan los resultados anteriores. Si una misma opción se actualiza $n$ veces con tasa constante, su valor es una suma ponderada del valor inicial y de las recompensas recibidas, con pesos que decrecen geométricamente. El resultado más reciente recibe un peso igual a $\alpha$ y cada resultado anterior queda multiplicado una vez más por $1-\alpha$.

Esta representación permite hablar de memoria efectiva sin atribuirla de inmediato a un mecanismo neuronal. Con $\alpha=0{,}10$, el peso de un resultado se reduce a la mitad después de unas 6,6 actualizaciones; con $\alpha=0{,}50$ basta una. La escala se mide en oportunidades de actualización de esa opción, que pueden quedar separadas por muchos ensayos si la opción se elige poco.

Si la probabilidad de recompensa se mantiene constante, el valor esperado converge a ella. Una tasa alta responde antes a un cambio, aunque transmite más variabilidad de las recompensas individuales. Una tasa baja suaviza ese ruido y puede tardar en registrar una inversión de contingencias. La tarea necesita condiciones que hagan visibles ambas propiedades.

Una tasa constante supone que el agente trata igual un error después de un periodo estable que otro después de señales de cambio. Un modelo más flexible puede ajustar la tasa según la incertidumbre o la volatilidad del ambiente. Para justificar esa extensión se necesitan patrones que el modelo constante no explique, junto con parámetros recuperables bajo el diseño disponible.

La estimación depende además del valor inicial. Si este se fija en un valor inadecuado, el ajuste puede modificar la tasa para compensar los primeros ensayos, efecto que puede ser especialmente marcado en tareas cortas. Conviene examinar la sensibilidad de las estimaciones a valores iniciales plausibles y distinguir los parámetros de aprendizaje de los de expectativa inicial.

Una tasa recuperada debe informarse junto con estas condiciones. El valor obtenido con actualización parcial, recompensas binarias e inversión única no es comparable sin más con otro estimado en una tarea distinta, porque el mismo símbolo puede designar objetos psicológicos diferentes.

424.4. Convertir valores en elecciones

Los valores no determinan elecciones mientras no se especifique una regla de respuesta. Aquí se usa una función logística sobre la diferencia de valores, cuyo parámetro de sensibilidad $\beta$ regula cuánto cambia la probabilidad de elegir una opción cuando aumenta su ventaja.

Con $\beta$ cercano a cero, ambas opciones se eligen casi al azar aunque sus valores difieran. Con $\beta$ alto, diferencias pequeñas pueden producir elecciones muy consistentes. La sensibilidad se define respecto de la escala de los valores, de modo que cambiar esa escala cambia también su interpretación. La sección 424.9 desarrolla esta consecuencia.

El término exploración debe usarse con cuidado. Una elección aparentemente aleatoria puede deberse a búsqueda deliberada de información, a ruido de decisión, a lapsos de atención o a una representación incorrecta de los valores. La regla logística elemental no distingue entre esas posibilidades y se limita a describir una relación probabilística entre valores calculados y respuesta.

Una estrategia de exploración dirigida puede favorecer una opción incierta aunque su valor medio sea menor. Representarla requeriría una variable de incertidumbre o una regla adicional. Si solo se ajusta la sensibilidad logística, ese comportamiento puede aparecer como mayor aleatoriedad sin que la estimación identifique su origen.

Los lapsos pueden incorporarse como una mezcla entre la regla logística y una elección equiprobable, lo que admite errores incluso cuando la diferencia de valores es muy grande. Si la tarea contiene pocos ensayos con diferencias amplias, la tasa de lapsos y la sensibilidad pueden confundirse.

El porcentaje total de aciertos resume mal estos procesos. Dos agentes pueden alcanzar el mismo rendimiento medio con patrones temporales distintos. El orden de las elecciones contiene información sobre cómo se actualizan y se usan los valores, por lo que conviene examinarlas en función de la historia reciente y de la diferencia de valores.

La inversión de contingencias es útil porque obliga a abandonar una opción antes favorable. Una perseveración tras el cambio puede deberse, sin embargo, a aprendizaje lento, a un hábito de respuesta o a evidencia todavía insuficiente. El análisis debe confrontar esas alternativas antes de atribuir toda la persistencia al primer parámetro disponible.

424.5. Construir la verosimilitud de la secuencia

Para cada par de parámetros candidato se recorre la historia observada. Antes de incorporar la recompensa de un ensayo se calcula la probabilidad de la elección efectivamente realizada; solo después se actualiza el valor. La verosimilitud condicional de las elecciones es el producto de esas probabilidades o, de manera equivalente, la suma de sus logaritmos.

El orden de las operaciones importa. Usar la recompensa del ensayo actual para predecir una elección que la precedió introduce información futura, lo que puede mejorar artificialmente el ajuste y desplazar los parámetros. El código debe reproducir la secuencia temporal real de la tarea.

Condicionar en las recompensas es apropiado para esta verosimilitud si el mecanismo que las produce es conocido y no depende de los parámetros del agente. Cuando se quiere modelar también el aprendizaje de la estructura ambiental o el proceso por el cual el agente registra las recompensas, la distribución conjunta puede requerir términos adicionales.

Trabajar con logaritmos evita que el producto de muchas probabilidades pequeñas se redondee a cero. La implementación de la función logística también debe ser estable ante diferencias grandes. Las funciones que calculan directamente el logaritmo de la probabilidad evitan desbordamientos y redondeos extremos.

Un máximo de verosimilitud entrega una estimación puntual cuya precisión depende de la forma de la superficie que lo rodea. Una región alargada indica compensación entre parámetros. Varias regiones con ajustes parecidos pueden señalar ambigüedad del modelo o dificultades del optimizador. Informar solo el punto oculta estas propiedades.

Una superficie estrecha bajo una secuencia especialmente informativa puede ser amplia bajo otra, por lo que la recuperación debe repetirse con distintas realizaciones de recompensas y elecciones. La incertidumbre de muestreo abarca el procedimiento completo, desde la generación de la secuencia hasta la optimización.

424.6. Recuperar parámetros mediante una cuadrícula

Una cuadrícula permite inspeccionar la búsqueda sin depender de un optimizador sofisticado. Se evalúan tasas entre 0,05 y 0,95 con separación 0,05 junto con sensibilidades entre 0,50 y 8,00 con separación 0,25, lo que da 19 × 31 = 589 combinaciones. Para cada registro se conserva la combinación con mayor logaritmo de verosimilitud.

La discretización limita la resolución. Una estimación de 0,35 indica que el máximo continuo está en la vecindad de ese punto, sin fijarlo exactamente allí. La cuadrícula sirve para una demostración y para localizar regiones prometedoras. Una aplicación más precisa puede refinarla o combinarla con optimización continua, manteniendo comprobaciones independientes.

Se generan nueve registros simulados de cuatrocientos ensayos cada uno. Las tasas verdaderas son 0,15, 0,35 y 0,65; las sensibilidades, 1,50, 3,00 y 6,00. Cada combinación tiene una sola realización, con semillas de 100 a 108. El conjunto cubre varios regímenes, aunque es demasiado pequeño para caracterizar de manera exhaustiva las propiedades del estimador.

La recuperación debe evaluarse mediante las diferencias entre valores verdaderos y estimados, además de la correlación entre ellos, porque una estimación sesgada puede conservar una correlación alta. Wilson y Collins (2019) recomiendan graficar los valores simulados contra los recuperados para detectar sesgos y regiones donde la recuperación falla. También advierten que, si los parámetros simulados no estaban correlacionados y los recuperados sí lo están, los parámetros pueden estar compensándose entre sí. Conviene revisar, por último, si alguna estimación queda en el borde de la cuadrícula.

Como el generador es conocido, la prueba permite detectar errores de implementación y problemas del diseño. Al mismo tiempo, evalúa el caso favorable en que el modelo ajustado pertenece a la familia que generó los datos, de modo que superarla no demuestra que esa familia describa a participantes humanos.

Una extensión posterior puede generar datos con lapsos, olvido o perseveración y ajustarles el modelo sencillo, para estudiar qué parámetros absorben los componentes omitidos. Esa prueba de mala especificación responde a una pregunta distinta de la recuperación dentro de la familia y debe informarse por separado.

424.7. Resultados de la recuperación sintética

La tabla presenta los resultados de las nueve simulaciones. Las diferencias son esperables por la variabilidad de cada secuencia y por la resolución de la cuadrícula. Ninguna realización se reemplazó por otra más favorable.

El error absoluto medio es 0,05 para la tasa y 1/6, aproximadamente 0,167, para la sensibilidad. Ninguna estimación quedó en el borde de la cuadrícula. Estos valores describen este conjunto pequeño de semillas y parámetros y no garantizan la misma precisión para cualquier registro de cuatrocientos ensayos. Repetir la evaluación con muchas realizaciones por combinación permitiría estimar la distribución de los errores.

La mayor desviación de la tasa, 0,15, aparece en la combinación de tasa 0,65 y sensibilidad 1,50, la sensibilidad más baja del conjunto. Cuando las elecciones dependen poco de los valores contienen menos información sobre cómo se aprendieron. El ajuste puede entonces reproducirlas con varias trayectorias internas. Con una sola realización por combinación, esta relación es una hipótesis que debe comprobarse en múltiples simulaciones antes de tratarla como propiedad cuantitativa del estimador.

La inversión de contingencias aporta información sobre adaptación, aunque una sola inversión limita la diversidad temporal observada. Variar el momento del cambio o incluir varias inversiones puede mejorar la identificación. El diseño debe equilibrar esa riqueza con la fatiga de los participantes y su comprensión de la tarea.

La tabla sirve también para detectar sesgos gruesos y errores de orden. Si todos los registros devolvieran el mismo extremo de la cuadrícula, habría que revisar la función de elección, la actualización y las condiciones de la tarea. Un resultado numérico solo admite interpretación psicológica después de comprobar que responde de manera razonable a parámetros conocidos.

424.8. Código de simulación y ajuste

El programa usa las mismas reglas para generar y para ajustar, aunque calcula la verosimilitud sobre elecciones ya observadas. La búsqueda evalúa en paralelo todos los puntos de la cuadrícula. Cada semilla identifica una realización, de modo que la tabla anterior puede reproducirse a partir del código. La ejecución que acompaña esta edición se hizo con Python 3.13, NumPy 2.5 y SciPy 1.18 y reprodujo la tabla sin diferencias.

import numpy as np
from scipy.special import expit

def simular(alpha, beta, semilla, T=400):
    rng = np.random.default_rng(semilla)
    q = np.zeros(2)
    elecciones, recompensas = [], []
    for t in range(T):
        prob = np.array([0.8, 0.2]) if t < T//2 else np.array([0.2, 0.8])
        eleccion = int(rng.random() < expit(beta*(q[1]-q[0])))
        recompensa = float(rng.random() < prob[eleccion])
        elecciones.append(eleccion)
        recompensas.append(recompensa)
        q[eleccion] += alpha*(recompensa-q[eleccion])
    return np.array(elecciones), np.array(recompensas)

def ajustar(elecciones, recompensas):
    aa, bb = np.meshgrid(np.arange(0.05, 0.951, 0.05),
                         np.arange(0.5, 8.001, 0.25), indexing="ij")
    a, b = aa.ravel(), bb.ravel()
    q = np.zeros((len(a), 2))
    ll = np.zeros(len(a))
    for eleccion, recompensa in zip(elecciones, recompensas):
        p = expit(b*(q[:, 1]-q[:, 0]))
        ll += np.log(p if eleccion else 1-p)
        q[:, eleccion] += a*(recompensa-q[:, eleccion])
    mejor = ll.argmax()
    return a[mejor], b[mejor]

def log_verosimilitud(elecciones, recompensas, a, b, escala=1.0):
    q = np.zeros(2)
    ll = 0.0
    for eleccion, recompensa in zip(elecciones, recompensas):
        z = b*(q[1]-q[0])
        ll += -np.logaddexp(0, -z) if eleccion else -np.logaddexp(0, z)
        q[eleccion] += a*(escala*recompensa-q[eleccion])
    return ll

filas = []
combinaciones = [(a, b) for a in (0.15, 0.35, 0.65)
                       for b in (1.5, 3.0, 6.0)]
for k, (a, b) in enumerate(combinaciones):
    c, r = simular(a, b, 100+k)
    estimados = ajustar(c, r)
    filas.append([a, b, *estimados])
    original = log_verosimilitud(c, r, a, b)
    reescalada = log_verosimilitud(c, r, a, b/2, escala=2)
    assert np.isclose(original, reescalada)

filas = np.array(filas)
errores = np.abs(filas[:, :2]-filas[:, 2:]).mean(axis=0)
print(filas)
print("Errores absolutos medios:", errores)
assert np.allclose(errores, [0.05, 1/6])

La comprobación de reescalamiento prepara el análisis de la sección 424.9. Su validez depende de que los valores iniciales sean cero y de que la regla de actualización sea lineal. Si los valores iniciales son distintos de cero, deben multiplicarse por la misma escala que las recompensas para que la equivalencia se mantenga. Con valores iniciales de 0,5 sin reescalar, la igualdad de verosimilitudes deja de cumplirse; se recupera al llevarlos a 1,0 cuando la escala vale 2. Una invariancia matemática puede desaparecer al modificar una parte del modelo y conservar las demás.

La función ajustar aplica directamente el logaritmo a la probabilidad logística. En esta cuadrícula, con valores entre 0 y 1 y sensibilidad máxima de 8, la menor probabilidad posible es cercana a 0,0003, por lo que el cálculo es seguro. Con sensibilidades o escalas mayores convendría usar la forma estable de log_verosimilitud.

La cuadrícula no entrega intervalos de confianza. Para obtenerlos puede examinarse la superficie de verosimilitud o recurrirse a una simulación paramétrica que repita el procedimiento completo. Remuestrear ensayos aislados es inadecuado, porque rompe la dependencia temporal que el aprendizaje introduce entre valores y elecciones.

El simulador conoce las probabilidades de recompensa, mientras que el ajuste solo usa la secuencia recibida por el agente. Esta separación permite representar el punto de vista del agente sin darle acceso a resultados futuros. Un control adicional consiste en permutar las recompensas respecto de las elecciones y volver a ajustar. Al aplicarlo a las nueve realizaciones, con un generador inicializado con la semilla 7 y usado en orden para las nueve permutaciones, cambiaron todas las estimaciones. En ocho de ellas la tasa cayó al límite inferior de la cuadrícula, 0,05. El ajuste depende, por tanto, de la correspondencia temporal entre elecciones y resultados, como corresponde a una regla que acumula historia.

424.9. Equivalencia exacta entre escala de recompensa y sensibilidad

Supóngase que el agente multiplica cada recompensa por una escala positiva $\rho$ antes de actualizar, de modo que una misma recompensa física puede tener distinto valor subjetivo. La regla de actualización se mantiene, con $r_t$ reemplazada por $\rho r_t$.

Con valores iniciales cero, multiplicar todas las recompensas por $\rho$ multiplica todos los valores aprendidos por la misma constante. La propiedad se demuestra por inducción. Si antes de un ensayo los valores están multiplicados por $\rho$, la actualización combina linealmente ese valor con una recompensa también multiplicada por $\rho$, por lo que el resultado conserva el factor.

La función logística depende solo del producto entre la sensibilidad y la diferencia de valores. Si la escala se multiplica por $\rho$ y la sensibilidad se divide por $\rho$, ese producto es idéntico en todos los ensayos. Las probabilidades de elección y la verosimilitud completa son, en consecuencia, exactamente iguales.

Con estas elecciones y bajo estas reglas no es posible interpretar por separado la escala subjetiva y la sensibilidad. Un optimizador puede devolver valores para ambas si se le permite estimarlas, aunque existe una familia continua de soluciones equivalentes. La incertidumbre sobre cada una por separado no disminuye al aumentar el número de ensayos de la misma tarea.

La dificultad tiene consecuencias clínicas. Una menor consistencia de elección podría atribuirse a menor sensibilidad al valor, a una escala de recompensa reducida o a componentes de respuesta omitidos. La tarea elemental solo identifica ciertas combinaciones de esos factores. Huys, Pizzagalli, Bogdan y Dayan (2013) señalaron explícitamente esta equivalencia en un metaanálisis basado en modelos de aprendizaje por refuerzo, que reunió seis conjuntos de datos de una tarea de recompensa probabilística. En su modelo, la sensibilidad a la recompensa multiplica la recompensa dentro del error de predicción y la regla de elección carece de una temperatura separada. Los autores advierten que una temperatura inversa podría sustituir exactamente a la sensibilidad a la recompensa y que ambas no se distinguen en esa tarea. Su conclusión de que la depresión mayor y la anhedonia reducían más la sensibilidad a la recompensa que la tasa de aprendizaje debe leerse con esa convención, porque el parámetro estimado reúne la escala subjetiva del resultado y la consistencia con que los valores se traducen en elecciones.

Pueden introducirse mediciones independientes de valoración o manipulaciones de magnitud con restricciones sobre la función de utilidad. También puede fijarse una escala por convención para estimar el resto. Esa fijación es legítima si se declara que define las unidades del modelo; deja de serlo cuando el parámetro fijado se interpreta después como una propiedad demostrada empíricamente.

La comparación de modelos debe respetar estas equivalencias. Añadir un parámetro que solo reescala a otro no enriquece la explicación. Sí puede generar problemas numéricos y una falsa impresión de personalización. Antes de ajustar conviene analizar algebraicamente qué transformaciones dejan invariantes las predicciones.

424.10. Recuperación de modelos

Recuperar parámetros dentro de una familia no demuestra que esa familia pueda distinguirse de otras. La recuperación de modelos genera datos desde cada alternativa, ajusta todos los modelos a cada registro y anota cuál resulta seleccionado. Wilson y Collins (2019) resumen el resultado en una matriz de confusión, cuyas celdas estiman la probabilidad de seleccionar cada modelo dado el modelo que generó los datos.

Una comparación pertinente podría enfrentar la actualización de valor, la perseveración independiente de la recompensa y una mezcla de ambas. Si los datos generados por perseveración se interpretaran con frecuencia como aprendizaje lento, una diferencia de tasa entre grupos no podría atribuirse a aprendizaje sin controles adicionales.

Al analizar datos reales interesa la pregunta inversa, es decir, qué tan probable es que un modelo haya generado los datos dado que fue seleccionado. Wilson y Collins (2019) llaman matriz de inversión a esa distribución y la obtienen de la matriz de confusión mediante la regla de Bayes. El cálculo exige probabilidades previas sobre los modelos. Con probabilidades previas uniformes, como en el ejemplo de esos autores, se reduce a renormalizar la matriz de confusión. Ambas matrices coinciden solo cuando la recuperación es perfecta.

Un ejemplo hipotético muestra la diferencia. Supóngase que un modelo poco frecuente, presente en el 10 % de los registros, resulta seleccionado en el 80 % de sus propias simulaciones, mientras que el modelo frecuente se confunde con él en el 20 % de las suyas. Cuando el modelo poco frecuente gana en un registro nuevo, la probabilidad de que lo haya generado es 0,08/(0,08 + 0,18), cerca de 0,31. El razonamiento coincide con el cálculo del valor predictivo en otros problemas de clasificación.

Las simulaciones deben cubrir los regímenes de parámetros relevantes. Wilson y Collins (2019) advierten que la recuperación de modelos, igual que la de parámetros, puede depender de los valores con que se simula; en su ejemplo, las confusiones disminuyen cuando las simulaciones son menos ruidosas. Una sola matriz promedio puede ocultar esa dependencia, de modo que conviene describir en qué regiones el diseño discrimina entre modelos.

La recuperación depende también del criterio de selección. Las penalizaciones por complejidad, la validación predictiva y la evidencia integrada no responden exactamente a la misma pregunta. El criterio elegido debe ponerse a prueba con las simulaciones, porque su nombre no garantiza una comparación adecuada. Wilson y Collins (2019) sugieren, por ejemplo, ensayar otra métrica cuando la matriz de confusión se aleja de la diagonal.

424.11. Predicción reservada en tareas secuenciales

La validación prospectiva utiliza observaciones que no contribuyeron a estimar los parámetros. En tareas de aprendizaje, la historia sigue siendo necesaria para calcular los estados internos. Reservar elecciones futuras significa impedir que influyan en la estimación, sin borrar las recompensas anteriores que alimentan los valores.

Una división temporal ajusta con un bloque inicial y predice uno posterior. Si el objetivo es anticipar la conducta en una fase nueva tras una inversión, esa división evalúa una transferencia concreta. El modelo debe declarar si conoce el momento del cambio o si solo puede inferirlo a partir de los resultados.

Dividir los ensayos al azar puede filtrar información cuando el ajuste usa trayectorias calculadas con datos futuros. También puede crear un problema artificial al retirar recompensas necesarias para reconstruir los estados. La estrategia de validación debe corresponder al uso que tendría el modelo en una predicción real.

La evaluación puede basarse en el logaritmo de las probabilidades asignadas a las elecciones reservadas. Esta puntuación considera a la vez el acierto y la confianza, de modo que castiga con fuerza una predicción muy segura que falla. El porcentaje de elecciones clasificadas correctamente pierde parte de esa información y depende de un umbral arbitrario.

La comparación debe incluir referencias sencillas, como elegir siempre la opción más frecuente, repetir la elección previa o repetir tras una recompensa y cambiar tras su ausencia. Estas reglas pueden ofrecer predicciones competitivas. Un modelo más complejo debe mostrar qué estructura adicional captura respecto de ellas.

La validación puede examinar además medidas descriptivas no usadas directamente en el ajuste, como la curva de adaptación, la persistencia tras errores, la alternancia o la distribución de rachas. Wilson y Collins (2019) proponen simular el modelo ganador con los parámetros ajustados y comprobar si reproduce los patrones empíricos importantes. Si el modelo gana en una puntuación global y falla en el patrón que motivó la teoría, ese desacuerdo requiere explicación.

424.12. Diferencias individuales y estimación jerárquica

Ajustar a cada persona por separado puede producir estimaciones inestables cuando hay pocos ensayos. Un modelo jerárquico trata los parámetros individuales como extraídos de una distribución grupal. La información compartida puede reducir el error, a cambio de introducir supuestos sobre la semejanza entre personas.

La contracción hacia el grupo suele ser mayor en los registros poco informativos. Esta propiedad puede mejorar la predicción, aunque debe considerarse al interpretar valores extremos. Una estimación individual cercana al promedio puede reflejar evidencia débil más que ausencia de una diferencia real.

La distribución grupal también puede estar mal especificada. Una población con varios regímenes de comportamiento queda mal representada por una única distribución estrecha. La evaluación debe comprobar si el modelo reproduce la heterogeneidad observada y si sus parámetros conservan el mismo significado entre participantes.

Comparar grupos exige separar las diferencias reales de las diferencias de precisión. Si un grupo completa menos ensayos o tiene más respuestas omitidas, sus estimaciones pueden contraerse de otra manera. La diferencia entre parámetros ajustados puede depender entonces, en parte, del procedimiento de observación.

La recuperación jerárquica debe simular la estructura completa, incluidos la distribución grupal, los parámetros individuales, los registros y el ajuste. Evaluar solo la correlación entre parámetros verdaderos y estimados deja fuera el sesgo grupal y la cobertura de los intervalos. Cuando el interés está en una diferencia entre poblaciones o condiciones, Wilson y Collins (2019) sugieren usar la recuperación de parámetros para estimar la potencia estadística. Esas simulaciones deberían emplear tamaños muestrales y tasas de omisión plausibles.

Personalizar un modelo exige algo más que asignar un número distinto a cada persona. Esos números deben estar informados por los datos y mejorar alguna predicción pertinente. El capítulo C429 desarrolla esta distinción al comparar la actualización individual con una referencia no personalizada.

424.13. Interpretar una diferencia de parámetros

Supóngase que dos grupos hipotéticos muestran tasas de aprendizaje estimadas diferentes. Antes de atribuir la diferencia a un mecanismo hay que comprobar que ambos comprendieron la tarea, que observaron información comparable y que el procedimiento recupera parámetros en los dos regímenes de conducta. La significación estadística de la diferencia no resuelve ninguna de esas condiciones.

Una tasa puede absorber diferencias de memoria, de percepción de los resultados o de estrategia. Si la recompensa se interpreta de manera distinta, la regla de actualización puede necesitar una función de observación o de utilidad. Si existe perseveración, incorporarla puede modificar la diferencia de tasa. La estabilidad de la conclusión frente a alternativas razonables indica qué interpretaciones resisten el contraste.

También importa la relación con la experiencia y el funcionamiento cotidianos. Un parámetro de tarea puede variar de forma reproducible sin explicar la dificultad que interesa clínicamente. Establecer ese vínculo requiere medidas externas y predicciones sobre situaciones pertinentes, más allá de una etiqueta psicológica intuitiva.

Sutton y Barto (2018) presentan el aprendizaje por refuerzo como una familia de problemas y métodos para la toma de decisiones secuenciales. Aplicar una de sus reglas a la conducta humana exige especificar qué información, acciones y resultados representa. La adecuación depende de esa correspondencia, que la popularidad del algoritmo no garantiza.

Un informe útil presenta datos descriptivos junto con los parámetros. Las curvas de elección muestran el patrón observado antes de cualquier interpretación, mientras el modelo propone una manera de generarlo. Si el ajuste cambia al modificar un supuesto, el lector puede localizar qué parte de la explicación depende de él.

424.14. La percepción del resultado también necesita un modelo

La regla de actualización supone que la recompensa registrada por el experimento coincide con el resultado que usa el agente. Esa coincidencia puede fallar por dificultades perceptivas, por mala comprensión de los símbolos o por errores de memoria. Si el modelo omite ese paso, el ajuste puede atribuir al aprendizaje una diferencia que se originó antes de actualizar el valor.

Considérese una recompensa binaria que el agente codifica de manera invertida con probabilidad 0,10, en forma independiente en cada ensayo. Si la recompensa real ocurre con probabilidad $p$, la probabilidad de que el agente la codifique como positiva es

Las opciones con probabilidades reales 0,80 y 0,20 pasan a tener probabilidades percibidas de 0,74 y 0,26. La diferencia media entre ellas disminuye de 0,60 a 0,48. Aun con la misma tasa de aprendizaje, los valores tienden a separarse menos porque reciben una entrada distinta.

En una aproximación estacionaria basada en esos valores medios, una sensibilidad de 3,75 aplicada a la diferencia 0,48 produce el mismo argumento logístico que una sensibilidad de 3 aplicada a 0,60, ya que ambos productos valen 1,8. La coincidencia se refiere a la elección calculada a partir de valores medios. Las secuencias completas pueden diferir en variabilidad y en los transitorios, de modo que este caso no equivale a la invariancia exacta de la sección 424.9.

El ejemplo sugiere comprobaciones de diseño. Puede pedirse ocasionalmente al participante que identifique el resultado antes de la elección siguiente, o introducirse una condición en que la señal sea más clara. La primera opción añade una demanda que podría modificar el aprendizaje; la segunda puede cambiar la atención además de la percepción. Ninguna de las dos comprobaciones es neutral y sus efectos deben estudiarse.

Si el resultado percibido se mide con fiabilidad suficiente, puede incorporarse al modelo como observación intermedia. Si permanece oculto, puede integrarse sobre sus valores posibles usando una probabilidad de error estimada de manera independiente. Ajustar libremente esa probabilidad junto con los demás parámetros requiere demostrar antes que la tarea aporta información para separarlos.

La comparación de grupos debería examinar este componente cuando difieren las capacidades sensoriales, el lenguaje o la comprensión de las instrucciones. Un mismo símbolo experimental puede resultar más o menos accesible sin que cambie el mecanismo de actualización. Considerar esa posibilidad ayuda a interpretar los parámetros en proporción a lo que los datos sostienen.

La recuperación completa puede simular errores de codificación y comprobar si el ajuste los confunde con cambios de sensibilidad o de tasa. Si lo hace, el diseño necesita otra medición o la interpretación debe acotarse. Esta comprobación convierte una alternativa verbal en una predicción cuantitativa que puede examinarse antes de estudiar diferencias clínicas.

424.15. Qué quedó comprobado en el ejemplo

Las nueve simulaciones muestran que la cuadrícula recupera aproximadamente los parámetros generadores bajo la tarea y las semillas declaradas. El código reproduce la tabla y la equivalencia de reescalamiento. Estas comprobaciones respaldan la implementación y delimitan una región donde el diseño aporta información.

La demostración identifica también un límite exacto. La escala de recompensa y la sensibilidad no pueden separarse cuando sus transformaciones conservan todas las probabilidades de elección. Reconocer ese límite orienta el diseño de nuevas medidas y evita presentar como hallazgo lo que es una convención del ajuste.

El paso a datos humanos requiere además comparar modelos, evaluar predicciones reservadas y estudiar los componentes omitidos. Un parámetro es interpretable en la medida en que exista una cadena verificable entre su definición, las condiciones de la tarea y los patrones observados. Las comprobaciones de este capítulo cubren el primer tramo de esa cadena en un caso simulado.

Referencias

• Wilson, R. C. y Collins, A. G. E. (2019). Ten simple rules for the computational modeling of behavioral data. eLife, 8, e49547. DOI.
• Palminteri, S., Wyart, V. y Koechlin, E. (2017). The importance of falsification in computational cognitive modeling. Trends in Cognitive Sciences, 21(6), 425–433. DOI.
• Huys, Q. J. M., Pizzagalli, D. A., Bogdan, R. y Dayan, P. (2013). Mapping anhedonia onto reinforcement learning: A behavioural meta-analysis. Biology of Mood & Anxiety Disorders, 3, 12. DOI.
• Sutton, R. S. y Barto, A. G. (2018). Reinforcement learning: An introduction (2.ª ed.). MIT Press. Fuente editorial.