Adicciones: recompensa, contexto y cambios de política de acción

446.1. Una elección ocurre entre alternativas disponibles

Una conducta de consumo suele producir una consecuencia inmediata cuyo coste aparece más tarde. Que se repita depende de esa consecuencia, aunque también de las señales presentes, de lo que la persona espera obtener y de las oportunidades que compiten con ella en cada ocasión. Un modelo atento solo a la magnitud de la recompensa deja fuera condiciones capaces de cambiar la elección aun cuando la recompensa se mantenga idéntica.

Conviene separar desde el inicio disponibilidad y valor. Una actividad alternativa puede ser muy apreciada y quedar fuera de alcance por el horario, los recursos o las condiciones sociales. Otra está al alcance, pero exige un esfuerzo que reduce su utilidad relativa. Por eso una elección repetida no permite inferir preferencias mientras no se sepa qué opciones existían en cada ocasión.

La escala temporal agrega una dificultad distinta. La consecuencia inmediata pesa en el momento de decidir, mientras que la pérdida funcional se acumula durante semanas. La persona puede conocer esa pérdida, considerarla incierta o atribuirla a otras causas. Para aprender de ella, un modelo tiene que representar cuándo se observa y con qué acciones anteriores se relaciona.

El capítulo desarrolla un modelo hipotético de aprendizaje de valores y selección de acciones en el que se comparan los efectos de una señal contextual, del valor asignado a una alternativa y de su disponibilidad. Los parámetros no se identifican con diagnósticos ni con propiedades universales de las sustancias. Interesa saber qué puede explicar una formulación computacional parcial y qué información clínica y social necesita para ser interpretable.

446.2. Modelos de aprendizaje y explicaciones rivales

Redish (2004) describió la adicción como la alteración de un proceso de aprendizaje por diferencias temporales. En su modelo, la droga produce un aumento de dopamina que el aprendizaje no puede compensar. La señal de error de predicción nunca llega a anularse, el valor de las acciones que conducen al consumo sigue creciendo y el agente termina seleccionándolas en exceso. La propuesta generó predicciones contrastables. Una de ellas era que el bloqueo de Kamin no debería producirse con reforzadores farmacológicos, puesto que cada administración seguiría señalando una recompensa mayor que la esperada. Panlilio, Thorndike y Schindler (2007) pusieron a prueba esa predicción en ratas que se autoadministraban cocaína y observaron bloqueo, contra lo anticipado. Los propios autores advierten que su experimento examinó solo una de las predicciones del modelo.

Redish, Jensen y Johnson (2008) ampliaron el enfoque hacia un marco de sistemas de decisión en interacción, que incluye un sistema de planificación, uno de hábitos y uno de reconocimiento de situaciones. Identificaron diez vulnerabilidades posibles, entre ellas la sobrevaloración dentro de cada sistema, la clasificación errónea de situaciones, un descuento demasiado rápido y los cambios en las tasas de aprendizaje. Sostienen también que drogas, conductas e individuos diferentes probablemente acceden a vulnerabilidades diferentes. Estos trabajos ofrecen mecanismos formales capaces de producir patrones persistentes sin demostrar que todas las conductas adictivas compartan una sola alteración.

Entre las explicaciones rivales, una destaca el valor aprendido de las señales. Otra se centra en la elección dirigida a consecuencias que adquieren especial importancia en ciertos estados. Hay también quienes atribuyen la persistencia a la dificultad para actualizar o usar la información sobre los costes. Las mismas elecciones observadas pueden ser compatibles con varias de estas combinaciones, de modo que compararlas exige predicciones capaces de separarlas.

Hogarth (2020) revisó la evidencia animal y humana sobre tres teorías de la adicción, a saber, la elección dirigida a metas bajo afecto negativo, el hábito y la compulsión. Concluyó que la primera recibe mejor apoyo en la literatura revisada. Según su análisis, la elección de la droga responde a su valor esperado y aumenta con el estrés, el ánimo negativo y la abstinencia. Disminuye, en cambio, cuando crece la magnitud de la recompensa alternativa o cuando obtener la droga exige más esfuerzo o más espera. El autor reconoce que los tres mecanismos podrían actuar a la vez y diferir entre personas, sustancias y conductas, sin que existan métodos para aislar la contribución de cada uno. Su conclusión no autoriza, por tanto, a suponer que una única regla describa a cada persona o cada momento de una trayectoria.

Una ecuación puede describir cómo se actualiza un valor esperado sin decir nada sobre la dependencia física, las consecuencias médicas, la historia interpersonal o el significado del consumo. Esos componentes modifican qué acciones están disponibles y qué consecuencias tienen, aunque no figuren como parámetros separados.

El ejercicio usa valores ficticios para no sugerir una calibración inexistente. Su utilidad depende de que todas las operaciones queden explícitas y de que los contrastes muestren cuándo una explicación basada solo en la recompensa resulta insuficiente.

446.3. Recompensa inmediata y coste demorado

Definamos una consecuencia inmediata de magnitud $r$ y un coste $C$ que aparece después de $d$ unidades temporales. Un retorno descontado sencillo es

El factor $\gamma$ fija cuánto pesa una consecuencia demorada dentro de esta representación. No equivale por sí mismo a impulsividad, a capacidad de autocontrol ni a un diagnóstico. Su interpretación depende de la unidad temporal elegida, de la incertidumbre y de cómo se definan las consecuencias.

Con $r=4$, $C=8$, $d=10$ y $\gamma=0{,}9$, el retorno es aproximadamente 1,21057. El coste sin descontar duplica la recompensa inmediata, aunque su contribución descontada, cercana a 2,789, queda por debajo de ella. El cálculo solo muestra que esa función de valoración admite una preferencia formal por la consecuencia próxima.

Si cambia la unidad temporal, el factor debe ajustarse para conservar la misma tasa de descuento. Un valor de 0,9 por día equivale a $0{,}9^{7}\approx0{,}478$ por semana, de modo que emplear 0,9 con ambas unidades describiría dos modelos distintos. También hay que separar descuento e incertidumbre. Una consecuencia futura puede pesar menos porque se la considera improbable, con independencia de su demora. Un parámetro único reúne ambos componentes cuando el diseño no los distingue.

El retorno supone que el coste demorado se atribuye a la acción considerada. En una situación real pueden intervenir varias acciones y acontecimientos antes de que el coste aparezca. Decidir a cuál de ellos corresponde es un problema de aprendizaje propio, conocido como asignación de crédito. El ejemplo mantiene esa atribución como conocida para estudiar la valoración temporal sin mezclarla con la incertidumbre sobre el origen del coste.

446.4. Aprender valores a partir de resultados

Sea $Q_t(c,a)$ el valor aprendido de la acción $a$ en el contexto $c$. Tras observar el retorno completo de un episodio, la estimación se actualiza mediante

La diferencia entre el retorno observado y el valor esperado es el error de predicción. La tasa $\alpha$ determina qué fracción de ese error se incorpora en cada paso. La regla actualiza al final del episodio y equivale a una regla delta aplicada al retorno completo; no reproduce el aprendizaje por diferencias temporales paso a paso del modelo de Redish (2004).

Si el retorno es constante y el valor inicial es cero, después de $n$ observaciones se obtiene la expresión cerrada $Q_n=G[1-(1-\alpha)^n].$

Con $\alpha=0{,}2$ y cuarenta observaciones, $(1-\alpha)^{40}$ vale aproximadamente $1{,}3\times10^{-4}$ y el valor queda muy cerca del retorno estipulado. La convergencia es una propiedad del algoritmo cuando los resultados son constantes. No indica que una persona necesite ese número de experiencias ni que aprenda con una tasa fija.

La actualización depende de lo que efectivamente se observa. Si una alternativa no está disponible y sus consecuencias no se experimentan, su valor almacenado puede quedar desactualizado. Una modificación real del entorno tarda entonces en cambiar la política, porque la información sobre ella todavía no se ha obtenido.

La experiencia es, además, selectiva, porque una política que favorece una acción genera muchas observaciones sobre ella y pocas sobre las demás. Denrell y March (2001) mostraron que los procesos adaptativos que tienden a repetir las acciones exitosas quedan sesgados contra alternativas que al principio parecen peores de lo que son. Esas alternativas se muestrean menos y su subestimación se corrige con lentitud. El circuito puede mantener diferencias de conocimiento entre opciones sin que las descartadas valgan menos en realidad. Por eso el modelo debe distinguir el valor esperado, el valor efectivo y el acceso a información sobre cada opción.

446.5. Señales contextuales y una política probabilística

Se consideran tres acciones abstractas, una asociada al consumo, una actividad alternativa y la opción de no realizar ninguna de las dos. La primera tiene el retorno calculado antes. En un contexto señalado se suma al consumo una consecuencia inmediata de dos unidades. La alternativa tiene inicialmente valor dos y la tercera acción, valor cero.

La señal contextual modifica el retorno aprendido. Puede representar la expectativa de una recompensa adicional o de alivio, sin que se le asigne un mecanismo clínico único. Un sesgo de elección independiente del resultado tendría que introducirse de otro modo, por ejemplo como un término sumado directamente a la preferencia por la acción. Ambas formulaciones tendrían luego que contrastarse.

La política usa una función exponencial normalizada, conocida como softmax,

donde $\mathcal A$ contiene las acciones disponibles y $\tau$, llamada temperatura, regula la sensibilidad a las diferencias de valor. Con una temperatura baja las elecciones se concentran en la opción de mayor valor; con una alta la distribución se reparte más. Esa variabilidad puede representar una regla de exploración, aunque en datos reales también absorbe factores omitidos.

La probabilidad depende de qué alternativas entran en el denominador. Retirar una opción puede aumentar la elección de otra sin cambiar su valor aprendido. Una conducta más frecuente, por lo tanto, no demuestra que haya aumentado la recompensa atribuida al consumo, ya que puede deberse a una restricción del conjunto de oportunidades.

La política es una regla matemática de selección, sin contenido moral, cuyos parámetros no explican por sí solos la historia ni las consecuencias de una conducta.

446.6. Código de aprendizaje, señales y disponibilidad

import numpy as np
from scipy.special import softmax

gamma, delay, delayed_cost = 0.9, 10, 8.0
drug_return = 4.0-delayed_cost*gamma**delay
returns = np.array([[drug_return,2.0,0.0],
                    [drug_return+2.0,2.0,0.0]])
q = np.zeros_like(returns)
for _ in range(40):
    q += 0.2*(returns-q)
assert np.allclose(q,returns*(1-0.8**40))

def policy(values, alternative_available=True):
    logits = values/0.5
    if not alternative_available:
        logits = logits.copy()
        logits[1] = -np.inf
    return softmax(logits)

print('Retorno descontado:',drug_return)
for cue in [0,1]:
    print('Contexto',cue,'con alternativa:',np.round(policy(q[cue]),6),
          'sin alternativa:',np.round(policy(q[cue],False),6))
initial_alternative = q[1,1]
for observations in [0,10,30]:
    updated = 4-(4-initial_alternative)*0.8**observations
    values = q[1].copy()
    values[1] = updated
    print('Observaciones de alternativa mejorada:',observations,
          'valor:',round(updated,6),
          'probabilidad de consumo:',round(policy(values)[0],6))
assert policy(q[0],False)[0] > policy(q[0])[0]
assert policy(q[1])[0] > policy(q[0])[0]
assert np.isclose(drug_return,1.2105724792)

La disponibilidad produce un cambio grande sin que se modifique el retorno del consumo. Sin señal, retirar la alternativa eleva la probabilidad de consumo de 0,168 a 0,918. La señal, con la alternativa disponible, la lleva de 0,168 a 0,917. En este ejemplo los dos mecanismos conducen a una frecuencia observada casi idéntica, por lo que distinguirlos requiere información de distinto tipo en cada caso.

En el cálculo, cada acción se observa cuarenta veces en cada contexto durante una fase de aprendizaje controlada. La decisión permite separar el aprendizaje de valores de la selección posterior. Si las experiencias dependieran de las elecciones, ambos procesos quedarían acoplados, situación que se examina en la sección 446.17.

446.7. Mejorar una alternativa no garantiza que su valor sea conocido

Tras la fase inicial, el retorno de la alternativa sube de dos a cuatro. El valor almacenado no cambia mientras no se reciban observaciones de la nueva consecuencia. Con diez observaciones la estimación es aproximadamente 3,78522 y con treinta, 3,99752. La probabilidad de la acción de consumo en el contexto señalado baja de 0,91703 a 0,24037 y luego a 0,17149.

La evolución muestra que la existencia de una mejora y su conocimiento son cosas distintas. Una opción puede haber mejorado y conservar un valor esperado bajo porque no se ha experimentado o porque la información sobre ella parece poco creíble.

El número de observaciones es una variable de la simulación sin valor como pauta clínica. El retorno de una actividad real varía, depende del contexto y puede incluir costes iniciales. Una experiencia desfavorable aislada pesa de manera distinta según la tasa de aprendizaje y la historia previa.

Si la alternativa sigue siendo inaccesible, su mejora potencial no altera el conjunto de acciones. Si está disponible pero no se elige, su valor puede no actualizarse. Las dos situaciones mantienen la política anterior por razones distintas. La formulación tiene que identificar cuál de ellas está respaldada por las observaciones.

El contraste muestra que la organización de las oportunidades y la información disponible sobre ellas cambian la elección aun con valores de consumo idénticos, sin necesidad de suponer una recompensa excesiva del consumo.

446.8. Descuento y reversión de preferencias

Con descuento exponencial, añadir la misma demora a dos consecuencias multiplica ambos valores por un mismo factor. Su orden de preferencia se conserva, por tanto, mientras no cambien otras condiciones. Con $\gamma=0{,}9$, una consecuencia de cuatro unidades a una unidad temporal vale 3,6 y otra de ocho unidades a diez unidades vale cerca de 2,79. La preferencia por la primera se mantiene cualquiera sea la demora que se añada a ambas. Una función hiperbólica puede comportarse de otra manera.

Considérese la regla hipotética $V(R,d)=R/(1+kd)$ con $k=0{,}2$. Una consecuencia de cuatro unidades a una unidad temporal vale aproximadamente 3,333, mientras que otra de ocho unidades a diez unidades vale aproximadamente 2,667. Se prefiere la primera. Si la decisión se toma diez unidades antes, los valores pasan a 1,25 y 1,6, respectivamente. La preferencia se invierte entonces hacia la segunda.

Redish, Jensen y Johnson (2008) incluyen entre sus vulnerabilidades un descuento demasiado rápido, que lleva a sobreponderar recompensas próximas y a subestimar costes lejanos. El ejemplo hiperbólico ilustra un fenómeno diferente, en el que la inversión depende de la forma de la función más que de su velocidad. Tampoco establece que toda trayectoria de consumo siga un descuento hiperbólico, ni que un cambio de preferencia baste para demostrar esa función. La incertidumbre, la disponibilidad y los cambios de estado pueden producir patrones semejantes.

Si las opciones cambian de calidad o de accesibilidad a medida que se acerca el momento, la reversión no puede atribuirse solo al descuento. El modelo tiene que representar qué permanece igual y qué se modifica.

En una formulación clínica, la intención expresada a distancia y la elección inmediata pueden diferir por varios motivos. El análisis temporal ayuda a separar esas posibilidades y a preguntar qué información permitiría contrastarlas. El desacuerdo entre intención y conducta no identifica, por sí solo, un parámetro estable de la persona.

446.9. Alivio y estado afectivo como componentes del retorno

Una consecuencia puede valorarse porque produce placer, porque reduce un malestar o porque facilita una interacción. El retorno del modelo condensa esas posibilidades en un número, aunque su significado clínico depende del resultado que la persona espera. Dos elecciones con valores semejantes pueden obedecer a motivos distintos.

El afecto negativo puede cambiar el valor relativo de una acción sin alterar de manera permanente el conjunto de preferencias. Una opción poco atractiva en un estado gana valor cuando se anticipa alivio. El contexto señalado del ejercicio representa una modificación posible del retorno, sin identificar su origen afectivo.

Hogarth (2020) reúne evidencia de que los estados negativos aumentan el valor esperado de la droga y, con ello, la elección dirigida a obtenerla. En su interpretación, el afecto negativo actúa dentro de un proceso de decisión basado en valores, en lugar de desencadenar la búsqueda de manera automática. Es una perspectiva que debe compararse con otras, atendiendo a las diferencias entre tareas y poblaciones.

La observación necesita separar el estado previo, la consecuencia inmediata y el estado posterior. Preguntar por los motivos después del resultado puede introducir reinterpretaciones retrospectivas. Un registro prospectivo breve aporta información sobre lo que se esperaba obtener y sobre si la expectativa se cumplió, sin suponer que el relato accede a todos los determinantes.

El alivio puede ser transitorio y convivir con costes posteriores. Representar esa secuencia exige conservar las ventanas temporales correspondientes. Un promedio diario mezcla el estado que precedió a la acción con su consecuencia inmediata y con los efectos demorados, lo que dificulta establecer la dirección de las relaciones.

446.10. Asignar consecuencias demoradas a acciones anteriores

El algoritmo del ejercicio sabe qué retorno corresponde a cada episodio. En una trayectoria real, una consecuencia tardía puede seguir a varias acciones, exposiciones y acontecimientos. La persona tiene que atribuirla a alguna causa, con mayor o menor certeza. La demora afecta así al aprendizaje, además de a la valoración.

Una dificultad funcional puede relacionarse con el consumo, con el sueño, con la carga laboral o con una combinación de ellos. Si el modelo asigna todo el coste a una sola acción sin justificación, introduce una conclusión causal en los datos de entrenamiento. Si no asigna coste alguno porque la relación es incierta, desaprovecha información disponible. La formulación debe conservar esa incertidumbre.

Los modelos de diferencias temporales distribuyen la actualización a lo largo de estados y transiciones. Aplicarlos exige definir qué estado representa la situación y qué señales anticipan las consecuencias. Una representación incompleta aprende valores distintos de los que produciría un modelo con más información.

Identificar el mecanismo exige observar cómo cambia la conducta cuando se aclara la relación entre una acción y su consecuencia. Una actualización escasa puede deberse a que el coste pesa poco, a dudas sobre su atribución o a dificultades para usar la información en el momento de decidir. Estas explicaciones no son equivalentes.

El seguimiento puede reconstruir episodios con fechas y condiciones suficientes para comparar alternativas sin suponer desde el inicio una causalidad completa. Gana precisión cuando distingue los hechos observados, las atribuciones de la persona y las hipótesis del evaluador sobre los costes que convendría incorporar al modelo.

446.11. Disponibilidad, esfuerzo y restricciones sociales

En el código, la falta de disponibilidad elimina la alternativa por completo. En la vida cotidiana muchas restricciones son graduales. Una actividad puede requerir desplazamiento, dinero, coordinación con otras personas o un horario compatible con las obligaciones. Su valor efectivo depende de esos costes y de la posibilidad real de afrontarlos.

Una opción que un observador describe como disponible puede no serlo para la persona en el momento de elegir. El análisis tiene que reconstruir oportunidades concretas, más allá de un catálogo general de actividades. Una alternativa valiosa que se ofrece una vez por semana compite de otro modo con una acción accesible en cada ocasión.

Hogarth (2020) recoge estudios animales en los que la elección entre droga y otra recompensa varía con la magnitud, la demora y el esfuerzo asociados a cada una, así como con la oportunidad de interacción social. Aunque son manipulaciones de laboratorio que no se trasladan directamente a la vida de una persona, muestran que la elección responde al acceso además de a la magnitud.

El entorno también puede aumentar la exposición a señales o facilitar unas acciones sobre otras. Un cambio en la frecuencia de una conducta puede reflejar ese acceso además del aprendizaje. Un modelo que solo estima una tasa individual puede atribuir a las preferencias una variación producida por las condiciones de elección.

Representar restricciones sociales no exige reducir el contexto a un parámetro. Pueden combinarse descripciones verificables con un modelo parcial de las decisiones, siempre que las inferencias se mantengan dentro de las condiciones observadas y que la ausencia de una alternativa no se lea como falta de valoración.

Dentro del modelo, un cambio en las oportunidades altera la política aunque no toque la recompensa aprendida. Basta con que modifique el conjunto de acciones o reduzca los costes de acceso. Si se evaluara una modificación de este tipo, habría que medir el cambio y sus resultados sin atribuirlo de manera automática a un mecanismo psicológico único.

446.12. Persistencia pese a costes y concepto de compulsión

Continuar una conducta pese a consecuencias adversas puede reflejar un valor esperado alto, costes fuertemente descontados, información incompleta o falta de alternativas. La persistencia, por sí sola, no permite distinguir entre esas explicaciones ni demuestra que la persona sea insensible a toda consecuencia.

Probar la sensibilidad exige variar los costes manteniendo comparables los demás componentes. Si el coste aumenta y la elección disminuye, hay respuesta a esa dimensión dentro del diseño. Si la elección no cambia, hay que examinar si el coste se comprendió, si su magnitud bastaba y si otras consecuencias compensaron la modificación.

Hogarth (2020) aplica este razonamiento a la literatura animal sobre búsqueda de droga castigada. Para atribuir la persistencia a compulsión habría que mostrar que no se asocia con un valor mayor de la droga medido de forma independiente. En los estudios que revisó, once comparaciones encontraron asociación entre ambas medidas y cuatro encontraron disociación, resultado que lo llevó a preferir la explicación por valor.

La gravedad de las consecuencias observadas no se traslada directamente a su valoración en el momento de decidir. La persona puede conocerlas, considerarlas inciertas o atribuirlas a otras causas. La evaluación clínica describe esa relación sin reducirla a un enfrentamiento entre conocimiento y voluntad.

Una tasa de aprendizaje baja, un retorno elevado o un coste poco ponderado pueden producir elecciones parecidas. Atribuir un mecanismo requiere contrastes específicos y medidas que no se definan circularmente a partir de la misma conducta.

La formulación completa incluye consecuencias médicas y funcionales, historia y contexto. Un modelo de política puede explicar parte de la elección y seguir siendo insuficiente para describir la dependencia o las necesidades de atención. Su aporte consiste en precisar mecanismos y señalar límites dentro de una evaluación clínica que no está en condiciones de reemplazar.

446.13. Señales, generalización y retorno de una política previa

Un valor aprendido puede quedar ligado a un contexto. Cuando cambian las señales, la política puede emplear estimaciones adquiridas en otra situación o generalizar de forma parcial. Una conducta que disminuyó en un ambiente puede reaparecer en otro sin que el aprendizaje previo haya desaparecido.

El código representa dos contextos separados y aprende valores propios para cada uno, lo que impone una discriminación perfecta. Una extensión podría compartir parte de los valores mediante características comunes, permitiendo así transferencia entre situaciones. El grado de generalización dependería de cómo se representen esas situaciones. Redish, Jensen y Johnson (2008) describen como vulnerabilidad la clasificación errónea de situaciones, tanto por categorías demasiado finas como por generalización excesiva. La representación del contexto forma parte, por tanto, del problema que el modelo debe resolver.

Las señales pueden cumplir varios papeles. Pueden anticipar una consecuencia, indicar que una acción está disponible o modificar una respuesta sin alterar el valor esperado. Cada posibilidad requiere un modelo distinto. La aparición de una conducta ante una señal no indica cuál de ellas opera. Hogarth (2020) recoge la propuesta de que las señales de la droga aumentan su utilidad porque indican que está accesible, aunque advierte que la reactividad a señales no se asocia de forma consistente con la gravedad de la dependencia en humanos.

Un contraste puede mantener constante la disponibilidad mientras varía la señal, o conservar la señal mientras cambia la consecuencia. La interpretación depende de que la persona perciba y comprenda esas diferencias. Hay que considerar además estados internos que funcionan como contexto y pueden variar aunque el ambiente físico permanezca igual.

El retorno de una política previa debe analizarse junto con su secuencia temporal. Puede deberse a la recuperación de valores antiguos, a cambios de oportunidad o a una nueva evaluación de las consecuencias. Atribuir toda recurrencia a una sola memoria de recompensa borraría diferencias que importan al planificar observaciones y decisiones posteriores.

446.14. Un caso hipotético con oportunidades cambiantes

Una persona refiere consumo frecuente al terminar jornadas exigentes. Describe alivio inmediato y reconoce dificultades posteriores de sueño y de funcionamiento. Durante un periodo en que tiene acceso a actividades compartidas después del trabajo, la frecuencia disminuye; cuando esas actividades se interrumpen, vuelve a aumentar. El caso es ficticio y no incluye una cuantificación clínica de la exposición.

Una primera explicación propone que el valor esperado del alivio crece con el malestar. Otra subraya la pérdida de disponibilidad de las alternativas. Una tercera supone que ciertas señales del final de la jornada activan una política aprendida. Los mecanismos pueden coexistir y producir patrones parecidos en un registro agregado.

La observación puede separar el estado previo, las opciones efectivamente disponibles, la acción realizada y las consecuencias en distintas ventanas. También es necesario caracterizar el consumo y su historia por las vías clínicas pertinentes. Los valores de recompensa del simulador no sustituyen esa información ni permiten clasificar el caso.

Si la elección cambia cuando reaparece la alternativa sin que haya variado el malestar previo, el dato es compatible con un efecto de oportunidad. Si persiste una diferencia entre contextos con alternativas comparables, conviene estudiar señales y expectativas. Ninguno de esos resultados agota la organización de la conducta.

La formulación puede orientar los apoyos y la evaluación sin cerrar prematuramente la explicación. Las decisiones clínicas se justifican por las dificultades observadas y por la evidencia pertinente para cada acción considerada, con independencia del modelo. Una mejoría posterior puede ser compatible con varias hipótesis y no confirma por sí misma el mecanismo preferido.

446.15. Estimar una política a partir de datos seleccionados

Las elecciones observadas son una muestra de las situaciones accesibles y registradas. Si el seguimiento omite los momentos de mayor dificultad, la política estimada describirá sobre todo los periodos favorables. Si solo se registran las ocasiones de consumo, falta el denominador de oportunidades en que se eligió otra acción.

La estimación necesita conocer el conjunto disponible en cada decisión. Un modelo que incluye siempre una alternativa inexistente interpretará la ausencia de esa elección como un valor bajo. La diferencia entre opción no elegida y opción no disponible debe conservarse en los datos.

Existe también una indeterminación de escala. Multiplicar todos los valores y la temperatura por una misma constante deja intactas las probabilidades de la función softmax, de modo que las elecciones no identifican una unidad absoluta de recompensa. Comparar parámetros entre estudios exige conocer sus normalizaciones y sus tareas.

Aprendizaje y exploración pueden confundirse. Una elección variable puede indicar incertidumbre, búsqueda de información o factores no medidos, mientras que una política estable puede reflejar valores conocidos o restricciones persistentes. Añadir un parámetro de ruido no resuelve esas diferencias.

La validación puede reservar periodos con cambios de contexto para comparar predicciones. Un modelo que solo aprende frecuencias generales tenderá a fallar cuando se modifique la disponibilidad. Uno que representa las oportunidades debería anticipar parte de ese cambio, siempre que los valores y las demás condiciones permanezcan dentro del rango en que fue estimado.

446.16. Resultados clínicos y unidades de beneficio

La probabilidad de elegir una acción es una salida del modelo. Su reducción no equivale por sí misma a una mejoría global. Hay que observar consecuencias, funcionamiento y objetivos relevantes, además de caracterizar qué acciones reemplazan a la anterior. Un mismo cambio de frecuencia puede significar cosas distintas según el patrón de exposición.

La utilidad numérica del ejercicio no representa el bienestar total. Evaluar una decisión real exigiría especificar qué resultados importan, quién los valora y en qué horizonte. Los costes sociales o funcionales no deberían introducirse como cifras precisas sin fundamento.

Una alternativa accesible y valorada puede sostener un cambio mientras exista. Esa dependencia no anula el beneficio, aunque cambia las preguntas del seguimiento, que puede examinar la estabilidad de las oportunidades y la respuesta a variaciones ordinarias del entorno.

Los modelos de recompensa permiten estudiar cómo las consecuencias y las señales modifican una política. Su alcance aumenta cuando incorporan la disponibilidad y el aprendizaje sobre alternativas, aunque siguen siendo representaciones parciales. La formulación clínica conserva la exposición, la historia y el significado del consumo. Las ecuaciones le sirven para comparar hipótesis concretas sobre decisiones a lo largo del tiempo.

446.17. Separar los efectos de cambiar valor y acceso

El modelo permite una descomposición contrafáctica que no se observaría directamente en una decisión real. En el contexto señalado se calcula primero la política con la alternativa disponible y su valor antiguo. Después se sustituye ese valor por el aprendido tras treinta observaciones, conservando el mismo conjunto de acciones. La probabilidad de consumo pasa de 0,917 a 0,171, diferencia que describe, dentro del modelo, el efecto de actualizar el valor con acceso constante.

Otra comparación conserva los valores antiguos y retira la alternativa. La diferencia describe ahora el efecto de la disponibilidad, que en este caso es pequeño, de 0,917 a 0,998, porque con la señal presente el consumo ya era la opción dominante. Las dos operaciones responden a preguntas distintas, aunque ambas cambien la frecuencia de consumo. En un seguimiento real convendría registrar cuándo ocurrió cada modificación para no atribuir todo el cambio a una propiedad de la persona.

Los efectos no son aditivos. La función softmax tiene un denominador común, de modo que aumentar el valor de una opción modifica la probabilidad de todas las demás. Una alternativa retirada, por otra parte, no puede expresar su mayor valor en la elección. Con el valor ya actualizado, retirar la alternativa eleva la probabilidad de consumo de 0,171 a 0,998, un efecto unas diez veces mayor que el obtenido con el valor antiguo. El beneficio de mejorar la alternativa depende de que siga siendo accesible. El ejemplo muestra así una interacción entre aprendizaje y oportunidad sin necesidad de un parámetro específico de interacción.

Supóngase que se observan pocas elecciones de la alternativa después de anunciar una mejora. Podría pensarse que su valor subjetivo apenas cambió. También podría ocurrir que la mejora no llegara a experimentarse porque el acceso efectivo siguió limitado. Un registro que solo incluya anuncios y elecciones no separa ambas explicaciones. Harían falta datos sobre las ocasiones disponibles y sobre las consecuencias efectivamente obtenidas.

El caso inverso permite examinar la simetría de la regla. Si una alternativa antes valiosa pierde calidad, el algoritmo conserva al principio una estimación elevada y la reduce con nuevas observaciones. La regla de actualización trata del mismo modo los errores positivos y los negativos. Cuando la experiencia depende de lo que se elige, sin embargo, la corrección deja de ser simétrica. Una alternativa sobrestimada se elige a menudo, de modo que su error se corrige pronto, mientras que una subestimada se elige poco y su error persiste más tiempo. Denrell y March (2001) describieron este sesgo en procesos adaptativos de muestreo secuencial. El cálculo siguiente, que continúa el código de la sección 446.6, lo ilustra con la actualización esperada, en la que cada paso aprende de la alternativa en proporción a la probabilidad de elegirla.

def pasos_hasta_cruzar(valor_real, estimacion, tau=0.5, alpha=0.2):
    consumo = q[1,0]
    inicio_superior = estimacion > consumo
    for paso in range(1, 100001):
        p_alt = softmax(np.array([consumo, estimacion, 0.0])/tau)[1]
        estimacion += alpha*p_alt*(valor_real-estimacion)
        if (estimacion > consumo) != inicio_superior:
            return paso
    return None

for tau in [0.5, 0.25]:
    print('tau', tau,
          'subestimada (real 4, inicial 2):', pasos_hasta_cruzar(4.0, 2.0, tau),
          'sobrestimada (real 2, inicial 4):', pasos_hasta_cruzar(2.0, 4.0, tau))
assert pasos_hasta_cruzar(4.0, 2.0) > pasos_hasta_cruzar(2.0, 4.0)

Con $\tau=0{,}5$, la alternativa subestimada necesita 22 pasos de actualización esperada para superar el valor del consumo, mientras que la sobrestimada pierde el primer lugar en 4. Con $\tau=0{,}25$ la diferencia se amplía a 98 frente a 3. La simetría de la regla no produce una adaptación simétrica cuando el muestreo depende de la política. Esta predicción podría resultar incorrecta si la actualización real fuera asimétrica o si la persona obtuviera información por otras vías.

La información verbal ofrece otro contraste. El algoritmo solo aprende de retornos experimentados, de modo que una instrucción fiable no altera sus valores. Si la conducta cambiara antes de cualquier nueva experiencia, habría que incorporar actualización por información o planificación. Tratar ese resultado como ruido ocultaría una limitación estructural de la regla elegida.

Estas comparaciones permiten plantear por separado preguntas sobre disponibilidad, adquisición de información y revisión de expectativas, cada una con sus propios registros. El modelo resulta más informativo cuando indica qué observación podría corregirlo que cuando reproduce una frecuencia global mediante ajustes intercambiables de recompensa y temperatura.

Referencias

Denrell, J., y March, J. G. (2001). Adaptation as information restriction: The hot stove effect. Organization Science, 12(5), 523–538. DOI.

Hogarth, L. (2020). Addiction is driven by excessive goal-directed drug choice under negative affect: Translational critique of habit and compulsion theory. Neuropsychopharmacology, 45(5), 720–735. DOI.

Panlilio, L. V., Thorndike, E. B., y Schindler, C. W. (2007). Blocking of conditioning to a cocaine-paired stimulus: Testing the hypothesis that cocaine perpetually produces a signal of larger-than-expected reward. Pharmacology Biochemistry and Behavior, 86(4), 774–777. DOI.

Redish, A. D. (2004). Addiction as a computational process gone awry. Science, 306(5703), 1944–1947. DOI.

Redish, A. D., Jensen, S., y Johnson, A. C. (2008). A unified framework for addiction: Vulnerabilities in the decision process. Behavioral and Brain Sciences, 31(4), 415–437. DOI.