423.1. Inferir un estado y elegir qué observar

Un observador puede reducir su incertidumbre interpretando mejor una señal que ya recibió. También puede cambiar de posición, dirigir la mirada o solicitar una medición para obtener una señal distinta. Esta segunda vía introduce la acción dentro del problema de inferencia, porque el agente necesita anticipar de qué manera sus decisiones modificarán el mundo y también la información de que dispondrá sobre él.

La inferencia activa organiza la percepción y la selección de políticas a partir de un modelo generativo y de preferencias explícitas. Una política describe un curso de acción posible. Su evaluación considera los resultados previstos y, en las formulaciones que incluyen valor epistémico, la información que podría obtenerse al seguirla. El marco exige especificar estados, observaciones, transiciones y restricciones. Mientras esos elementos no estén definidos, una expresión como minimizar la sorpresa no determina ninguna conducta concreta.

Friston (2010) presentó el principio de energía libre como una propuesta de alcance amplio sobre la organización y el funcionamiento cerebral, con la pretensión de reunir varias teorías globales del cerebro en torno a una misma cantidad optimizada. Friston y colaboradores (2017) desarrollaron una teoría de proceso que, a partir de un proceso de decisión de Markov, genera dinámicas neuronales y conductas simuladas. Da Costa y colaboradores (2020) ofrecieron después una síntesis matemática de la inferencia activa en espacios de estados discretos. Al leer esta literatura conviene separar la amplitud del principio, las ecuaciones de un modelo particular y la evidencia sobre su realización biológica, porque cada uno de esos niveles se sostiene con argumentos de naturaleza diferente.

El desarrollo que sigue se apoya en un ejemplo finito en el que se calculan la energía libre variacional y un criterio para evaluar políticas. Todas las operaciones son informacionales y se expresan mediante logaritmos de probabilidades. La palabra energía no designa aquí una cantidad de calor, de trabajo mecánico ni de consumo metabólico. Establecer una conexión física requeriría supuestos y unidades que el ejemplo no introduce.

El hilo conductor es qué compromiso introduce cada parte del modelo. Una identidad matemática admite demostración y una preferencia se fija en función de la tarea, mientras que una hipótesis sobre el modo en que un organismo implementa el cálculo solo puede contrastarse con datos. Mantener separadas esas funciones permite evaluar la propuesta sin que su vocabulario opere como una explicación automática.

423.2. Un modelo generativo con estados ocultos

Consideremos un ambiente con dos estados posibles. El agente recibe una observación que depende del estado vigente y puede elegir acciones que alteren las transiciones o la calidad de lo que observa. La descripción mínima incluye una distribución inicial, una matriz de observación y una matriz de transición asociada a cada acción.

La distribución inicial expresa qué estados se consideran probables antes de recibir datos nuevos. La matriz de observación indica la probabilidad de cada resultado bajo cada estado, en tanto que las transiciones describen cómo puede cambiar el estado cuando el agente actúa. Estos componentes pueden ser conocidos de antemano, aprenderse con la experiencia o estimarse con incertidumbre. Cada una de esas opciones plantea un problema distinto.

Una política puede consistir en una secuencia fija de acciones o en una regla que depende de observaciones futuras. La diferencia importa cuando una primera acción busca información útil para decidir más adelante. Una secuencia que ordena consultar un sensor y luego elegir siempre la misma alternativa desaprovecha el dato que una regla contingente sí utilizaría, porque esta última ajusta la elección al resultado obtenido.

La planificación bajo observación parcial tiene una formulación general, anterior y más amplia que cualquier algoritmo particular de inferencia activa. Kaelbling, Littman y Cassandra (1998) desarrollaron, en el marco de los procesos de decisión de Markov parcialmente observables, herramientas para planificar y actuar cuando el estado no es directamente accesible. Comparar ambos enfoques ayuda a reconocer qué componentes pertenecen al problema común y cuáles caracterizan una propuesta específica de solución.

Las creencias sobre los estados pueden resumirse en una distribución que se actualiza en dos momentos, al predecir una transición y al incorporar una observación. Esa distribución, llamada estado de creencia, resume lo que el agente necesita para decidir siempre que el modelo satisfaga los supuestos correspondientes. Es un objeto del modelo y no tiene por qué coincidir con una variable psicológica observable de forma directa.

El modelo necesita además un objetivo. Saber qué ocurrirá bajo una acción no determina cuál debería elegirse. Dos agentes con predicciones idénticas pueden actuar de manera distinta si difieren sus preferencias, sus costos o sus horizontes temporales. Esa diferencia debe quedar representada explícitamente antes de atribuirla a un error de inferencia.

423.3. Energía libre variacional como identidad precisa

Sean zz las variables ocultas, oo las observaciones ya obtenidas y q(z)q(z) una distribución aproximada sobre lo desconocido. La energía libre variacional se define como la esperanza, bajo esa aproximación, de la diferencia entre el logaritmo de la aproximación y el logaritmo de la distribución conjunta del modelo.

F[q]=Eq[log⁡q(z)−log⁡p(o,z)].F[q]=\mathbb E_q[\log q(z)-\log p(o,z)].

Al escribir la distribución conjunta mediante la regla de Bayes, p(o,z)=p(z∣o) p(o)p(o,z)=p(z\mid o)\,p(o), la expresión se separa en dos términos. El primero es la divergencia entre la aproximación y la posterior exacta. El segundo es el negativo del logaritmo de la evidencia del modelo.

F[q]=DKL(q(z)∥p(z∣o))−log⁡p(o).F[q]=D_{\mathrm{KL}}(q(z)\Vert p(z\mid o))-\log p(o).

La divergencia de Kullback-Leibler nunca es negativa y se anula únicamente cuando las dos distribuciones coinciden. Si la aproximación asigna probabilidad a valores que la posterior excluye, la divergencia se vuelve infinita, de modo que la condición de soporte afecta a su finitud y no a su signo. Por eso la energía libre es una cota superior de la sorpresa estadística, definida como el negativo del logaritmo de la probabilidad de la observación. Su mínimo sobre las distribuciones admisibles se alcanza en la posterior exacta cuando esta pertenece a la familia utilizada.

Con observaciones y modelo fijos, minimizar respecto de la distribución aproximada mejora la inferencia. Esa operación no modifica la observación pasada ni demuestra que el modelo generativo sea correcto. Una aproximación puede ajustarse perfectamente a la posterior de un modelo inadecuado, de manera que la adecuación del modelo exige compararlo con datos y con alternativas.

La misma función admite otra descomposición, como divergencia respecto de la distribución previa menos la exactitud esperada de la observación.

F[q]=DKL(q(z)∥p(z))−Eq[log⁡p(o∣z)].F[q]=D_{\mathrm{KL}}(q(z)\Vert p(z))-\mathbb E_q[\log p(o\mid z)].

Esta forma muestra una tensión entre ajustar los datos y alejarse de las expectativas iniciales. El significado de ambos términos depende de qué variables se incluyen en zz y de qué parámetros se consideran fijos.

La familia variacional también importa. Si se impone independencia entre variables que en la posterior están relacionadas, el mínimo alcanzable dentro de esa familia conserva un error de aproximación. Un resultado computacional exacto puede seguir representando una posterior simplificada, razón por la cual la evaluación debe distinguir el error numérico, el error de aproximación y el error del modelo.

423.4. Un cálculo discreto completo

Supongamos estados equiprobables y una observación positiva cuya probabilidad es 0,20 en el primer estado y 0,80 en el segundo. La probabilidad marginal de observarla es 0,50. Después de recibirla, la posterior asigna probabilidades 0,20 y 0,80 a los estados.

Si la aproximación permanece equiprobable, todavía no ha incorporado el dato. Su divergencia respecto de la posterior es aproximadamente 0,22314 nats. Al sumar la sorpresa de la observación, cercana a 0,69315 nats, la energía libre vale 0,91629 nats. La segunda descomposición conduce al mismo valor. Como la aproximación coincide con la previa, la divergencia respecto de esta es nula y toda la energía libre corresponde a la exactitud esperada con signo negativo.

Cuando la aproximación coincide con la posterior, la divergencia respecto de ella se anula y la energía libre baja a 0,69315 nats. En la segunda descomposición, ese valor resulta de sumar una divergencia respecto de la previa de 0,19274 nats y el negativo de una exactitud esperada de −0,50040 nats. La aproximación paga ahora un costo por alejarse de la previa, pero lo compensa con creces al explicar mejor el dato. La reducción tiene una interpretación limitada y exacta, ya que la distribución aproximada se acercó a la posterior del modelo. Nada en el cálculo indica que haya disminuido el gasto energético del agente.

La sorpresa estadística tampoco equivale a la sorpresa subjetiva. Un acontecimiento raro bajo una distribución puede provocar poca reacción si carece de relevancia, mientras que uno frecuente puede resultar inesperado para una persona con otra historia. Relacionar ambas propiedades exige una hipótesis sobre el modelo interno y una medida de experiencia o de respuesta.

El ejemplo muestra también por qué una observación improbable puede ser informativa. Una probabilidad marginal baja no obliga a ignorarla ni a evitarla. Una vez recibida, puede modificar con fuerza las creencias. La selección de acciones requiere evaluar consecuencias futuras, incluidas las preferencias y las oportunidades de aprendizaje, cosa que la función de inferencia aplicada a datos pasados no hace por sí sola.

Si la observación positiva fuera imposible bajo ambos estados, la evidencia sería cero y el cálculo dejaría de estar definido en la forma anterior. Ese caso señalaría un fallo del modelo o de su soporte. Introducir probabilidades pequeñas puede estabilizar una implementación, aunque al hacerlo se cambia el generador y la modificación debe justificarse.

423.5. Preferencias sobre resultados

Para evaluar acciones introduciremos una distribución preferida sobre resultados. Sus valores expresan qué resultados se consideran más deseables dentro del modelo. No son necesariamente frecuencias esperadas ni describen lo que suele ocurrir. Confundir deseo con predicción puede llevar a una lectura circular de la conducta.

En el ejemplo, asignaremos preferencia 0,10 al primer resultado y 0,90 al segundo. La penalización de un resultado es el negativo del logaritmo de su preferencia, de modo que obtener el primero cuesta aproximadamente 2,30259 nats y obtener el segundo, 0,10536. Las unidades son informacionales por la transformación elegida. Friston y colaboradores (2017) destacan precisamente que expresar la utilidad como logaritmo de una probabilidad le otorga la misma medida que la información.

Una utilidad puede transformarse en preferencias mediante una exponencial normalizada. La intensidad de esa transformación determina cuánto se diferencian resultados de utilidades cercanas. Si se cambia la escala de la utilidad y se compensa con ese parámetro, las preferencias resultantes no varían. En consecuencia, la conducta puede identificar una combinación de parámetros sin permitir separar cada uno.

Las preferencias deben relacionarse con la tarea. Pueden estimarse a partir de elecciones, fijarse según instrucciones o examinarse manipulando las consecuencias. Ajustar libremente las preferencias con las mismas elecciones que luego se dice explicar impone poca restricción al modelo. Una prueba más exigente utiliza preferencias o parámetros estimados en condiciones independientes.

Los costos de actuar también requieren representación. Consultar un sensor puede consumir tiempo, desplazarse puede implicar esfuerzo y esperar puede retrasar un resultado. Esos costos pueden incorporarse como resultados adicionales, como preferencias sobre trayectorias o mediante un término explícito en un criterio simplificado. Cualquiera sea la vía, la elección debe conservar coherencia entre las alternativas comparadas.

Un costo matemático no equivale por sí mismo a malestar ni a una puntuación clínica. Interpretar un parámetro de preferencia en ese sentido requiere medidas que vinculen el costo con la experiencia y el funcionamiento. El modelo puede orientar esa investigación, aunque su notación no aporta la validación.

423.6. Un criterio de políticas con riesgo y ambigüedad

Adoptaremos una forma discreta de evaluación basada en preferencias sobre resultados. Para cada política se predicen estados y observaciones. El criterio suma dos términos, la divergencia entre los resultados previstos y los preferidos y la incertidumbre esperada de la observación condicionada al estado.

G(π)=DKL(q(o∣π)∥C(o))+Eq(s∣π)[H(p(o∣s,π))].G(\pi)=D_{\mathrm{KL}}(q(o\mid\pi)\Vert C(o)) +\mathbb E_{q(s\mid\pi)}[H(p(o\mid s,\pi))].

Esta expresión es la que Friston y colaboradores (2017) emplean al separar riesgo y ambigüedad sobre resultados. La literatura de inferencia activa contiene otras formulaciones, cuyas diferencias dependen de dónde se especifican las preferencias y de las aproximaciones utilizadas. Da Costa y colaboradores (2020), por ejemplo, definen el riesgo sobre estados ocultos y señalan que conviene expresarlo en términos de resultados cuando las preferencias del agente se formulan sobre estos. Antes de tratar como idénticas todas las expresiones llamadas energía libre esperada hay que revisar los supuestos de cada una.

En esta descomposición, el primer término recibe el nombre de riesgo. Mide la discrepancia entre dos distribuciones de resultados y carece de relación directa con la probabilidad de un daño clínico. El segundo término se denomina ambigüedad y representa la incertidumbre sobre la observación que persiste aun conociendo el estado. Un sensor poco fiable tiene, por tanto, una ambigüedad alta.

Bajo la distribución conjunta predictiva del ejemplo, el mismo criterio puede escribirse como el costo esperado de los resultados menos la información mutua entre estados y observaciones. La identidad se obtiene al desarrollar la divergencia como entropía cruzada menos entropía de los resultados y al restar a esta última la entropía condicional.

G(π)=Eq(o∣π)[−log⁡C(o)]−Iq(S;O∣π).G(\pi)=\mathbb E_{q(o\mid\pi)}[-\log C(o)] -I_q(S;O\mid\pi).

La reducción de incertidumbre aparece con signo favorable. Una política puede resultar atractiva porque anticipa resultados preferidos, porque permite conocer mejor el estado o por ambas razones. Da Costa y colaboradores (2020) identifican este componente epistémico con la información mutua esperada entre estados futuros y sus consecuencias observables. Su contribución depende de que el modelo represente una relación entre estado y observación que el dato pueda revelar.

La identidad no implica que toda exploración observada constituya evidencia de inferencia activa. Otros criterios de planificación también incluyen valor de información. Da Costa y colaboradores (2020) muestran que la energía libre esperada se reduce a varios de ellos al suprimir determinadas fuentes de incertidumbre, desde el diseño bayesiano óptimo hasta la teoría bayesiana de la decisión. Para discriminar algoritmos hacen falta predicciones sobre cómo se calcula el criterio, qué horizonte se considera y cómo se combina con costos y hábitos.

423.7. Dos sensores con igual distribución marginal

Consideremos dos políticas que no alteran la distribución de estados, todavía equiprobable, pero que seleccionan sensores distintos. El primero informa al azar, pues cada resultado tiene probabilidad 0,50 bajo cualquier estado. El segundo identifica el estado con probabilidad 0,90 y se equivoca con probabilidad 0,10.

Ambos sensores producen resultados marginales equiprobables. Por tanto, tienen el mismo costo esperado respecto de las preferencias 0,10 y 0,90 y la misma divergencia de riesgo, de aproximadamente 0,51083 nats. Un examen limitado a la distribución marginal no podría distinguirlos.

Sus ambigüedades, en cambio, difieren. El sensor aleatorio tiene una entropía condicional de aproximadamente 0,69315 nats y el informativo, de 0,32508. La información mutua del segundo es cercana a 0,36806 nats, mientras que la del primero es nula.

El criterio total vale aproximadamente 1,20397 para el sensor aleatorio y 0,83591 para el informativo. La preferencia por el segundo procede de la información que aporta sobre el estado, aunque ambos produzcan la misma proporción de resultados de cada clase. El ejemplo separa así el valor epistémico de la frecuencia marginal de un resultado deseado.

Si utilizar el sensor informativo supone un costo adicional de 0,20 en la misma escala, sigue resultando favorecido. Cuando el costo supera aproximadamente 0,36806, la ventaja informativa deja de compensarlo en esta comparación. Ese umbral depende de las probabilidades y de la ponderación adoptada.

La utilidad efectiva de conocer el estado puede depender de decisiones posteriores. Un criterio que valora la información de manera directa debe compararse con otro que solo la valora por sus consecuencias futuras. Cuando el dato no puede modificar ninguna acción relevante, el primero le sigue asignando valor y el segundo no. Esa divergencia ofrece una oportunidad de contraste experimental.

423.8. Comprobación numérica de las descomposiciones

El código reproduce el cálculo variacional y las dos formas del criterio de políticas. Las aserciones verifican que riesgo más ambigüedad coincide con costo esperado menos información mutua bajo la distribución conjunta especificada.

import numpy as np

def entropia(p):
    p = np.asarray(p)
    positivos = p > 0
    return -np.sum(p[positivos]*np.log(p[positivos]))

def kl(p, q):
    p, q = np.asarray(p), np.asarray(q)
    positivos = p > 0
    return np.sum(p[positivos]*np.log(p[positivos]/q[positivos]))

posterior = np.array([0.2, 0.8])
aproximacion = np.array([0.5, 0.5])
evidencia = 0.5
F = kl(aproximacion, posterior)-np.log(evidencia)
F_min = -np.log(evidencia)
print("F inicial y mínima:", F, F_min)
assert F > F_min

estados = np.array([0.5, 0.5])
preferencias = np.array([0.1, 0.9])
resultados = []
for fiabilidad in (0.5, 0.9):
    A = np.array([[fiabilidad, 1-fiabilidad],
                  [1-fiabilidad, fiabilidad]])
    observaciones = A @ estados
    ambiguedad = sum(estados[j]*entropia(A[:, j])
                     for j in range(2))
    riesgo = kl(observaciones, preferencias)
    informacion = entropia(observaciones)-ambiguedad
    costo = -observaciones @ np.log(preferencias)
    G = riesgo+ambiguedad
    assert np.isclose(G, costo-informacion)
    resultados.append(G)
    print(fiabilidad, riesgo, ambiguedad, informacion, G)

assert np.allclose(resultados, [1.2039728043, 0.8359085972])
assert resultados[1]+0.20 < resultados[0]
assert resultados[1]+0.40 > resultados[0]

Los logaritmos son naturales, por lo que las cantidades se expresan en nats. Cambiar a logaritmos de base dos reescala todos los términos informacionales por el mismo factor. Si se añade un costo externo, ese costo debe transformarse de manera coherente para conservar la comparación, ya que mezclar escalas sin ajuste puede cambiar la política seleccionada.

El programa trabaja con probabilidades conocidas. Aprender la fiabilidad del sensor añadiría incertidumbre sobre parámetros y podría introducir un valor informativo adicional. El agente podría consultar un sensor para conocer el estado o para averiguar si el sensor merece confianza. Distinguir ambas formas de aprendizaje requiere una estructura generativa más amplia.

423.9. Planificar una acción informativa y utilizarla después

Un ejemplo secuencial permite examinar el valor instrumental de la información. Supongamos que una recompensa se encuentra en uno de dos lugares equiprobables. Elegir directamente un lugar ofrece una probabilidad de éxito de 0,50. Consultar una señal de fiabilidad 0,90 y elegir después el lugar indicado la eleva a 0,90, siempre que el modelo de la señal sea correcto.

Si consultar cuesta 0,15 unidades de recompensa y el acierto vale una unidad, la utilidad esperada de consultar y actuar es 0,75, frente a 0,50 al elegir directamente. La ventaja informativa se traduce aquí en una mejora de un resultado posterior, porque el cálculo supone una regla de decisión contingente al dato.

Si el agente consulta y después elige siempre el primer lugar, su probabilidad de éxito sigue siendo 0,50 y además paga el costo, con lo que su utilidad esperada cae a 0,35. Observar no basta. El valor de la acción informativa depende del uso que se haga de lo observado. Una representación de políticas que no admita esa contingencia puede infravalorar la exploración.

El horizonte temporal también interviene. Si el modelo evalúa solo la observación inmediata, puede no representar la recompensa que llega después. Si evalúa una secuencia suficientemente larga, puede atribuir valor a una acción inicialmente costosa. Por esta razón, diferencias de horizonte pueden producir conductas que parecen reflejar preferencias distintas aunque el objetivo final sea el mismo.

Un experimento puede ofrecer información útil para una decisión posterior y compararla con información igualmente novedosa que no altera ninguna elección. Un modelo puramente instrumental y uno que asigna valor directo a la reducción de incertidumbre anticipan en ese caso patrones diferentes. Para que la comparación sea interpretable deben controlarse la curiosidad, la comprensión de la tarea y los costos.

La conducta de búsqueda de información, por su sola presencia, no identifica una teoría. Lo que permite discriminar es qué información se busca, en qué momento deja de valer la pena y cómo cambia la elección cuando se modifican la utilidad futura, la fiabilidad o el costo. Esas relaciones hacen posible contrastar implementaciones específicas.

423.10. Selección probabilística, hábitos y precisión de políticas

Un agente no siempre elige de forma determinista la política con menor criterio. Una regla habitual asigna probabilidades mediante una exponencial del valor negativo del criterio, modulada por un parámetro de precisión. La regla puede incluir también una distribución previa sobre políticas que represente hábitos o restricciones aprendidas.

q(π)∝E(π)exp⁡[−γG(π)].q(\pi)\propto E(\pi)\exp[-\gamma G(\pi)].

Esta es una forma simplificada. Da Costa y colaboradores (2020) indican que un tratamiento más completo añade a la energía libre esperada la evidencia que los resultados ya observados aportan a favor de cada política.

La distribución previa de políticas y el parámetro de precisión cumplen funciones diferentes. La primera favorece ciertos cursos de acción antes de evaluar el resultado actual, mientras que el segundo regula cuánto pesan las diferencias de criterio. Una elección repetitiva puede surgir de un hábito fuerte o de una evaluación muy consistente. El diseño experimental debe permitir separar ambas posibilidades.

La escala del criterio se confunde con la precisión. Multiplicar todos los valores de GG por una constante y dividir la precisión por la misma constante deja intactas las probabilidades. Interpretar un parámetro aislado exige, por tanto, fijar convenciones de escala. Una estimación numérica de apariencia exacta puede corresponder en realidad a la única combinación identificable de varios elementos.

La precisión tampoco equivale sin más a un neurotransmisor o a un estado clínico. Friston y colaboradores (2017) proponen que la dopamina codificaría esa precisión, apoyándose en su efecto multiplicativo sobre la selección entre políticas. Una propuesta de este tipo vincula una variable computacional con un mecanismo neural y, para sostenerse, debe generar predicciones adicionales sobre manipulación, curso temporal y especificidad. Un cambio conductual compatible con una mayor precisión admite otras explicaciones.

El aprendizaje de hábitos introduce dependencia de la historia. Una política utilizada repetidamente puede ganar peso aunque el ambiente haya cambiado. Para estudiar ese componente conviene separar la exposición previa, los resultados obtenidos y la disponibilidad de alternativas. Si todos varían a la vez, el modelo puede repartir su efecto entre preferencias, precisión y hábito de maneras igualmente compatibles con los datos.

423.11. Por qué la energía libre variacional no es calor

La energía libre de este capítulo es una función de distribuciones de probabilidad cuyos términos contienen logaritmos y divergencias. La energía libre termodinámica, por su parte, relaciona magnitudes físicas expresadas en unidades de energía, temperatura y entropía física bajo condiciones definidas. La semejanza formal o histórica entre ambas expresiones no establece una identidad operacional.

Multiplicar una cantidad informacional por constantes físicas puede darle unidades de energía, aunque la operación necesita un modelo que justifique la correspondencia. Sin ese modelo no puede inferirse consumo metabólico a partir de una reducción del objetivo variacional. Dos algoritmos que optimizan la misma función pueden tener costos físicos muy diferentes.

La implementación pesa en esta cuestión. Un procedimiento exacto que enumera muchas posibilidades y otro aproximado pueden alcanzar valores cercanos con tiempos y recursos distintos. La energía libre, entendida como objetivo, no especifica cuánto trabajo computacional ni cuánto gasto biológico exige alcanzarla. Esas preguntas corresponden al análisis del proceso implementado.

Debe distinguirse también la monotonía de una función durante una actualización diseñada para ello del comportamiento de un organismo abierto. Cuando una regla de actualización se construye como descenso sobre la energía libre con observaciones y parámetros fijos, la función disminuye por construcción. Si cambian las observaciones, los parámetros o las restricciones, la trayectoria puede dejar de ser monótona. Una variación empírica no debe interpretarse sin reconstruir qué objetivo y qué condiciones se están comparando.

El lenguaje termodinámico puede ser útil cuando existe una derivación física explícita. En este desarrollo los cálculos permanecen en el nivel probabilístico. Esa delimitación permite comprobarlos sin atribuirles consecuencias energéticas que no fueron modeladas.

423.12. Compromisos normativos, de proceso y empíricos

Una formulación normativa especifica qué haría un agente que optimiza un criterio bajo un modelo dado. Una teoría de proceso propone operaciones capaces de aproximar ese resultado. Una hipótesis empírica relaciona esas operaciones con la conducta o con la actividad biológica. La evidencia pertinente cambia de un nivel a otro.

Calcular una política óptima no demuestra que una persona la utilice. Del mismo modo, una trayectoria simulada que se parece a una señal neural no establece identidad de mecanismo. Avanzar requiere predicciones que distingan la propuesta de otras capaces de reproducir el mismo patrón.

Friston y colaboradores (2017) mostraron que una teoría de proceso podía generar, dentro de una arquitectura común, respuestas simuladas semejantes a fenómenos como la supresión por repetición, la negatividad de disparidad, la actividad de células de lugar o la acumulación de evidencia. Esa capacidad constructiva es relevante, aunque la amplitud de los fenómenos reproducidos no reemplaza a los contrastes específicos. Cada correspondencia exige examinar qué supuestos y qué parámetros fueron necesarios para obtenerla.

Una prueba puede fijar el modelo generativo y manipular la fiabilidad, el costo y la oportunidad de utilizar la información, para luego comparar predicciones prospectivas sobre políticas, tiempos y aprendizaje. Si distintas teorías producen las mismas probabilidades de elección, se necesitan medidas o manipulaciones adicionales, porque un resultado compartido no permite decidir entre ellas.

La revisión de una implementación debería dejar constancia de qué predicción falló y qué supuesto se modificó. Permitir que preferencias, estados ocultos y precisión se ajusten libremente después de cada resultado reduce la posibilidad de contraste. La flexibilidad del modelo debe acompañarse de restricciones procedentes de tareas independientes o de predicciones reservadas de antemano.

423.13. Un agente puede optimizar un modelo equivocado

La optimización del criterio no garantiza buenos resultados si el generador atribuye al sensor una fiabilidad incorrecta. Retomemos, como caso hipotético, la tarea de localizar una recompensa. El agente supone que la señal identifica el lugar correcto con probabilidad 0,90, mientras que el sensor real acierta solo con probabilidad 0,55. Con el costo fijado en la sección 423.9, la política de consultar y seguir la señal sigue siendo óptima para la representación interna, aunque su resultado real sea otro.

Con costo de consulta 0,15 y recompensa unitaria, el agente predice una utilidad esperada de 0,75. La utilidad real es 0,40, inferior al 0,50 que obtendría eligiendo directamente al azar. El error reside en la relación entre el modelo y el ambiente. Resolver con mayor exactitud el problema interno no lo corrige e incluso puede hacer más consistente una política desfavorable.

La diferencia también se refleja en la información mutua. El sensor supuesto aporta aproximadamente 0,36806 nats sobre un estado equiprobable, mientras que un sensor de fiabilidad 0,55 aporta apenas 0,00501 nats. La observación es casi aleatoria, aunque el agente la interprete como una señal fuerte. La información esperada que calcula el modelo debe distinguirse de la que el dispositivo transporta efectivamente.

Después de un resultado positivo, el agente asignaría probabilidad 0,90 al estado indicado, en tanto que un observador con el generador correcto asignaría 0,55. Esa discrepancia permite formular una prueba de calibración. Si los estados pueden conocerse posteriormente, se comparan las probabilidades declaradas con las frecuencias de acierto. Un modelo bien optimizado pero mal especificado puede mostrar una confianza elevada acompañada de errores sistemáticos.

La calibración necesita una referencia independiente. Si el estado correcto se define a partir de la misma señal que se pretende validar, el procedimiento se vuelve circular. En una tarea experimental puede controlarse la ubicación real de la recompensa. En una aplicación con estados clínicos latentes, la referencia suele ser más difícil de establecer y arrastra su propia incertidumbre, que debe figurar en el modelo de validación.

Puede introducirse incertidumbre sobre la fiabilidad en lugar de fijarla. Una distribución beta sobre la probabilidad de acierto se actualiza con resultados de calibración conocidos. Con una previa uniforme y ocho aciertos en diez ensayos, la posterior es una beta de parámetros nueve y tres. La probabilidad predictiva de acierto en una nueva observación es 0,75, cifra que incorpora la regularización ejercida por la previa y mantiene la incertidumbre sobre el parámetro.

a∼Beta⁡(1,1),a∣8 aciertos de 10∼Beta⁡(9,3),E[a∣datos]=0,75.a\sim\operatorname{Beta}(1,1),\qquad a\mid 8\text{ aciertos de }10\sim\operatorname{Beta}(9,3), \qquad \mathbb E[a\mid\text{datos}]=0{,}75.

Usar solo esa media predictiva puede bastar para algunas decisiones de un paso. Una planificación que contempla aprendizaje futuro, en cambio, necesita conservar la distribución completa. Dos sensores con igual media y distinta incertidumbre paramétrica pueden tener diferente valor de exploración. Observar el más incierto puede ayudar a decidir cuál conviene usar en muchas ocasiones posteriores.

También debe especificarse si la fiabilidad cambia con el tiempo. Una posterior concentrada a partir de datos antiguos puede reaccionar con lentitud ante una avería o un cambio de contexto. Un modelo estacionario acumula evidencia bajo el supuesto de que el mismo parámetro sigue vigente. Cuando ese supuesto deja de ser adecuado, puede ser necesario incorporar cambios de régimen o una dinámica del parámetro, lo que trae consigo costos adicionales de identificación.

La repetición de una señal no siempre aporta observaciones independientes. Si el mismo resultado se copia dos veces, tratar ambas copias como mediciones nuevas multiplica indebidamente las razones de verosimilitud. Con una señal de fiabilidad 0,90 y estados equiprobables, una observación favorable produce una probabilidad posterior de 0,90. Dos observaciones favorables realmente independientes la elevan a cerca de 0,98780, mientras que una copia exacta la deja en 0,90.

El propio agente puede generar esa dependencia mediante sus acciones. Consultar dos veces una fuente que reutiliza la misma medición difiere de consultar dos sensores independientes. La planificación debe representar qué información nueva produce cada acción. De lo contrario, una política repetitiva puede parecer muy informativa dentro del modelo cuando en realidad solo confirma el mismo dato.

Estas comprobaciones muestran cómo evaluar una implementación sin limitar la discusión a su principio general. Se puede contrastar si aprende la fiabilidad, si distingue la dependencia entre fuentes y si revisa sus creencias cuando cambia el ambiente. Un fallo en cualquiera de esas predicciones señala un componente concreto que requiere revisión. La optimización conserva su validez matemática dentro del modelo, mientras que la explicación empírica depende de que ese modelo represente adecuadamente la tarea.

Un diseño de evaluación puede reservar bloques con una fiabilidad distinta de la aprendida al comienzo y anunciar o no ese cambio a los participantes. La comparación separa la adaptación a los resultados de la actualización guiada por una instrucción contextual. El modelo debe anticipar la influencia de ambas fuentes antes de ajustarse al bloque reservado. Si necesita una preferencia nueva para explicar cada cambio de fiabilidad, es posible que esté usando el objetivo para absorber un problema del generador. Examinar los residuos de elección y de confianza ayuda a localizar esa compensación, siempre que ambas medidas cuenten con reglas de observación bien definidas.

423.14. Límites de la transferencia clínica

Las variables del ejemplo describen estados de una tarea y preferencias sobre resultados definidos. Vincularlas con síntomas exige demostrar que la tarea captura una operación pertinente y que el parámetro conserva su significado de una condición a otra. Una dificultad clínica compleja no queda identificada por una menor búsqueda de información o por una elección repetitiva.

Una misma conducta puede depender de la fatiga, de la comprensión de la tarea, de costos externos o de la experiencia previa. Un modelo puede incorporar algunas de estas variables, pero no debería atribuir automáticamente sus efectos a una alteración de la inferencia. Las mediciones complementarias ayudan a delimitar el mecanismo que se investiga.

Una aplicación útil puede formular predicciones individuales y comprobarlas de manera prospectiva. Si un parámetro estimado anticipa la respuesta a una manipulación de la tarea, gana validez dentro de ese dominio. Para apoyar decisiones terapéuticas debe demostrar, además, utilidad frente a alternativas y en resultados clínicos pertinentes.

La inferencia activa ofrece un lenguaje para relacionar observación, acción y preferencias. Su evaluación depende de modelos concretos, de cálculos reproducibles y de pruebas que puedan resultar desfavorables para la propuesta. El ejemplo desarrollado deja ver qué puede demostrarse matemáticamente y qué debe seguir tratándose como hipótesis sobre organismos reales.

Referencias

  • Da Costa, L., Parr, T., Sajid, N., Veselic, S., Neacsu, V. y Friston, K. J. (2020). Active inference on discrete state-spaces: A synthesis. Journal of Mathematical Psychology, 99, 102447. DOI.
  • Friston, K. (2010). The free-energy principle: A unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138. DOI.
  • Friston, K., FitzGerald, T., Rigoli, F., Schwartenbeck, P. y Pezzulo, G. (2017). Active inference: A process theory. Neural Computation, 29(1), 1–49. DOI.
  • Kaelbling, L. P., Littman, M. L. y Cassandra, A. R. (1998). Planning and acting in partially observable stochastic domains. Artificial Intelligence, 101(1–2), 99–134. DOI.