Módulo 26. Agentes adaptativos y aprendizaje
252.1. Una decisión requiere un procedimiento
Decidir exige más que comparar consecuencias ya conocidas. Antes de elegir, un agente debe descubrir alternativas, obtener información, representar resultados y ejecutar algún procedimiento de comparación. Cada operación puede consumir tiempo, atención, energía o dinero. Un modelo que entrega gratuitamente todas las opciones y sus consecuencias describe una situación distinta de otra donde el agente debe buscarlas mientras el ambiente sigue cambiando.
La racionalidad limitada estudia la decisión teniendo en cuenta esas restricciones. Simon propuso reemplazar una descripción de elección globalmente idealizada por mecanismos compatibles con la información y las capacidades de cálculo disponibles [1]. Su planteamiento invita a especificar qué problema podía resolver el agente y mediante qué proceso, sin implicar que toda conducta observada sea adecuada ni que comparar resultados carezca de sentido.
Consideremos a una persona que debe seleccionar un proveedor antes de que termine la jornada. Puede contactar empresas, revisar antecedentes y comparar precios, pero cada consulta demora. La mejor oferta existente puede quedar fuera de su alcance en el tiempo disponible. Si termina eligiendo una opción inferior a otra que desconocía, todavía falta preguntar si habría sido razonable pagar el costo de descubrirla.
Conviene distinguir el conjunto real de alternativas, el conjunto conocido por el agente y el conjunto que alcanza a evaluar. Un investigador que observa todos los resultados después de la elección tiene una ventaja retrospectiva. Juzgar el procedimiento como si esa información hubiera estado disponible antes introduce una comparación injustificada.
La limitación tampoco reside únicamente en la cabeza del agente. Formularios confusos, información fragmentada, plazos breves y plataformas que ordenan opciones condicionan la búsqueda. Dos personas con capacidades similares pueden decidir de manera diferente porque enfrentan estructuras de información distintas. Una explicación adecuada conecta el procedimiento individual con el ambiente donde opera.
Usaremos ejemplos numéricos pequeños para separar incertidumbre, costos y cálculo; con ellos veremos qué cambia cuando la búsqueda se vuelve parte del problema. No describen preferencias universales ni permiten inferir la racionalidad de una persona a partir de una sola elección.
La pregunta central será procedimental. ¿Qué regla selecciona el agente, qué información usa y cuándo deja de buscar? Responderla permite comparar decisiones sin exigir omnisciencia y sin convertir las restricciones en una explicación que acomode cualquier resultado.
252.2. Información ausente, incertidumbre y cálculo costoso
No conocer un resultado puede significar varias cosas. Podemos conocer una distribución de probabilidades y desconocer qué evento ocurrirá. Podemos ignorar los parámetros de esa distribución. Podemos no haber considerado una alternativa relevante. También podemos disponer de datos suficientes pero carecer del tiempo necesario para procesarlos. Estos problemas requieren intervenciones distintas.
Supongamos dos rutas. La primera tarda siempre veinte minutos. La segunda tarda diez o cuarenta, con probabilidades conocidas de cuatro quintos y un quinto. Su duración media es dieciséis minutos, pero hay riesgo de un retraso importante. Elegir la primera puede responder a una preferencia por evitar llegar tarde, aunque su promedio sea mayor. No necesitamos atribuir un error de cálculo para explicar esa elección.
Ahora eliminemos el conocimiento de las probabilidades. El agente solo ha recorrido la segunda ruta tres veces. Debe estimar la frecuencia de retrasos y reconocer que su muestra es pequeña. La decisión incorpora incertidumbre sobre el modelo, además de la variabilidad de los viajes. Informarle el promedio histórico de miles de recorridos modifica el problema de información, aunque su actitud frente al riesgo puede seguir igual.
Una tercera situación presenta miles de rutas posibles con transbordos, cierres y horarios. El agente podría conocer las reglas, pero encontrar la mejor combinación exige cálculo. Un procedimiento que examina un subconjunto y elige una ruta aceptable puede resultar útil aunque no garantice el óptimo global. Aquí el límite principal es el costo de explorar combinaciones.
Debemos distinguir además una observación inaccesible de otra deliberadamente ignorada. Si consultar un dato cuesta más de lo que podría mejorar la decisión, omitirlo puede ser razonable dentro de un criterio definido. Si el dato se oculta sin que el agente pueda solicitarlo, hablamos de una restricción diferente. Ambas situaciones pueden producir la misma elección, pero sugieren intervenciones distintas.
El análisis de recursos propone evaluar procedimientos según sus resultados y sus costos de cómputo, bajo una arquitectura especificada [3]. Es un marco para comparar estrategias y formular hipótesis que después deben contrastarse, sin demostrar que todos los agentes optimicen explícitamente sus recursos.
Una descripción rigurosa declara qué sabe el agente, qué puede consultar y cuánto cuesta cada operación. Sin esa información, términos como impulsividad, simplificación o irracionalidad pueden mezclar mecanismos diferentes. La explicación mejora cuando una etiqueta general se sustituye por una secuencia concreta de observaciones y decisiones.
252.3. Buscar hasta encontrar una opción aceptable
Una regla de satisfacción fija un nivel de aspiración y detiene la búsqueda cuando aparece una alternativa que lo alcanza. Su ventaja es que evita comparar exhaustivamente todas las opciones. El resultado depende del umbral, del orden de presentación, de la distribución de alternativas y del costo de seguir buscando. Una regla sencilla puede funcionar bien en un ambiente y mal en otro.
Supongamos que cada consulta independiente revela una oferta cuyo valor para el agente es dos u ocho, con probabilidades iguales. Consultar cuesta una unidad. El agente puede aceptar la oferta observada y terminar, o rechazarla y consultar otra. No hay límite de consultas ni descuento temporal adicional; el valor de una oferta no cambia mientras se decide.
Una regla acepta cualquier oferta. Hace exactamente una consulta, obtiene valor medio cinco y paga costo uno. Su resultado neto esperado es cuatro. Otra regla rechaza todas las ofertas de valor dos y acepta la primera de valor ocho. El número de consultas tiene distribución geométrica con probabilidad de éxito de un medio y media dos. El resultado neto esperado es seis.
La segunda regla mejora el resultado esperado en este escenario, pero introduce variabilidad en el tiempo de búsqueda. La probabilidad de necesitar más de cinco consultas es . Si existe un plazo estricto, una regla definida para horizonte ilimitado puede ser inadecuada.
Con un costo de cuatro unidades por consulta, aceptar la primera oferta da resultado medio uno. Esperar hasta encontrar ocho produce valor ocho menos costo esperado ocho, es decir, cero. El umbral alto deja de ser ventajoso. La conveniencia de exigir siempre la mejor categoría observada depende de cuánto cuesta perseverar.
Podemos verificar la comparación con una ecuación sencilla. Antes de consultar, si esperamos hasta encontrar ocho, el valor neto satisface . Por tanto, . Aceptar una oferta baja después de haber pagado la consulta produce dos unidades; continuar resulta preferible cuando el valor futuro supera dos, es decir, cuando el costo es menor que tres.
Esta condición usa los supuestos declarados de ofertas independientes, distribución conocida, horizonte ilimitado y posibilidad de repetir la búsqueda. Si las ofertas se agotan, si hay memoria de opciones anteriores o si las consultas modifican los precios, debemos rehacer el cálculo. Una regla de parada pertenece a un problema específico.
252.4. Aspiraciones que cambian con la experiencia
Un umbral de aceptación no tiene por qué ser constante. El agente puede elevarlo después de encontrar buenas alternativas y reducirlo cuando la búsqueda resulta infructuosa. Esta modificación introduce aprendizaje sobre el ambiente o ajuste de expectativas. Para analizarla necesitamos distinguir el valor de las ofertas, la creencia sobre lo que puede encontrarse y el nivel que el agente considera suficiente.
En el ejemplo anterior, cualquier umbral situado entre dos y ocho lleva a rechazar ofertas bajas y aceptar altas; mientras solo existan esas dos categorías, esos umbrales internos son observacionalmente equivalentes. Sin información adicional o sin ampliar el conjunto de ofertas, sería imposible estimar un valor exacto del umbral a partir de elecciones binarias.
Si añadimos ofertas de valor cinco, un umbral de cuatro y uno de seis generan decisiones diferentes. El diseño experimental gana capacidad para distinguir mecanismos porque presenta alternativas cerca de la región donde las reglas divergen. Observar solo opciones extremas puede ocultar diferencias importantes entre agentes.
Una regla adaptativa podría reducir el umbral en una unidad después de tres rechazos consecutivos. Es un algoritmo concreto, pero su conveniencia debe evaluarse. En un ambiente con ofertas altas infrecuentes, la reducción evita búsquedas prolongadas. En otro donde una buena oferta está a punto de aparecer por una estructura predecible, puede inducir aceptación prematura.
El tiempo restante también puede modificar la aspiración. Si una decisión debe terminar después de cinco consultas, el costo de rechazar la última oferta es distinto del costo de rechazar la primera. Una política coherente con ese horizonte puede aceptar al final opciones que habría rechazado al comienzo. La inconsistencia aparente desaparece cuando el estado incluye el número de oportunidades restantes.
Sin embargo, no toda variación temporal es una respuesta adecuada al plazo. Fatiga, distracción o interpretación cambiante de la tarea también pueden influir. Explicar una trayectoria requiere comparar modelos de umbral, creencias y costos, sin atribuir automáticamente toda reducción de exigencia a una estrategia funcional.
Simon analizó cómo la estructura del ambiente condiciona el funcionamiento de los mecanismos de elección [2]. En el ejemplo, la misma regla de aspiración produce resultados distintos si cambian la distribución de opciones, el orden de encuentro o las oportunidades de continuar. Evaluar una regla aislada de su ambiente elimina parte del problema que pretendíamos comprender.
Un registro útil conserva ofertas rechazadas, tiempo transcurrido, consultas realizadas y alternativa finalmente elegida. Aislado, el resultado final informa poco sobre el proceso de búsqueda que lo produjo. También conviene registrar las opciones que el agente podía volver a consultar, porque recordar una oferta no garantiza que siga disponible.
252.5. Cuánto vale obtener información
El valor de una información depende de si puede cambiar una acción y mejorar sus consecuencias. Una señal muy precisa puede ser irrelevante para una decisión; otra modesta puede resultar decisiva cerca de un umbral. No conviene equiparar cantidad de datos con utilidad. Debemos considerar a la vez señal, creencias, acciones disponibles y función de pérdida.
Supongamos dos estados del ambiente, rojo y azul, inicialmente igual de probables. Hay dos acciones, una apropiada para cada estado. Acertar produce diez unidades y equivocarse produce cero. Sin señal adicional, cualquier acción fija tiene valor esperado cinco. Una señal que identifica correctamente el estado con probabilidad de cuatro quintos, de manera simétrica, permite obtener valor esperado ocho si seguimos su indicación.
El aumento esperado de valor es tres. Si consultar la señal cuesta dos, su valor neto adicional es uno. Si cuesta cuatro, resulta desfavorable bajo estos supuestos. El cálculo compara una decisión informada con la mejor decisión disponible antes de adquirir la información.
La simetría simplifica el ejemplo. Si el estado rojo tiene probabilidad inicial muy alta, una señal moderadamente fiable puede no cambiar la acción óptima después de ciertas respuestas. En ese caso, la exactitud global del clasificador es insuficiente para calcular su utilidad; hacen falta las probabilidades condicionales y los costos de cada error.
La información perfecta fija un límite superior útil. En nuestro ejemplo permitiría acertar siempre y elevar el valor de cinco a diez, de modo que ninguna señal puede añadir más de cinco unidades antes de costos. Pagar seis por cualquier consulta sería incompatible con maximizar el valor esperado en este problema. El límite permite descartar opciones sin resolver todos sus detalles.
El uso repetido también puede importar. Una observación que no cambia la decisión actual podría actualizar creencias relevantes para decisiones futuras. Su valor total incluye ese efecto si el horizonte contempla varias oportunidades. Confundir una elección aislada con un proceso de aprendizaje puede llevar a descartar información que sí resulta útil a largo plazo.
Los costos no son necesariamente monetarios. Una consulta puede demorar una respuesta urgente, exigir atención o revelar información privada. Para incorporarlos debemos declarar cómo se comparan con las consecuencias de la decisión. Si no existe una escala común aceptable, fabricar una única cifra de utilidad puede ser peor que mostrar varios criterios.
El análisis formal permite preguntar con precisión qué decisiones cambiarían, con qué frecuencia y con qué beneficio. También muestra qué datos faltan para valorar una señal. Esa transparencia es más útil que recomendar siempre más información.
252.6. Heurísticas y condiciones de funcionamiento
Una heurística es un procedimiento que simplifica la resolución de un problema. Puede reducir alternativas, usar pocas señales o detener el cálculo antes de explorar todas las posibilidades. Su desempeño debe estudiarse en función de la estructura del ambiente. La simplicidad de una regla no demuestra ni su inferioridad ni su adecuación.
Consideremos una selección con dos criterios, calidad y costo. Una regla lexicográfica compara primero calidad y solo consulta costo si las calidades empatan. Otra calcula una puntuación que combina ambos criterios. La primera puede funcionar bien si diferencias mínimas de calidad tienen prioridad absoluta. Puede fallar si una pequeña mejora de calidad no justifica un costo enorme.
La regla ponderada tampoco es una solución automática. Requiere escalas comparables y pesos que representen el objetivo. Si las medidas de calidad son ruidosas o los pesos están mal estimados, una combinación sofisticada puede amplificar errores. Una comparación justa considera datos disponibles, incertidumbre y costos de implementación.
En un caso concreto, la primera de dos ofertas tiene calidad nueve y costo nueve; la segunda, calidad ocho y costo dos. La regla que prioriza calidad elige la primera. Una puntuación de calidad menos costo asigna cero a la primera y seis a la segunda. Ninguna elección es correcta sin especificar el criterio que debe representar. El desacuerdo se explica por objetivos distintos, sin recurrir a diferencias de capacidad cognitiva.
Una heurística también puede sacar partido de la redundancia. Si varias señales están fuertemente correlacionadas y una es barata, consultar esa señal puede capturar gran parte de la información útil. Si las señales hacen contribuciones independientes, ignorarlas puede ser costoso. La estructura de dependencias determina cuánto se pierde al simplificar.
Para evaluar un procedimiento conviene probarlo en ambientes donde sus supuestos implícitos se cumplen y en otros donde se rompen. Una regla diseñada para opciones ordenadas por calidad puede fracasar si el orden refleja publicidad. Una estrategia que confía en la experiencia reciente puede funcionar en un ambiente cambiante y reaccionar excesivamente al ruido en uno estable.
El resultado de esta comparación no debería ser una etiqueta permanente para el agente. Una misma persona puede usar procedimientos diferentes según tiempo, familiaridad y consecuencias. La unidad de análisis útil es la combinación de tarea, información y regla utilizada.
Cuando un modelo atribuye una heurística a datos humanos, debe predecir algo más que la elección final, porque varias estrategias pueden producir la misma respuesta en una colección limitada de problemas. Orden de consulta, tiempos de respuesta y sensibilidad a señales ignoradas pueden ayudar a distinguirla de otras reglas.
252.7. Pensar también puede ser una acción
Podemos representar una operación de cálculo como una acción interna. Simular una consecuencia, recuperar un recuerdo o comparar dos opciones consume recursos y puede modificar la información disponible. La decisión incluye entonces dos niveles, actuar sobre el mundo o hacer otra operación que ayude a decidir. Esta formulación permite estudiar cuándo conviene detener la deliberación.
Imaginemos que el agente puede resolver una duda mediante un cálculo adicional. Antes de calcular, estima que ese resultado cambiaría su elección en una cuarta parte de los casos y que, cuando la cambia, evitaría una pérdida de ocho unidades. Si estos valores resumen correctamente las consecuencias, el beneficio esperado es dos. Un costo de cálculo menor que dos favorece hacerlo; un costo mayor favorece actuar inmediatamente.
La multiplicación es sencilla porque hemos especificado un único cálculo y su efecto esperado. En problemas reales, valorar una operación puede requerir otra operación costosa. No resolvemos esa dificultad suponiendo que el agente dispone gratuitamente de todos los valores de cómputo. Un modelo debe declarar qué aproximaciones usa para seleccionar operaciones internas.
El análisis de recursos de Lieder y Griffiths propone estudiar la cognición considerando restricciones computacionales y costos de procedimientos [3]. Como programa de modelado, tiene contenido empírico solo si las restricciones y los costos limitan las predicciones; de lo contrario, cualquier error podría declararse óptimo bajo alguna restricción imaginable.
Una comparación informativa mantiene esos supuestos estables entre condiciones. Si el tiempo disponible disminuye, el modelo puede predecir menos consultas y mayor uso de una regla simple. Si luego se ajustan libremente costos, creencias y objetivos para cada respuesta, el modelo pierde capacidad de ser refutado. La flexibilidad descriptiva debe equilibrarse con restricciones identificables.
Conviene distinguir también el costo de deliberar del costo de esperar. Un cálculo puede requerir poco esfuerzo pero demorar una acción cuyo valor disminuye rápidamente. Otra tarea puede permitir horas de espera, aunque resulte mentalmente exigente. Ambos costos favorecen detenerse, pero responden a intervenciones distintas.
El agente puede aprender qué operaciones suelen ser útiles. Con experiencia, quizá deje de revisar una señal que raramente cambia su decisión y concentre recursos en otra. Este aprendizaje sobre procedimientos conecta la racionalidad limitada con la adaptación del capítulo anterior. Además de la preferencia entre acciones externas, cambia la organización de la búsqueda.
Un modelo completo debe registrar qué operaciones fueron posibles, cuáles se ejecutaron y qué información produjeron. Sin esa secuencia, una elección rápida puede confundirse con falta de interés cuando en realidad refleja experiencia o una estructura de tarea sencilla.
252.8. Límites individuales y organización colectiva
Las organizaciones distribuyen decisiones entre personas, rutinas y herramientas. Esa distribución puede ampliar capacidades, pero también crear pérdidas de información y problemas de coordinación. Al reunir muchos agentes, la racionalidad limitada cambia de forma sin desaparecer. Importan la división de tareas, los canales de comunicación y las reglas para integrar resultados parciales.
Supongamos que tres evaluadores revisan aspectos distintos de una oferta. Uno conoce calidad, otro costo y otro disponibilidad. Si pueden comunicar datos completos y existe un criterio acordado, la división puede ahorrar tiempo. Si cada evaluador transmite solo una recomendación de aceptar o rechazar, se pierde información sobre intensidad y compensaciones.
Un voto mayoritario tampoco equivale automáticamente a maximizar una utilidad compartida. Dos evaluadores podrían registrar ventajas pequeñas y uno una desventaja enorme. La mayoría favorece aceptar, aunque una suma de consecuencias bien definida favoreciera rechazar. La discrepancia depende de cómo se agregan juicios y de qué significado tienen.
La especialización puede producir filtros útiles. Un requisito de seguridad puede excluir una opción antes de que se inviertan recursos en calcular su costo. Si el filtro usa una señal poco fiable, en cambio, también puede eliminar alternativas valiosas. Debemos evaluar sensibilidad, especificidad y consecuencias de los errores dentro del procedimiento completo.
Las herramientas modifican restricciones. Una tabla clara puede reducir errores de comparación; una búsqueda automatizada puede ampliar el conjunto de opciones. Sin embargo, una interfaz que ordena alternativas por un criterio oculto también modifica qué se considera primero y cuándo se detiene la búsqueda. La arquitectura de información forma parte del mecanismo de decisión.
Una intervención organizativa puede ser más efectiva que pedir a cada individuo que calcule mejor. Cambiar un formulario, reducir duplicación de consultas o establecer una regla de revisión independiente altera el costo de obtener información. El efecto debe evaluarse sobre resultados y distribución de cargas, porque ahorrar tiempo a un equipo puede trasladar trabajo a otro.
No conviene confundir adaptación organizativa con aprendizaje de todos sus miembros. Una rutina puede persistir aunque cambie el personal. Una mejora puede proceder de reorganizar tareas sin modificar capacidades individuales. También puede desaparecer cuando se pierde conocimiento informal que nunca quedó incorporado al procedimiento.
El análisis necesita identificar dónde reside la memoria, sea en personas, documentos, software o relaciones entre equipos. Esa localización determina qué ocurre ante reemplazos, interrupciones y cambios de contexto. Comprender una decisión colectiva requiere seguir el recorrido de la información, además de observar quién firma el resultado.
252.9. Diseñar pruebas que separen explicaciones
Para estudiar racionalidad limitada debemos construir condiciones donde diferentes mecanismos produzcan predicciones distintas. Una elección aislada suele ser compatible con varias explicaciones (preferencias, información, costos, errores de percepción o reglas de búsqueda). Un experimento útil modifica selectivamente alguno de estos componentes y observa el proceso.
Retomemos las ofertas de valor dos u ocho y variemos el costo de consulta entre una y cuatro unidades, con la distribución fija. Una estrategia sensible al costo debería modificar su disposición a continuar; una regla rígida que siempre espera ocho no cambiaría. La comparación permite distinguir ambas sin atribuir de antemano superioridad psicológica a una de ellas.
Después podemos fijar un máximo de consultas. Si el agente incorpora el horizonte, su umbral podría reducirse cerca del final. Si mantiene un nivel de aspiración constante, las decisiones deberían depender menos del tiempo restante. Registrar ofertas rechazadas permite evaluar estas predicciones mejor que registrar solo la opción aceptada.
Otra intervención cambia el orden de presentación manteniendo idéntico el conjunto de alternativas. Una regla que acepta la primera opción suficiente será sensible al orden. Un procedimiento que examina todas y elige según una puntuación fija será menos sensible, siempre que disponga de tiempo y recuerde correctamente los datos. La diferencia informa sobre búsqueda y memoria.
También podemos hacer gratuita una señal previamente costosa. Si aumenta su uso, eso es compatible con sensibilidad al costo, pero no prueba una optimización exacta. Hay que examinar cuánto cambia la conducta, si mejora el resultado y si otras variables permanecen comparables. La intervención puede modificar también la atención o la interpretación de la tarea.
Los modelos deben compararse en datos nuevos. Ajustar un umbral y una tasa de actualización a una secuencia permite describirla; predecir otra secuencia evalúa transferencia. Conviene reservar condiciones donde las alternativas compitan de manera informativa, porque en los casos fáciles todos los modelos coinciden.
La incertidumbre de parámetros debe acompañar las conclusiones. Si varios umbrales producen exactamente las mismas elecciones, un valor puntual preciso es engañoso. Podemos informar un intervalo compatible o reconocer falta de identificación. Una descripción menos contundente puede representar mejor lo que los datos permiten afirmar.
Finalmente, el análisis debe separar el desempeño respecto de la información disponible del desempeño respecto del conocimiento retrospectivo. Ambos pueden interesar, pero responden a preguntas diferentes. El primero evalúa un procedimiento realizable; el segundo mide la distancia a un referente ideal que quizá ningún agente podía alcanzar en ese momento.
252.10. Racionalidad como relación entre problema y recursos
La racionalidad limitada exige describir la información, las operaciones posibles, los costos y las condiciones ambientales. Solo entonces podemos evaluar si una regla resulta adecuada, qué pierde al simplificar y qué intervención podría mejorarla. Esa exigencia no excusa los errores en general ni equivale a una teoría única de toda decisión.
El ejemplo de búsqueda mostró que un umbral exigente puede ser ventajoso cuando consultar es barato y perjudicial cuando es caro. En el de información vimos que el valor de una señal depende de su capacidad de mejorar decisiones y que su precisión aislada no lo determina. Los ejemplos de cálculo y de organización mostraron que obtener y procesar conocimiento también forman parte del problema.
Estas conclusiones distinguen niveles de análisis. Una elección puede maximizar una función conocida dentro de un conjunto limitado de opciones. Un procedimiento puede ser conveniente en promedio y equivocarse en un caso particular. Una organización puede mejorar resultados agregados mientras distribuye de manera desigual los costos de búsqueda. Ninguna descripción sustituye automáticamente a las otras.
En modelos de agentes, incorporar límites exige más que añadir ruido aleatorio a una política ideal. Puede ser necesario representar búsqueda parcial, memoria, aspiraciones, señales costosas o acceso desigual a alternativas. El mecanismo elegido debe corresponder a la pregunta. Un término de ruido, aislado, puede resumir la variabilidad residual, pero no explica de dónde procede.
Tampoco debemos convertir una comparación normativa en una afirmación psicológica. Que una regla de parada sea óptima bajo ciertos supuestos no demuestra que una persona resuelva esa ecuación. Puede usar un procedimiento diferente que coincida en las condiciones observadas. La evidencia sobre mecanismos requiere predicciones del proceso y pruebas que distingan alternativas.
Para construir un agente adaptativo, la pregunta siguiente es cómo cambia su conducta después de experimentar consecuencias. Puede aprender qué opciones suelen ser suficientes, cuánto conviene buscar o qué acciones producen mejores resultados. El aprendizaje por refuerzo es una formulación particular de ese problema, centrada en interacción, recompensa y consecuencias acumuladas.
Limitar la información y el cálculo define el escenario donde se aprende, pero no determina la regla de aprendizaje. Dos agentes igualmente limitados pueden actualizar de manera distinta y desarrollar conductas diferentes. En el capítulo siguiente especificaremos una de esas reglas y examinaremos qué información usa realmente.
Referencias
[1] Simon, H. A. (1955). A behavioral model of rational choice. The Quarterly Journal of Economics, 69(1), 99–118. DOI.
[2] Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129–138. DOI.
[3] Lieder, F., y Griffiths, T. L. (2020). Resource-rational analysis: Understanding human cognition as the optimal use of limited computational resources. Behavioral and Brain Sciences, 43, e1. DOI.