¿Qué se adapta? Estados, parámetros, estrategias y reglas

Módulo 26. Agentes adaptativos y aprendizaje

251.1. Cambiar no basta para hablar de adaptación

Un sistema puede cambiar intensamente sin modificar su manera de responder. Un péndulo recorre posiciones diferentes mientras conserva, dentro de una aproximación, sus parámetros mecánicos. Un autómata celular produce configuraciones nuevas aplicando la misma tabla local. Una población puede desplazarse entre regiones sin que sus individuos aprendan nada. Por eso, para atribuir adaptación a una trayectoria variable hay que identificar qué componente cambia, mediante qué información y con qué consecuencias para una tarea especificada.

En este módulo llamaremos adaptación, de manera operativa, a una modificación de la organización de la respuesta que depende de la experiencia o de procesos de selección y altera el desempeño bajo ciertas condiciones. Esta definición no convierte toda modificación en una mejora. Un procedimiento adaptativo puede responder demasiado lentamente, aprender regularidades espurias o mejorar un indicador mientras perjudica otro. El término designa un mecanismo y una relación con el entorno; su éxito requiere una evaluación adicional.

Holland situó la modificación y combinación de reglas entre los problemas centrales de los sistemas adaptativos complejos. Esa perspectiva invita a preguntar por la persistencia de estructuras útiles y por la generación de alternativas, sin reducir todos los casos a un único algoritmo [1]. Aquí desarrollaremos una distinción de trabajo entre estados, parámetros, estrategias y reglas de actualización. Es una herramienta para describir modelos, sin pretensión ontológica; no tiene por qué permanecer idéntica en todas las escalas.

Consideremos un agente que estima la demanda de agua de un depósito. Cada tarde observa cuántas unidades se consumieron y prepara una previsión para el día siguiente. Su reserva actual es un estado físico. Su estimación de consumo es una variable interna. La regla que transforma esa estimación en una cantidad solicitada es una estrategia de decisión. El procedimiento que revisa la estimación después de observar el consumo es una regla de aprendizaje.

Si aumenta la reserva porque llega un camión, cambió el estado del depósito. Si el agente eleva su previsión después de varios días de consumo elevado, cambió una representación que influye en decisiones posteriores. Si abandona el criterio de cubrir la media y empieza a protegerse frente a consumos extremos, cambió el criterio de decisión. Los tres acontecimientos pueden producir una solicitud mayor, aunque sus mecanismos sean distintos.

La pregunta científica comienza cuando estas posibilidades se separan. ¿Qué observación permitiría distinguir una reserva escasa de una previsión revisada? ¿Qué intervención revelaría si cambió la sensibilidad al riesgo? ¿Cuánto tiempo persiste la modificación cuando desaparece la experiencia que la produjo? Para responder hay que describir variables y transiciones; una sola conducta no autoriza a atribuir una capacidad general de adaptación.

251.2. Estados ampliados y fronteras de la descripción

Podemos representar un sistema mediante un estado externo $x_t$, una memoria interna $m_t$, unos parámetros ajustables $\theta_t$ y una acción $a_t$. La acción depende de lo que el agente observa y conserva, mientras que el entorno cambia después de recibirla. Una escritura esquemática es

La letra $\xi_t$ denota perturbaciones y $r_{t+1}$ una señal de resultado. No todas las aplicaciones necesitan recompensa numérica, ni todos los parámetros se actualizan en cada paso. La utilidad de esta notación es obligarnos a distinguir el proceso físico, la información disponible, la respuesta y la modificación que permitirá responder de otra manera en el futuro.

Desde una perspectiva matemática amplia, tanto la memoria como los parámetros pertenecen al estado del sistema ampliado. Si conocemos todas sus variables relevantes, una actualización de parámetros es otra transición de estado, de modo que decir que un parámetro aprende no contradice que forme parte del estado. La primera descripción atiende a su función; la segunda busca una representación dinámica suficientemente completa.

La distinción funcional tiene consecuencias en el diseño de experimentos. Una variable de posición puede cambiar miles de veces sin alterar el mapa que relaciona observación y acción. Un parámetro de ese mapa puede permanecer fijo durante muchas decisiones y cambiar después de una evaluación. Aunque ambas variables sean coordenadas del estado ampliado, congelar una u otra produce intervenciones diferentes, que responden preguntas diferentes.

Tampoco debe confundirse parámetro del agente con parámetro desconocido por el investigador. La tasa de aprendizaje puede ser constante para el agente y desconocida para quien analiza sus decisiones. Estimarla a partir de datos modifica el conocimiento del investigador; el funcionamiento del agente puede seguir siendo el mismo. A la inversa, un agente puede ajustar su tasa mientras el investigador registra ese ajuste sin incertidumbre.

La frontera entre agente y entorno también es una elección de modelado. Un cuaderno puede representarse como memoria externa de una persona o como parte de su arquitectura cognitiva ampliada. Una plataforma puede incorporar un recomendador como componente interno o tratarlo como servicio ajeno. Cambiar la frontera no elimina las relaciones causales, pero modifica qué variables clasificamos como observaciones, acciones o estados internos.

Una descripción útil declara esa frontera y sus exclusiones. Si el agente aprende únicamente de consumos observados, no puede ajustar su previsión usando demanda futura verdadera. Si recibe información de otro agente, hay que especificar cuándo llega y con qué error. Un modelo que concede información inaccesible puede parecer extraordinariamente adaptativo porque resuelve un problema diferente del que pretendíamos estudiar.

251.3. Un estimador que conserva una historia comprimida

Construyamos un ejemplo completamente especificado. El agente observa un consumo $y_t$ y actualiza su previsión mediante una media exponencial. Para evitar ambigüedad temporal, $q_t$ es la previsión disponible antes de observar el consumo del paso siguiente, de modo que

La diferencia entre consumo y previsión es un error de predicción. La tasa $\alpha$ determina qué proporción de ese error se incorpora. Con una tasa de un cuarto, la previsión nueva conserva tres cuartas partes de la anterior y añade una cuarta parte de la observación reciente. El agente no necesita almacenar todas las observaciones, aunque su estimación contiene una influencia decreciente de ellas.

Supongamos previsión inicial de diez unidades y un cambio permanente del consumo a catorce, sin ruido. Con $\alpha=1/4$, las cuatro primeras previsiones actualizadas son 11; 11,75; 12,3125 y 12,734375. Cada valor se obtiene del anterior; por ejemplo, la segunda actualización añade una cuarta parte de la diferencia entre catorce y once. Mantener explícito este orden evita confundir una secuencia de aprendizaje con cuatro ajustes separados que parten del mismo conocimiento.

En general, después de $k$ observaciones nuevas la previsión será $14-4(3/4)^k$. El error absoluto será $4(3/4)^k$. Se reduce de forma geométrica porque cada actualización conserva tres cuartas partes del error anterior. Para que quede por debajo de una unidad hacen falta cinco observaciones, ya que después de cuatro todavía es aproximadamente 1,266 y después de cinco baja a aproximadamente 0,949.

¿Qué se adaptó? Cambió la estimación interna, mientras que la tasa de aprendizaje y la regla de actualización permanecieron fijas. Si la solicitud de agua coincide con la previsión, las acciones cambian como consecuencia del ajuste. Si existe una restricción que redondea toda solicitud a múltiplos de cinco, varias modificaciones internas pueden no producir ningún cambio observable en la cantidad solicitada.

El ejemplo permite separar aprendizaje y expresión conductual. Dos agentes con estimaciones distintas pueden elegir la misma acción debido al redondeo, a límites de capacidad o a una regla de decisión poco sensible. También pueden elegir acciones distintas con una estimación idéntica si aplican criterios diferentes. Inferir un estado interno directamente de una conducta requiere examinar esas transformaciones intermedias.

La trayectoria calculada demuestra seguimiento de un cambio bajo supuestos sencillos. No demuestra que la tasa elegida sea óptima, que el consumo real siga un proceso constante por tramos o que el agente comprenda las causas de la demanda. Es un mecanismo mínimo cuya transparencia permite formular preguntas más precisas.

251.4. Responder rápido y conservar información

Una tasa grande permite reaccionar con rapidez, pero también amplifica la influencia de observaciones accidentales. Una tasa pequeña conserva más historia y suaviza fluctuaciones, aunque puede retrasar la respuesta a un cambio persistente. Este compromiso aparece incluso en nuestro estimador elemental y ayuda a explicar por qué una modificación intensa no equivale automáticamente a una adaptación mejor.

Supongamos ahora consumos independientes con media constante $\mu$ y varianza $\sigma^2$. Si la tasa es fija y la observación nueva es independiente de la estimación previa, la varianza estacionaria de la previsión satisface una recursión lineal. Al resolverla obtenemos

Con tasa de un cuarto, la varianza de la previsión es una séptima parte de la varianza de las observaciones. Con tasa de un medio, es una tercera parte. La segunda opción sigue antes un cambio, pero fluctúa más cuando el consumo realmente permanece estable. Estas varianzas miden la incertidumbre de la estimación; el error al predecir la observación siguiente incluye además la variabilidad irreducible del consumo.

Si la media verdadera es conocida como constante, conservar información suele ser ventajoso. Si cambia con frecuencia, una memoria demasiado larga mezcla regímenes que ya no son relevantes. Para elegir una tasa necesitamos una descripción del entorno y una función de pérdida, porque flexibilidad y precisión pueden entrar en tensión.

La fórmula depende del supuesto de independencia. Una serie de consumos autocorrelacionados modifica la varianza de la previsión. Una demanda afectada por las solicitudes previas introduce retroalimentación adicional. Si el agente restringe el suministro y solo observa lo vendido, la observación puede censurar la demanda que pretendía estimar. En ese caso, reducir el error respecto de ventas observadas no asegura aprender la necesidad total.

Podemos evaluar el estimador con una pérdida cuadrática promedio, pero esa elección asigna el mismo costo a errores positivos y negativos de igual magnitud. Un depósito que desperdicia agua al exceder capacidad y sufre consecuencias graves al quedarse vacío puede requerir costos asimétricos. El desempeño depende entonces de la relación entre previsión, decisión y consecuencias, además de la cercanía a una media.

Un buen experimento compara tasas en los mismos escenarios y explicita qué se cuenta como éxito. Debe incluir cambios persistentes, fluctuaciones transitorias y periodos estables si esos contextos forman parte del problema. La ventaja de una tasa en una sola transición no autoriza a declararla universalmente superior.

251.5. Estrategias y reglas que producen estrategias

Una estrategia describe cómo se seleccionan acciones a partir de información disponible. Puede ser determinista, como solicitar siempre la previsión más una reserva fija, o probabilística, como explorar ocasionalmente cantidades distintas. Sus parámetros pueden cambiar con experiencia, pero una estrategia también puede mantenerse fija mientras el estado observado varía. Esta distinción evita llamar aprendizaje a toda respuesta contextual.

Supongamos que dos depósitos comparten la misma estimación de consumo. El primero solicita exactamente esa estimación. El segundo añade dos unidades de seguridad. Si ambos elevan su pedido después de observar un consumo mayor, están respondiendo mediante estrategias diferentes a una actualización común. Para comparar su adaptación debemos considerar faltantes, excedentes y costos, además de las previsiones.

Podemos introducir un parámetro $b_t$ de reserva y una decisión $a_t=q_t+b_t$. El agente podría revisar $b_t$ según la frecuencia de faltantes, mientras actualiza $q_t$ según los consumos. Coexisten así dos ajustes con funciones distintas, uno que estima una característica del entorno y otro que modifica el margen de protección. Una misma solicitud final puede resultar de combinaciones diferentes de estimación y reserva.

En un nivel adicional, el agente podría escoger entre varias reglas, como seguir una media exponencial, usar una ventana reciente o cambiar de predictor después de detectar una ruptura. La selección entre reglas es una modificación de la arquitectura efectiva de decisión. Sin embargo, sigue necesitando algún procedimiento que evalúe alternativas y determine cuándo sustituirlas.

La palabra metaprendizaje suele usarse para modificaciones que alteran cómo se aprende. En nuestro ejemplo, ajustar la tasa según una señal de cambio sería una posibilidad. Eso no implica que exista una escalera infinita de reglas conscientes que supervisan otras reglas. Un algoritmo puede tener una estructura finita donde la actualización de varios parámetros se hace conjuntamente mediante operaciones bien definidas.

También cabe aprender sin representar explícitamente un valor de cada acción. Un procedimiento puede modificar directamente las probabilidades de elección. Otro puede construir un modelo de consecuencias y planificar con él. La distinción entre representación, decisión y actualización permite comparar estas arquitecturas sin reducirlas a una única metáfora de refuerzo.

Lo decisivo es describir qué permanece disponible cuando el aprendizaje se detiene. Si congelamos los parámetros pero mantenemos la entrada sensorial, el agente conserva respuestas contextuales. Si además fijamos la memoria, su comportamiento puede cambiar de otra manera. Estos experimentos de congelación ayudan a identificar qué componente explica una mejora y qué componente solo ejecuta una respuesta ya adquirida.

251.6. Adaptación individual y cambio en una población

Una población puede mejorar su desempeño promedio aunque ninguno de sus integrantes modifique su conducta. Basta con que los individuos de ciertos tipos contribuyan más a la población posterior. También puede mantenerse constante la composición de tipos mientras cada individuo aprende. Ambos procesos producen cambios agregados, pero requieren explicaciones diferentes y pueden responder de manera distinta a una intervención.

Imaginemos cien agentes, cincuenta con una previsión constante de diez y cincuenta con una de catorce. El entorno exige catorce. Si permanecen más tiempo activos quienes aciertan, la media de previsiones entre agentes presentes puede subir. Eso no demuestra aprendizaje individual, porque el cambio puede proceder exclusivamente de entradas, salidas o supervivencia diferencial.

Ahora mantengamos a los mismos cien agentes y permitamos que todos actualicen sus estimaciones. La media también puede aproximarse a catorce, pero esta vez el cambio ocurre dentro de individuos identificables. Un registro longitudinal permite separar ambos mecanismos mejor que una sucesión de promedios poblacionales sin identificación de sujetos.

Existen combinaciones. Los agentes pueden aprender a distintas velocidades, reproducirse según su desempeño y transmitir parcialmente parámetros a nuevos agentes. Entonces debemos distinguir qué se hereda, qué se adquiere durante la vida y qué información se pierde al reemplazar individuos. La reproducción de una estrategia exitosa no es idéntica a la transmisión de un conocimiento detallado del entorno.

La tradición iniciada por Holland permite estudiar mecanismos de búsqueda y selección en sistemas artificiales [2]. La analogía con la evolución resulta útil cuando se especifican variación, transmisión y diferencias de contribución. Se vuelve engañosa si cualquier ajuste numérico se denomina evolución o si se presupone que la selección siempre maximiza una medida global fija.

Una población de aprendices también modifica el entorno que otros encuentran. Si muchos depósitos aumentan simultáneamente sus pedidos, pueden producir congestión en el suministro. Una regla que mejora el resultado de un agente aislado puede generar oscilaciones cuando todos la usan. El criterio de éxito individual y el desempeño colectivo deben evaluarse por separado.

El análisis exige seguir identidades, composiciones y condiciones compartidas. Conviene registrar el desempeño dentro de cada tipo, los cambios de frecuencia y las modificaciones ambientales. Una mejora agregada puede ocultar empeoramiento en algunos grupos; una media estable puede esconder aprendizaje individual compensado por la entrada de agentes nuevos. Descomponer estos cambios permite interpretar la adaptación sin atribuir al individuo un proceso que ocurrió en la población.

251.7. Escalas temporales y entorno que responde

El aprendizaje rara vez ocurre sobre un entorno completamente inmóvil. Los recursos se agotan, otros agentes revisan sus decisiones y las instituciones cambian reglas. La relación entre la velocidad de esas transformaciones y la velocidad de actualización determina qué información resulta útil. Una experiencia antigua puede informar sobre una regularidad estable o ser el registro preciso de un régimen desaparecido.

En el depósito podemos distinguir tres escalas (la variación diaria del consumo, la revisión semanal del margen de reserva y la modificación anual de la capacidad instalada). Separarlas facilita el análisis, pero no prueba que sean independientes. Una capacidad reducida altera los datos disponibles para ajustar el margen; a su vez, una reserva creciente puede motivar una ampliación que transforme el régimen de funcionamiento.

En modelos con separación marcada de escalas, a veces se estudia un proceso rápido suponiendo casi constantes las variables lentas. Después se analiza cómo estas variables cambian a partir del comportamiento promedio del proceso rápido. Esta aproximación requiere que la relajación rápida ocurra antes de una modificación importante de las variables lentas. Si ambas escalas se superponen, el procedimiento puede describir mal las transiciones.

Un ejemplo sencillo aparece cuando dos agentes corrigen simultáneamente un desequilibrio compartido. Si cada uno atribuye todo el error a su propia acción y aplica una corrección completa, el ajuste conjunto puede exceder lo necesario. La información local era correcta, pero la regla ignoraba que otro agente respondería al mismo tiempo. El sobreajuste surge de la interacción entre controladores.

La coordinación temporal cambia entonces el resultado. Revisiones escalonadas, límites a la magnitud del ajuste o comunicación sobre intenciones pueden reducir oscilaciones en ciertos modelos. No son soluciones universales, ya que también pueden introducir retrasos, costos o nuevas dependencias. Para evaluarlas hay que escribir las actualizaciones conjuntas y observar cómo se comportan cerca y lejos de un equilibrio.

En un entorno estratégico, una regularidad aprendida puede desaparecer precisamente porque fue aprovechada. Si todos anticipan una escasez y almacenan más, alteran el patrón que justificó su previsión. Lo que se aprende puede ser entonces un proceso que incluye las respuestas de otros agentes y cuya distribución cambia con ellas.

Por eso conviene distinguir aprender una regla estable de seguir un objetivo móvil. El primer problema permite estudiar convergencia hacia una solución constante bajo condiciones apropiadas. El segundo exige métricas de seguimiento, retraso y recuperación después de cambios. Pedir convergencia en un entorno que nunca deja de cambiar puede ser una evaluación inadecuada del mecanismo.

251.8. Cómo demostrar que ocurrió aprendizaje

Una mejora observada después de la experiencia es compatible con aprendizaje, aunque también puede deberse a una tarea más fácil, a selección de participantes, a cambios de motivación o a una modificación externa del procedimiento. Un diseño convincente compara explicaciones y especifica qué resultado sería difícil de producir si los parámetros internos permanecieran fijos.

Una simulación tiene la ventaja de que permite congelar componentes. Ejecutamos el mismo entorno con la actualización activa y desactivada, manteniendo comparables las observaciones iniciales y las fuentes de aleatoriedad cuando sea apropiado. La diferencia muestra el efecto del mecanismo implementado bajo esas condiciones. Así se verifica su papel causal dentro del modelo, aunque queda abierto si un sistema real usa ese mecanismo.

También podemos separar una fase de adquisición y una fase de evaluación. Durante la primera se permiten actualizaciones; durante la segunda se mantiene fija la estrategia aprendida y se presentan situaciones nuevas. Si el desempeño solo mejora mientras el agente sigue ajustándose a ejemplos repetidos, la evidencia de transferencia será limitada. Si mejora en condiciones relacionadas pero no idénticas, la representación adquirida puede tener un alcance mayor.

El criterio de novedad debe declararse. Cambiar una semilla aleatoria manteniendo la misma distribución evalúa generalización dentro del escenario. Alterar la distribución de demanda evalúa otra capacidad. Cambiar también los costos y las acciones disponibles plantea una transferencia todavía diferente. Cada prueba examina solo una parte de la adaptabilidad del agente.

Una medida útil combina desempeño, velocidad de adquisición, costo de experiencia y persistencia. Un algoritmo puede alcanzar una buena solución después de millones de intentos y ser inadecuado cuando cada intento es caro. Otro puede aprender rápido y olvidar ante una perturbación mínima. El resultado final y el camino seguido responden preguntas distintas.

La comparación debe incluir alternativas simples. Un predictor constante, una regla fija bien elegida y una media histórica pueden revelar si la complejidad del mecanismo se justifica. En ambientes estables, una regla sin aprendizaje puede superar a un aprendiz que reacciona innecesariamente al ruido. Esa posibilidad forma parte del análisis y evita convertir el término adaptativo en una valoración automática.

Finalmente, las observaciones deben permitir identificar parámetros. Si solo registramos la acción redondeada, quizá no podamos distinguir una tasa pequeña de una grande durante periodos breves. Añadir una tarea de predicción explícita o variar las consecuencias puede ayudar a separarlas. La incertidumbre sobre el mecanismo debe mantenerse cuando diferentes modelos producen datos prácticamente indistinguibles.

251.9. Un protocolo mínimo para comparar niveles

Organicemos un experimento didáctico con tres agentes. El primero conserva una previsión fija de diez. El segundo usa media exponencial con tasa de un cuarto. El tercero usa tasa de un medio. Todos comienzan con la misma previsión, reciben la misma secuencia de consumos y no influyen sobre ella. Estas condiciones aíslan la actualización de la estimación y evitan atribuir diferencias a experiencias distintas.

En el escenario sin ruido, el consumo pasa de diez a catorce. Tras una observación, las previsiones son diez, once y doce. Tras dos, son diez, 11,75 y trece. El tercer agente se acerca más rápidamente al nuevo nivel. Sin embargo, este resultado todavía no incorpora un periodo estable con observaciones fluctuantes ni el costo de cambios frecuentes en las solicitudes.

Introduzcamos después observaciones independientes de media catorce y varianza nueve. Bajo el régimen estacionario idealizado, las varianzas de las previsiones de los dos aprendices son $9/7$ y tres. El agente fijo no fluctúa, pero conserva un sesgo de cuatro unidades; su inmovilidad tampoco es garantía de buen desempeño.

La comparación puede registrar dos objetivos distintos, el error cuadrático respecto de la media latente y el error respecto del consumo siguiente. Si la observación siguiente es independiente, el segundo añade varianza nueve a la incertidumbre de la previsión y a cualquier sesgo. Mezclar ambas medidas haría parecer contradictorios resultados que simplemente evalúan blancos diferentes.

Para estudiar adaptación de la tasa podríamos añadir un cuarto agente, pero habría que especificar su detector de cambio y su actualización. Decir que aumenta la tasa cuando conviene no define un algoritmo, porque incorpora la solución deseada dentro de la descripción. El detector necesita información accesible y puede cometer falsos positivos o pasar por alto cambios reales.

El protocolo debe guardar previsiones antes y después de cada observación, errores, tasas usadas y acciones ejecutadas. Registrar únicamente solicitudes impide saber si una respuesta rígida procede del estimador, del redondeo o de una restricción de capacidad. La trazabilidad de variables intermedias convierte una comparación de resultados en una explicación del proceso.

Este diseño no requiere un simulador complejo para las primeras conclusiones. Los cálculos exactos muestran qué se espera bajo supuestos controlados. La simulación adquiere valor cuando introducimos dependencia temporal, restricciones e interacción, siempre que se comparen primero sus casos simples con resultados conocidos. Una arquitectura extensa debe conservar la posibilidad de comprobar sus piezas.

251.10. Una descripción que permite discutir mecanismos

La pregunta «¿qué se adapta?» obliga a precisar el sujeto de cada afirmación. Puede modificarse una estimación, una preferencia, una política, una tasa de aprendizaje o la composición de una población. Puede cambiar también el entorno que hace útil una respuesta. Reunir todos estos procesos bajo una sola palabra facilita una conversación inicial, pero dificulta una explicación si no recuperamos sus diferencias.

El aprendizaje por refuerzo, desarrollado sistemáticamente por Sutton y Barto, estudia una familia de problemas en los que un agente modifica su comportamiento a partir de consecuencias y busca aumentar un retorno definido [3]. Esa formulación será central en los capítulos siguientes. Aquí importa reconocer que recompensa, valor, política y regla de aprendizaje cumplen funciones distintas, aunque una implementación concreta pueda representarlas mediante parámetros compartidos.

Tampoco hay que confundir adaptación con intencionalidad. Nuestro estimador no necesita formular un propósito consciente para reducir su error después de un cambio. El objetivo aparece en el criterio con que diseñamos o evaluamos el procedimiento. Cuando estudiamos personas, organizaciones o animales, la relación entre objetivos atribuidos, metas declaradas y mecanismos efectivos exige evidencia propia.

Una explicación rigurosa contiene una descripción del estado, una especificación de la información, una regla de respuesta y una regla de modificación. Añade un criterio de desempeño y un conjunto de condiciones donde se evalúa. Con esos elementos podemos preguntar si el mecanismo mejora, cuánto tarda, qué información necesita y en qué circunstancias fracasa.

También podemos localizar límites de inferencia. Una conducta repetida no demuestra ausencia de aprendizaje; quizá cambiaron variables internas sin atravesar el umbral que modifica la acción. Una conducta novedosa no demuestra cambio de reglas; quizá una regla antigua recibió una observación distinta. Una mejora poblacional no demuestra aprendizaje individual; quizá cambió quién integra la población.

Estas distinciones hacen investigable la adaptación. Permiten construir intervenciones sobre variables concretas, comparar modelos que antes parecían equivalentes y evitar explicaciones circulares donde el éxito se atribuye a una capacidad definida únicamente por producir éxito.

En el próximo capítulo incorporaremos costos de información y restricciones de cálculo. Un agente puede disponer de una regla de aprendizaje adecuada y aun así no observar todas las alternativas ni evaluar todas sus consecuencias. Comprender su adaptación exigirá entonces estudiar qué puede conocer y qué procedimientos puede ejecutar con los recursos disponibles.

Referencias

[1] Holland, J. H. (1992). Complex adaptive systems. Daedalus, 121(1), 17–30. Registro y texto original.

[2] Holland, J. H. (1992). Adaptation in Natural and Artificial Systems. MIT Press. Reedición del libro de 1975. Editorial.

[3] Sutton, R. S., y Barto, A. G. (2018). Reinforcement Learning: An Introduction, 2.ª edición. MIT Press. Página de los autores.