Plasticidad y aprendizaje: modificar conexiones sin perder estabilidad

Una red capaz de cambiar sus conexiones puede aprender regularidades de su entorno. Esa misma capacidad crea un problema de control. Si la actividad refuerza las conexiones que la producen, la realimentación positiva puede amplificarse hasta abandonar cualquier régimen útil. Aprender una asociación y conservar un régimen operativo exigen condiciones que no siempre coinciden. La tensión se hace visible incluso en una unidad con una sola salida.

Las reglas hebbianas establecen, en sus distintas variantes, que la relación entre la actividad presináptica y la postsináptica modifica un peso. Las reglas de normalización y los mecanismos homeostáticos limitan esos cambios o los compensan. Abbott y Nelson (2000) sostuvieron que los modelos basados en plasticidad hebbiana específica de cada sinapsis necesitan procesos globales que regulen la actividad de la neurona y de la red para producir resultados realistas. Entre los candidatos que revisaron figuraban el escalamiento sináptico y la plasticidad dependiente del tiempo de los disparos. En biología estos procesos abarcan mecanismos diversos que operan en escalas distintas. En un modelo conviene precisar la variable que cambia y la señal que la gobierna, además de la propiedad que se pretende estabilizar.

Oja (1982) mostró que una modificación de la regla hebbiana permite a una unidad lineal aprender la dirección de máxima varianza de sus entradas mientras la norma de sus pesos permanece acotada. Turrigiano y colaboradores (1998) describieron en cultivos de neuronas neocorticales una forma de plasticidad que, según la actividad previa, aumenta o reduce la amplitud de las corrientes postsinápticas excitatorias miniatura de una neurona en proporción a su valor inicial. Vogels y colaboradores (2011) estudiaron mediante modelos cómo la plasticidad de las sinapsis inhibitorias puede equilibrar excitación e inhibición y estabilizar la actividad. Los tres trabajos tratan objetos de naturaleza distinta. Fundirlos en una única regla universal borraría precisamente las diferencias que importan.

La comparación entre el crecimiento de los pesos en una neurona lineal, la selección de una dirección informativa y la estabilidad de una red recurrente permite ver por qué una normalización útil para aprender no garantiza por sí sola la estabilidad de toda la red.

407.1. Una regla hebbiana mínima y su crecimiento

Sea $x\in\mathbb R^d$ un vector de entradas centradas y $y=w^{\mathsf T}x$ la salida de una unidad lineal. La regla hebbiana elemental es

con una tasa de aprendizaje $\eta>0$. Cuando una entrada y la salida comparten signo, la conexión correspondiente recibe un incremento positivo. Al tomar la esperanza bajo una distribución estacionaria de entradas se obtiene

Como las entradas están centradas, $C$ es su matriz de covarianza. Es simétrica y semidefinida positiva, de modo que sus valores propios son reales y no negativos. Si $v$ es un vector propio de $C$ con valor propio $\lambda>0$, la componente de $w$ en esa dirección crece. Cuando la tasa es pequeña y el tiempo se mide en número de actualizaciones, la aproximación continua $\dot w=\eta Cw$ produce factores $e^{\eta\lambda t}$. El aprendizaje favorece las direcciones de mayor variabilidad y al mismo tiempo aumenta su escala sin ningún límite interno.

La dificultad aparece incluso con una sola entrada de varianza uno. En ese caso $y=wx$, el cambio esperado es $\eta w$ y la solución continua es $w(t)=w(0)e^{\eta t}$. El crecimiento no indica que el sistema esté aprendiendo información cada vez más útil. Una vez fijada la dirección, la regla sigue amplificando la misma relación. Una medida de error o de desempeño podría dejar de mejorar mucho antes de que el peso deje de crecer.

Si las entradas no están centradas, $\mathbb E[xx^{\mathsf T}]=\Sigma+\mu\mu^{\mathsf T}$ incluye la contribución de la media $\mu$ además de la covarianza $\Sigma$. La dirección aprendida puede reflejar entonces un nivel basal común en lugar de la covariación alrededor de ese nivel. Centrar las entradas es una decisión del modelo que requiere una realización plausible o, al menos, una interpretación explícita. El cerebro no recibe matrices ya preprocesadas por un analista.

La aproximación por la esperanza supone que el aprendizaje es lento respecto de las variaciones de la entrada, de modo que estas pueden resumirse mediante estadísticas estables. Con tasas grandes o en un entorno cambiante pesan las fluctuaciones individuales y el orden de presentación. La derivación determinista del promedio resulta útil siempre que se la distinga de la implementación estocástica, que actualiza los pesos muestra a muestra.

407.2. La compensación de Oja

La regla de Oja añade un término que depende de la salida,

El primer término es hebbiano. El segundo resta una cantidad proporcional al cuadrado de la salida y al peso actual, de modo que frena el crecimiento cuando la actividad aumenta. Esta forma coincide con el desarrollo de primer orden en $\eta$ de una actualización hebbiana seguida de una normalización explícita del vector de pesos, calculado en torno a un vector de norma uno. La diferencia práctica es importante. Con la regla de Oja cada sinapsis solo necesita su propio peso, su entrada y la salida de la neurona, mientras que la normalización explícita exige conocer todos los pesos a la vez. Promediando sobre las entradas,

Sea $q=w^{\mathsf T}Cw\geq0$. La norma cuadrada evoluciona según

Cuando $q>0$, una norma menor que uno tiende a aumentar y una mayor tiende a disminuir. La esfera unidad es invariante para esta dinámica media continua. El origen es un punto fijo, por lo que la regla necesita una inicialización no nula. Si $w$ pertenece al núcleo de $C$, entonces $Cw=0$, $q=0$ y el vector queda inmóvil. Las direcciones sin variación de entrada producen así casos degenerados que deben tratarse aparte.

Sobre la esfera, los vectores propios normalizados de $C$ son los puntos estacionarios. Si el valor propio máximo es simple y la condición inicial tiene componente no nula en su dirección, la dinámica media converge al vector propio principal, mientras los demás vectores propios son inestables. En la ecuación media cada componente conserva su signo, de modo que la condición inicial decide si el resultado es $v$ o $-v$. Ambos describen el mismo eje de variación. La regla no asigna por sí misma un significado a ninguno de los dos. Para la versión estocástica, la convergencia se garantiza en el límite asintótico bajo condiciones sobre la tasa de aprendizaje. Con una tasa constante queda una fluctuación residual alrededor de la solución.

Este resultado se refiere al análisis de componentes principales en una unidad lineal y bajo los supuestos indicados. No convierte toda plasticidad sináptica en un algoritmo de componentes principales ni demuestra que la dirección de máxima varianza sea la más útil para cualquier conducta. Una variable de baja varianza puede ser decisiva para una tarea, mientras otra de alta varianza puede reflejar una perturbación irrelevante.

La regla ofrece de todos modos una comparación nítida. El término compensador transforma una dinámica que crece sin límite en otra capaz de seleccionar una dirección y controlar su norma. Aprendizaje y regulación emplean las mismas señales locales, aunque cumplen funciones distintas dentro de la ecuación.

407.3. Un ejemplo con dos entradas correlacionadas

Tomemos

Sus valores propios son 3 y 1, con vectores propios $v_1=(1,1)/\sqrt2$ y $v_2=(1,-1)/\sqrt2$. La condición inicial $w=(0.2,0.1)$ tiene componente $0.3/\sqrt2$ sobre $v_1$ y $0.1/\sqrt2$ sobre $v_2$. La regla hebbiana media amplifica ambas con factores $e^{3\eta t}$ y $e^{\eta t}$, de modo que la primera termina dominando la orientación.

La norma hebbiana sigue creciendo. Con la regla de Oja la orientación también se aproxima a $v_1$, mientras la norma tiende a uno. Con $\eta=0.2$ y un intervalo de integración de 20 unidades, el cálculo de la sección 407.7 da una norma cercana a $3.45\times10^4$ para la regla hebbiana y prácticamente igual a uno para la de Oja, con la misma alineación en ambos casos. Dos vectores de pesos pueden apuntar casi en la misma dirección y producir salidas de escalas muy distintas. Si solo se evaluara el ángulo con $v_1$, ambas reglas parecerían exitosas. La diferencia aparece cuando también se evalúa la estabilidad de la amplitud.

El aprendizaje debe medirse respecto de un objetivo explícito. En este ejemplo, la varianza capturada por una dirección unitaria es $w^{\mathsf T}Cw$, que alcanza su máximo, igual a 3, en $v_1$. La restricción de norma unitaria impide aumentar ese valor simplemente multiplicando el peso. Sin ella, maximizar la varianza sería un problema mal planteado, porque la función objetivo carecería de máximo finito.

Si la covarianza cambia después del aprendizaje, la dirección objetivo puede rotar. Una regla con tasa pequeña responde lentamente. Una tasa grande sigue el cambio con mayor rapidez, aunque también amplifica las fluctuaciones. Esta tensión entre seguimiento y estabilidad depende de la velocidad con que cambia el entorno y de la intensidad del ruido. El valor adecuado de $\eta$ no puede decidirse sin especificar ambas condiciones.

Cuando los dos valores propios coinciden, $C$ es proporcional a la identidad y toda dirección unitaria es estacionaria. La regla conserva entonces una orientación determinada por la inicialización o por el ruido. Interpretar ese resultado como una preferencia aprendida sería engañoso, ya que el entorno definido por esa covarianza no distingue direcciones. La degeneración pertenece al problema y no implica por sí misma un fallo del algoritmo.

407.4. Normalizar pesos no estabiliza cualquier circuito

Consideremos ahora una red recurrente lineal con entrada constante $u$,

La estabilidad del equilibrio depende de los valores propios de $W-I$. Con una constante temporal común $\tau>0$, se requiere que todos los valores propios de $W$ tengan parte real menor que uno. Controlar la norma de cada fila, o la de un vector particular, no garantiza automáticamente esa condición. El modo colectivo que la red amplifica depende de la estructura completa de la matriz.

En una red de dos unidades con conexiones recíprocas de peso $w$ y sin autoconexiones,

los modos simétrico y antisimétrico tienen valores propios $w$ y $-w$. Con $w=0.8$, el modo simétrico decae con tasa $0.2/\tau$ y el antisimétrico con tasa $1.8/\tau$. A medida que $w$ se acerca a uno, la recuperación del modo simétrico se vuelve cada vez más lenta. Su ganancia estacionaria frente a una entrada constante vale $1/(1-w)$, de modo que la amplificación también crece sin cota al acercarse a ese umbral. Para $w>1$ el modo simétrico crece en el modelo lineal. Si una regla hebbiana refuerza sin freno la coactividad de ambas unidades, puede empujar la red hacia ese cambio de régimen.

Añadir una función de saturación acota las tasas, aunque no preserva necesariamente el comportamiento deseado. La red puede pasar a un estado de alta actividad, presentar múltiples equilibrios o cambiar su respuesta a las entradas. Acotación y estabilidad alrededor de un régimen útil son propiedades diferentes. Que una simulación no diverja numéricamente no demuestra que la red conserve su capacidad funcional.

Las restricciones de signo también importan. Una neurona excitatoria no convierte sus sinapsis de salida en inhibitorias porque una regla matemática lo sugiera. En modelos con poblaciones excitatorias e inhibitorias separadas deben respetarse las restricciones escogidas. La regla de Oja aplicada sin límites puede producir pesos de ambos signos. Trasladarla a una arquitectura con signos fijos exige modificar el problema y volver a analizarlo.

Una normalización global introduce interacciones no locales, porque cambiar un peso altera la escala de los demás. Miller y MacKay (1994) mostraron además que la manera de imponer la restricción modifica el resultado. En reglas por lo demás lineales, la imposición multiplicativa conduce al vector propio principal del operador que gobierna el desarrollo sin restricción. La imposición sustractiva, en cambio, suele llevar casi todos los pesos a sus valores máximo o mínimo. Esa operación es fácil de programar, pero su interpretación biológica requiere un mecanismo. Puede emplearse como restricción computacional sin afirmar una implementación neuronal específica, siempre que la diferencia entre una regla útil para entrenar y un mecanismo plausible quede declarada.

407.5. Regulación homeostática mediante inhibición

Un ejemplo continuo permite estudiar una compensación sencilla. Sea $r$ una tasa de actividad, $w_E$ un peso excitatorio recurrente fijo y $w_I$ una intensidad inhibitoria adaptable, con dinámica

Si la actividad supera el objetivo $r_0$, $w_I$ aumenta; si queda por debajo, disminuye. La regla integra en el tiempo el error de actividad, como lo haría un controlador integral. Con $u>0$, una actividad que parte de un valor positivo permanece positiva, porque $\dot r=u/\tau>0$ cuando $r=0$. Para $r_0>0$, el único equilibrio satisface

En ese punto la constante de fuga efectiva $1-w_E+w_I^*$ es igual a $u/r_0$ y resulta positiva. Si se exige $w_I\geq0$, el equilibrio solo es admisible cuando el valor calculado cumple la restricción. Proyectar a cero los pesos negativos cambia la dinámica en el borde y puede impedir que se alcance el objetivo. Una regla homeostática tiene límites de actuación y no puede garantizar cualquier tasa deseada frente a entradas arbitrarias.

El jacobiano en torno al equilibrio admisible es

Su traza, $-u/(r_0\tau)$, es negativa y su determinante, $\varepsilon r_0/\tau$, es positivo para parámetros positivos. El equilibrio es por tanto localmente estable en este sistema de dos variables para cualquier $\varepsilon>0$. El discriminante $\operatorname{tr}(J)^2-4\det J$ decide la forma de la recuperación. La aproximación al equilibrio es monótona cuando $\varepsilon\tau<u^2/(4r_0^3)$ y presenta oscilaciones amortiguadas cuando la regulación es más rápida que ese umbral.

La condición admite una lectura en términos de escalas. Si se define la constante de tiempo efectiva de la actividad como $\tau_{\mathrm{ef}}=\tau r_0/u$ y el tiempo característico de la regulación como $\tau_H=1/(\varepsilon r_0)$, la recuperación es monótona cuando $\tau_H>4\tau_{\mathrm{ef}}^2/\tau$. El tiempo de regulación necesario para evitar oscilaciones crece con el cuadrado del tiempo efectivo de la actividad. Harnack y colaboradores (2015) encontraron una dependencia cuadrática análoga en redes recurrentes con control homeostático. También mostraron que una regulación estable en una neurona aislada puede desestabilizar una red recurrente y que agregar etapas intermedias al lazo de control tiende a reducir la estabilidad. Si se añaden retardos en la medición del error o nuevas variables, la garantía del sistema de dos variables debe revisarse.

Con $u=0.4$, $r_0=0.5$ y $w_E=1.2$, el equilibrio requiere $w_I^*=1$ y la constante de fuga efectiva vale 0.8. Sin inhibición esa constante sería $1-1.2=-0.2$ y la actividad crecería exponencialmente en el modelo lineal. Con $\tau=1$, la recuperación deja de ser monótona cuando $\varepsilon$ supera 0.32. La inhibición compensadora permite sostener una actividad finita pese a una recurrencia excitatoria que, sin compensación suficiente, amplificaría el modo lineal. El ejemplo muestra una posibilidad formal y no identifica una ley universal de plasticidad inhibitoria.

En los modelos de Vogels y colaboradores (2011), una regla de plasticidad en sinapsis inhibitorias con un parámetro que fija una tasa postsináptica objetivo equilibró excitación e inhibición. En redes recurrentes adecuadas actuó como mecanismo homeostático y condujo a estados de actividad asincrónica e irregular. Turrigiano y colaboradores (1998) estudiaron en cultivo una regulación mucho más lenta. Tras bloquear la inhibición GABAérgica, la amplitud de las corrientes excitatorias miniatura disminuyó a lo largo de 48 horas mientras las tasas de disparo volvían cerca de sus valores de control. Ambos trabajos motivan considerar mecanismos compensadores, aunque ninguno autoriza a atribuir una regla específica a una señal macroscópica sin observaciones adicionales.

407.6. El tiempo de aprender y el tiempo de regular

La relación entre escalas temporales puede decidir el resultado. Si el fortalecimiento hebbiano ocurre con rapidez y la compensación actúa mucho después, la red puede atravesar estados de actividad excesiva antes de estabilizarse. Zenke, Hennequin y Gerstner (2013) encontraron, en simulaciones de redes recurrentes de neuronas con disparos y en un modelo de campo medio, que la homeostasis debía detectar los cambios de tasa en una escala de segundos a minutos para mantener estable la actividad. Esa exigencia contrasta con las horas o días que suelen describirse experimentalmente para el escalamiento sináptico. En el extremo opuesto, una compensación demasiado inmediata puede cancelar las variaciones necesarias para aprender diferencias o, en una red recurrente, generar oscilaciones como las descritas en la sección anterior. El modelo debe conservar el desfase relevante entre ambos procesos.

La regulación de una media tampoco controla todas las propiedades de la actividad. Dos distribuciones pueden compartir el promedio y diferir en ráfagas, en variabilidad o en correlaciones. Una regla que mantiene la tasa media cerca de un objetivo podría permitir episodios extremos. Para evaluar la estabilidad funcional hay que especificar qué estadísticas y qué restricciones importan además del promedio.

El almacenamiento previo plantea otra tensión. Aprender patrones nuevos puede modificar conexiones que sostenían otros. Una compensación global puede preservar la escala total de los pesos y aun así alterar relaciones esenciales para una memoria. McCloskey y Cohen (1989) documentaron en redes conexionistas entrenadas de manera secuencial que el aprendizaje de información nueva puede degradar bruscamente la ya adquirida, fenómeno conocido como interferencia catastrófica. Conviene medir retención y adquisición por separado. Una red que mejora en la tarea reciente mientras pierde la anterior no ha demostrado una acumulación estable de conocimientos.

El entorno puede cambiar por bloques o de manera gradual. Presentar primero todos los ejemplos de una clase y luego los de otra produce una historia distinta de la que resulta al mezclarlos. La distribución total puede coincidir mientras el aprendizaje incremental difiere. Para interpretar una regla deben conservarse el orden, la duración y la frecuencia de presentación, ya que los promedios estadísticos del conjunto de entrenamiento pueden ocultar estos efectos.

Una estrategia de evaluación usa tres etapas, que son el aprendizaje inicial, la adquisición de información nueva y la prueba de ambas. Las reglas se comparan con las mismas entradas y el mismo presupuesto de entrenamiento. Si una regla incluye un mecanismo adicional de consolidación o una restricción de recursos, debe declararse. El desempeño final se interpreta como resultado de toda la arquitectura y no de una etiqueta general como «plasticidad hebbiana».

407.7. Comparación reproducible de aprendizaje medio

El siguiente código integra las ecuaciones medias de Hebb y de Oja. No simula sinapsis biológicas ni una secuencia concreta de entradas. Usa directamente la covarianza declarada para aislar el efecto del término compensador.

import numpy as np
from scipy.integrate import solve_ivp

C = np.array([[2., 1.], [1., 2.]])
eta = 0.2
w0 = np.array([0.2, 0.1])
objetivo = np.ones(2) / np.sqrt(2)

def hebb(t, w):
    return eta * C @ w

def oja(t, w):
    return eta * (C @ w - (w @ C @ w) * w)

for nombre, regla in [('Hebb', hebb), ('Oja', oja)]:
    sol = solve_ivp(regla, (0, 20), w0, rtol=1e-9, atol=1e-11)
    assert sol.success
    w = sol.y[:, -1]
    alineacion = abs(w @ objetivo) / np.linalg.norm(w)
    print(f'{nombre}: norma = {np.linalg.norm(w):.6g}, '
          f'alineación = {alineacion:.9f}')

for peso in [0.8, 1.0, 1.1]:
    W = np.array([[0., peso], [peso, 0.]])
    modos = np.linalg.eigvalsh(W - np.eye(2))
    print(f'Peso {peso}: valores propios de W - I = {np.round(modos, 6)}')

La alineación con $v_1$ se acerca a uno con ambas reglas mientras sus normas divergen. En la ejecución de referencia, la regla hebbiana termina con una norma de unos $3.45\times10^4$ y la de Oja con una norma igual a uno salvo un error del orden de $10^{-9}$, ambas con alineación 0.99999999. La segunda parte muestra el cruce del modo colectivo en la red recurrente. Los valores propios de $W-I$ son $-1.8$ y $-0.2$ con peso 0.8; $-2$ y $0$ con peso 1; $-2.1$ y $0.1$ con peso 1.1. Las dos comprobaciones miden cosas diferentes, el aprendizaje de una orientación y la estabilidad de la actividad. Presentarlas juntas ayuda a evitar que una mejora en una de ellas se use como prueba de la otra.

Para pasar al aprendizaje muestra a muestra se generan entradas centradas con covarianza $C$ y se aplica la actualización discreta. La tasa debe ser suficientemente pequeña y conviene repetir el cálculo con varias semillas. Un paso finito grande puede desestabilizar la regla de Oja aunque la ecuación media continua sea estable, como se calcula en la sección 407.13. La convergencia teórica y la implementación discreta tienen condiciones relacionadas, aunque no idénticas.

Si se desea comparar distribuciones con colas diferentes, pueden conservarse la media y la covarianza mientras cambia la frecuencia de eventos extremos. La dinámica media anterior seguirá siendo la misma, pero las trayectorias estocásticas pueden cambiar. Ese contraste evalúa cuánto depende el aprendizaje de los momentos superiores y de la tasa finita. Es una prueba útil antes de afirmar robustez frente a entradas heterogéneas.

407.8. La velocidad de aprendizaje depende de la separación de autovalores

Descompongamos el peso en los vectores propios de la covarianza, $w=a_1v_1+a_2v_2$. En la ecuación media de Oja cada coeficiente satisface $\dot a_k=\eta(\lambda_k-q)a_k$, con el mismo término $q=w^{\mathsf T}Cw$ para ambos. Al restar las derivadas logarítmicas, ese término común se cancela y queda

Mientras $a_1$ sea distinto de cero, la razón entre componentes decae exponencialmente cuando $\lambda_1>\lambda_2$, con tiempo característico $1/[\eta(\lambda_1-\lambda_2)]$. La rapidez de la selección depende de la separación entre valores propios además de la tasa de aprendizaje. Dos entornos con la misma varianza total pueden permitir una identificación muy distinta de la dirección dominante.

En el ejemplo la separación es dos y la razón decae como $e^{-2\eta t}$, con un tiempo característico de 2.5 unidades para $\eta=0.2$. Si los valores propios fueran 2.01 y 1.99, la diferencia sería cien veces menor y el tiempo característico subiría a 250 unidades con la misma tasa. Tratar un peso que todavía cambia como señal de aprendizaje defectuoso ignoraría que el entorno distingue muy débilmente sus dos direcciones.

El ruido también influye más cuando la separación es pequeña. Las fluctuaciones pueden desplazar la orientación entre direcciones de rendimiento parecido. La incertidumbre sobre el vector aprendido puede ser grande mientras la varianza capturada cambia poco. Conviene evaluar por separado la precisión de los parámetros y el desempeño de la función, porque un parámetro poco estable no siempre implica una predicción poco estable.

La inicialización merece una comprobación propia. Si el peso carece exactamente de componente en la dirección principal, la ecuación media lo mantiene en un subespacio invariante. Una inicialización aleatoria con distribución continua evita ese caso con probabilidad uno en el ideal matemático, aunque una construcción simétrica o un redondeo pueden producirlo. Cuando se afirma convergencia práctica, el código debe probar varias inicializaciones.

407.9. Un cambio de entorno que revela una limitación

Después de aprender con $C_1=\begin{pmatrix}2&1\\1&2\end{pmatrix}$, cambiemos a $C_2=\begin{pmatrix}2&-1\\-1&2\end{pmatrix}$. La nueva dirección principal es $(1,-1)/\sqrt2$, ortogonal a la anterior. La antigua dirección $(1,1)/\sqrt2$ sigue siendo vector propio de la nueva covarianza, ahora asociado al valor propio menor, igual a 1. Si el peso estuviera exactamente en ella y la dinámica fuera la ecuación media sin ruido, permanecería allí, en un punto fijo inestable sobre la esfera.

Una perturbación pequeña con componente en la nueva dirección bastaría para que esta creciera y terminara dominando. El caso muestra que una dinámica capaz de adaptarse en condiciones genéricas puede quedar detenida en una simetría exacta. Las fluctuaciones, que antes dificultaban la precisión, facilitan aquí la salida de ese estado. Su efecto depende de la propiedad que se evalúa y de la historia del sistema.

En una simulación muestra a muestra, la aleatoriedad de las entradas suele romper la simetría. El tiempo de adaptación dependerá de la intensidad de esas fluctuaciones, de la tasa y de la separación entre valores propios. Comparar con la ecuación media ayuda a reconocer qué diferencias provienen del promedio y cuáles de la implementación. La aproximación determinista no contiene todas las consecuencias del aprendizaje incremental.

Un protocolo de cambio de entorno puede medir cuánto tarda la red en captar la nueva dirección y cuánta información previa conserva. Si los entornos se alternan repetidamente, aparecen compromisos diferentes de los observados en un cambio único. Una tasa muy pequeña conserva la memoria y retrasa la adaptación, mientras una grande sigue la condición reciente y puede olvidar rápidamente. La evaluación necesita el calendario real de cambios que la aplicación pretende afrontar.

También puede añadirse una segunda unidad con competencia para representar más de una dirección. En ese caso hay que evitar que ambas aprendan el mismo componente y definir cómo se reparte la capacidad. El éxito de una unidad aislada no resuelve el problema de una representación múltiple. La arquitectura de interacción entre unidades pasa a formar parte del mecanismo de aprendizaje.

407.10. Una restricción suficiente para estabilidad recurrente

La norma euclídea de cada fila puede estar controlada mientras la recurrencia colectiva resulta excesiva. Considérese una red de tres unidades sin autoconexiones, con todos los demás pesos iguales a $1/\sqrt2$. Cada fila tiene norma euclídea uno. Sin embargo, el vector uniforme es un vector propio con valor propio $\sqrt2>1$. En la dinámica $\dot r=-r+Wr$ ese modo es inestable.

El ejemplo explica por qué normalizar las filas como si cada unidad aprendiera de forma independiente no garantiza la estabilidad de la actividad recurrente. Importa la suma de influencias sobre un modo colectivo. Una condición suficiente sencilla consiste en exigir que la suma de los valores absolutos de cada fila sea menor que un número $\kappa<1$. Entonces la norma inducida $\|W\|_\infty=\max_i\sum_j|w_{ij}|$ es menor que uno. Como el radio espectral está acotado por cualquier norma matricial inducida, todos los valores propios de $W$ tienen módulo menor que uno. En la red de tres unidades esa suma vale $\sqrt2$ en cada fila, de modo que la condición detecta el problema que la norma euclídea dejaba pasar.

Esa condición garantiza que los valores propios de $W-I$ tengan parte real negativa en el modelo lineal con constante temporal común. Es suficiente y puede resultar conservadora, ya que algunas redes estables no la cumplen gracias a cancelaciones o a geometrías más favorables. Su utilidad depende de cuánto rendimiento se sacrifica a cambio de una garantía fácil de verificar.

La restricción puede imponerse después de cada actualización mediante proyección o escalamiento. Ambas operaciones modifican el aprendizaje y pueden alterar relaciones ya adquiridas. La comparación debe evaluar conjuntamente la estabilidad y la capacidad de representación. Una red perfectamente estable que apenas responde a sus entradas puede servir poco para la tarea, aunque cumpla todas las cotas.

Si las constantes temporales son heterogéneas o se añaden retardos, la prueba debe rehacerse para el operador correspondiente. La garantía obtenida para una variante instantánea no se traslada a otra por el solo hecho de compartir nombre. El procedimiento correcto vuelve a las ecuaciones y a la propiedad que se quiere conservar durante el aprendizaje.

407.11. Plasticidad dependiente del tiempo de los disparos

Una regla basada solo en tasas medias pierde el orden de los disparos. En cultivos de neuronas hipocampales de rata, Bi y Poo (1998) observaron potenciación cuando el disparo postsináptico seguía a la activación presináptica dentro de unos 20 ms y depresión cuando la precedía dentro de un intervalo similar. La potenciación apareció solo en sinapsis con fuerza inicial relativamente baja. Markram y colaboradores (1997) habían descrito una dependencia comparable del momento relativo en pares de neuronas piramidales neocorticales. Como construcción matemática, puede definirse una modificación por pares mediante una ventana $K(\Delta t)$, con $\Delta t=t_{\mathrm{post}}-t_{\mathrm{pre}}$, que fortalece para intervalos positivos y debilita para negativos, con amplitudes y tiempos característicos diferentes.

Una forma idealizada es $K(\Delta t)=A_+e^{-\Delta t/\tau_+}$ para $\Delta t>0$ y $K(\Delta t)=-A_-e^{\Delta t/\tau_-}$ para $\Delta t<0$. No representa todas las reglas biológicas de plasticidad. Permite examinar cómo una misma cantidad de disparos puede producir cambios distintos según su orden.

Kempter, Gerstner y van Hemmen (1999) derivaron una ecuación diferencial para la evolución media de los pesos bajo el supuesto de que las escalas del aprendizaje y de la dinámica de disparo pueden separarse. Si los trenes presináptico y postsináptico son independientes y estacionarios, su correlación se factoriza en el producto de las tasas. Con la regla aditiva idealizada, sin términos que dependan de una sola de las tasas y contando todos los pares, el cambio esperado por unidad de tiempo es entonces

El área neta de la ventana determina el signo de esta deriva. Igualar los picos no iguala el fortalecimiento con el debilitamiento cuando las duraciones difieren. Con $A_+=A_-$ y $\tau_-=2\tau_+$, por ejemplo, el área es negativa y predomina la depresión.

Las correlaciones temporales añaden contribuciones ponderadas por la ventana. Una acumulación de disparos postsinápticos poco después de los presinápticos puede cambiar el signo o la magnitud del aprendizaje. Song, Miller y Abbott (2000) mostraron en simulaciones que una regla aditiva de este tipo genera competencia entre sinapsis. Las entradas que hacen disparar a la neurona con latencia corta, o que actúan en grupos correlacionados, se fortalecen, mientras las de mayor latencia o menor eficacia se debilitan. Una regla de tasas y una regla temporal pueden coincidir bajo ciertas estadísticas y discrepar frente a secuencias concretas. La elección del nivel de reducción vuelve a depender de la pregunta.

La implementación debe definir qué pares se cuentan y cómo se manejan los límites de los pesos. Morrison, Diesmann y Gerstner (2008) distinguen el emparejamiento de todos los pares de varios esquemas de vecinos más próximos, que tampoco son equivalentes entre sí. Revisan además que, con entradas de Poisson no correlacionadas, la regla aditiva con límites duros produce una distribución bimodal de pesos acumulados en los extremos, mientras una regla multiplicativa produce una distribución unimodal. En el modelo de van Rossum, Bi y Turrigiano (2000), la potenciación tiene un incremento absoluto constante y la depresión es proporcional al peso. Esa dependencia, inspirada en la menor potenciación relativa de las sinapsis fuertes, produjo una distribución de equilibrio estable, unimodal y con asimetría positiva. Una regla aditiva sin saturación puede crecer sin límite. Escribir «plasticidad dependiente del tiempo» no basta para reproducir un experimento computacional.

407.12. Un diseño de evaluación con varias escalas

Para integrar aprendizaje y estabilidad puede utilizarse una red que recibe patrones conocidos, midiendo su respuesta inicial, la trayectoria de adquisición y la respuesta después de un período sin entrenamiento. La evaluación conserva conjuntos separados de patrones para estimar la generalización. También registra la actividad espontánea y la respuesta a perturbaciones, porque el entrenamiento puede modificar el régimen dinámico incluso cuando mejora el desempeño inmediato.

Las perturbaciones deben tener magnitudes comparables entre condiciones. Si la red aprende a amplificar sus entradas, un estímulo idéntico puede llevarla a estados mucho más alejados del equilibrio. Puede ser útil comparar tanto entradas iguales como perturbaciones que producen desplazamientos iniciales semejantes, dejando claro que responden a preguntas diferentes. La primera comparación evalúa la sensibilidad al entorno. La segunda evalúa la recuperación desde un estado dado.

Para estudiar la retención se presentan pistas antiguas después de aprender información nueva. Se mide cuántas se recuperan, con qué margen y en cuánto tiempo. Mantener el promedio de actividad dentro de un rango no garantiza conservar esas relaciones. Si la regulación homeostática protege la amplitud a costa de la discriminación, la arquitectura necesita otro mecanismo o una reformulación del objetivo.

Una conclusión mecanística fuerte requiere que una regla prediga algo que las otras no predicen. Puede tratarse de una dependencia del orden temporal, de un patrón de interferencia o de la recuperación tras un período de privación. El modelo permite diseñar esos contrastes. Su resultado se interpreta dentro de las variables observadas y de las condiciones de aprendizaje efectivamente aplicadas, sin confundir la reproducción de una conducta con la identificación de su realización biológica.

407.13. La estabilidad de la regla y la estabilidad de su implementación

La regla continua de Oja conserva la esfera de norma uno. Si $\|w\|=1$, la derivada de su norma cuadrada es cero. Una implementación de Euler no conserva esa identidad de manera exacta. Con $q=w^{\mathsf T}Cw$ y $g=Cw-qw$, un paso de tamaño $h$ da $w^+=w+h\eta g$. Sobre la esfera se cumple $w^{\mathsf T}g=0$, por lo que

Cada paso introduce un aumento de la norma de segundo orden, salvo en un punto fijo. La compensación continua no equivale a una normalización exacta después de cada actualización. Puede reducirse el paso para aproximar mejor la ecuación o normalizar explícitamente. La segunda opción define un algoritmo distinto, precisamente aquel del que la regla de Oja es aproximación de primer orden según la sección 407.2. Debe describirse como tal.

La linealización en torno al vector propio principal proporciona un control adicional. Para un valor propio principal simple $\lambda_1>\lambda_2$, el modo radial tiene tasa $-2\eta\lambda_1$ y el modo transversal hacia el segundo vector propio tiene tasa $\eta(\lambda_2-\lambda_1)$. El método de Euler es localmente estable cuando los multiplicadores $1+h\cdot(\text{tasa})$ de ambos modos quedan dentro del círculo unidad.

Con $\eta=0.2$, $\lambda_1=3$ y $\lambda_2=1$, las tasas son $-1.2$ y $-0.4$. El modo radial exige $0<h<5/3$, mientras el transversal permite $0<h<5$. La primera restricción es la más fuerte. Cuando $h$ supera 5/3, el multiplicador radial cruza el valor $-1$ y el punto fijo deja de atraer a las iteraciones, aunque siga siendo una solución estable de la ecuación continua. El código siguiente examina qué ocurre a ambos lados de ese umbral.

import numpy as np

C = np.array([[2., 1.], [1., 2.]])
eta = 0.2
v1 = np.ones(2) / np.sqrt(2)

for h in [1.5, 1.6, 1.7, 2.0, 4.0]:
    w = v1 + np.array([1e-3, -2e-3])
    normas = []
    for _ in range(400):
        w = w + h * eta * (C @ w - (w @ C @ w) * w)
        normas.append(np.linalg.norm(w))
        if normas[-1] > 1e6:
            break
    print(f'h = {h}: iteraciones = {len(normas)}, '
          f'últimas normas = {np.round(normas[-2:], 4)}')

Con $h=1.5$ y $h=1.6$ la norma vuelve a uno. Con $h=1.7$, apenas por encima del umbral, la norma alterna entre 0.92 y 1.06 sin converger. Con $h=2$ la alternancia se amplía a 0.73 y 1.14, mientras con $h=4$ la iteración diverge en pocos pasos. La pérdida de estabilidad ocurre mediante una bifurcación de duplicación de período, característica de los mapas discretos. Ni la alternancia ni la divergencia refutan el mecanismo de compensación. Muestran que el algoritmo discreto dejó de aproximar adecuadamente la ecuación continua.

Estos límites son locales y corresponden al promedio determinista utilizado aquí. Las actualizaciones con entradas aleatorias exigen considerar la distribución de las muestras y las fluctuaciones que producen. Una muestra de amplitud muy grande puede generar un incremento importante aunque la tasa media parezca pequeña. Si el entorno cambia, tampoco puede sustituirse toda la secuencia por una covarianza fija sin comprobar la aproximación.

Una evaluación reproducible conserva el mismo conjunto de entradas y compara varios tamaños de paso o tasas de aprendizaje, según el significado temporal del algoritmo. Se examinan la norma, la alineación y el desempeño en la tarea. Si reducir el paso estabiliza la trayectoria y conserva las predicciones relevantes, aumenta la confianza en el cálculo. Si cambia el resultado del aprendizaje, hay que distinguir un error numérico de un efecto real de presentar la información a otro ritmo.

Separar el tiempo físico, el tiempo de aprendizaje y el número de iteraciones evita una confusión frecuente. Mil actualizaciones pueden corresponder a duraciones distintas según cómo se adquirieron las entradas. Para comparar con la plasticidad observada, el modelo debe relacionar sus incrementos con el protocolo experimental. La comprobación matemática de estabilidad adquiere valor biológico cuando las escalas que regula corresponden a las del fenómeno que se pretende explicar.

407.14. Qué puede atribuirse al mecanismo

Una red entrenada puede reproducir una conducta sin que se haya identificado la plasticidad que la produjo en un organismo. Varias reglas conducen a pesos o funciones parecidos. Para comparar mecanismos se necesitan predicciones sobre las trayectorias de aprendizaje, las respuestas a interrupciones o los efectos de alterar selectivamente una señal de modificación. El resultado final por sí solo suele dejar alternativas abiertas.

La distinción también afecta a las interpretaciones clínicas. Observar un cambio de conectividad después de una intervención no especifica si hubo modificación sináptica, cambio de estado, variación de la entrada o alteración de la medición. Una hipótesis de plasticidad puede ser plausible y valiosa, aunque su evaluación requiere tiempos y medidas que separen esas posibilidades. El lenguaje mecanístico debe corresponder al diseño disponible.

En los ejemplos desarrollados, la regla hebbiana amplifica una dirección junto con su escala, mientras la de Oja controla la norma bajo supuestos definidos. La compensación inhibitoria, por su parte, regula una actividad objetivo en un circuito específico y con límites calculables. Cada afirmación quedó acompañada de las condiciones que la sostienen. Queda abierta la cuestión de si una red regulada puede mantenerse cerca de una transición crítica y qué observaciones permitirían distinguir esa hipótesis de otras dinámicas.

Referencias

• Abbott, L. F. y Nelson, S. B. (2000). Synaptic plasticity: Taming the beast. Nature Neuroscience, 3, 1178–1183. doi:10.1038/81453
• Bi, G.-Q. y Poo, M.-M. (1998). Synaptic modifications in cultured hippocampal neurons: Dependence on spike timing, synaptic strength, and postsynaptic cell type. Journal of Neuroscience, 18, 10464–10472. doi:10.1523/JNEUROSCI.18-24-10464.1998
• Harnack, D., et al. (2015). Stability of neuronal networks with homeostatic regulation. PLOS Computational Biology, 11, e1004357. doi:10.1371/journal.pcbi.1004357
• Kempter, R., Gerstner, W. y van Hemmen, J. L. (1999). Hebbian learning and spiking neurons. Physical Review E, 59, 4498–4514. doi:10.1103/PhysRevE.59.4498
• Markram, H., et al. (1997). Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs. Science, 275, 213–215. doi:10.1126/science.275.5297.213
• McCloskey, M. y Cohen, N. J. (1989). Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation, 24, 109–165. doi:10.1016/S0079-7421(08)60536-8
• Miller, K. D. y MacKay, D. J. C. (1994). The role of constraints in Hebbian learning. Neural Computation, 6, 100–126. doi:10.1162/neco.1994.6.1.100
• Morrison, A., Diesmann, M. y Gerstner, W. (2008). Phenomenological models of synaptic plasticity based on spike timing. Biological Cybernetics, 98, 459–478. doi:10.1007/s00422-008-0233-1
• Oja, E. (1982). Simplified neuron model as a principal component analyzer. Journal of Mathematical Biology, 15, 267–273. doi:10.1007/BF00275687
• Song, S., Miller, K. D. y Abbott, L. F. (2000). Competitive Hebbian learning through spike-timing-dependent synaptic plasticity. Nature Neuroscience, 3, 919–926. doi:10.1038/78829
• Turrigiano, G. G., et al. (1998). Activity-dependent scaling of quantal amplitude in neocortical neurons. Nature, 391, 892–896. doi:10.1038/36103
• van Rossum, M. C. W., Bi, G.-Q. y Turrigiano, G. G. (2000). Stable Hebbian learning from spike timing-dependent plasticity. Journal of Neuroscience, 20, 8812–8821. doi:10.1523/JNEUROSCI.20-23-08812.2000
• Vogels, T. P., et al. (2011). Inhibitory plasticity balances excitation and inhibition in sensory pathways and memory networks. Science, 334, 1569–1573. doi:10.1126/science.1211095
• Zenke, F., Hennequin, G. y Gerstner, W. (2013). Synaptic plasticity in neural networks needs homeostasis with a fast rate detector. PLOS Computational Biology, 9, e1003330. doi:10.1371/journal.pcbi.1003330