Sistemas multiagente: coordinación y amplificación de errores

474.1 Varias respuestas pueden depender de una sola fuente

Una institución puede repartir una tarea entre herramientas especializadas. Una de ellas resume antecedentes, otra propone una clasificación y una tercera revisa la propuesta. También puede pedir a varios modelos que respondan la misma pregunta y combinar después sus resultados. Las dos configuraciones usan varios componentes, aunque su capacidad para detectar errores es muy distinta. La primera es una cadena de transformaciones en la que cada etapa trabaja sobre lo que entregó la anterior; la segunda es una agregación de respuestas emitidas en paralelo. Antes de leer el número de agentes como una medida de verificación conviene reconstruir esas dependencias, porque de ellas depende cuánta información nueva aporta cada componente.

En este capítulo, agente designa una unidad computacional que recibe información, aplica reglas y entrega una salida a otra unidad o a una persona. El término no supone conciencia, comprensión moral ni responsabilidad propia. La función de un agente puede ser buscar documentos, calcular una magnitud o redactar una propuesta. Para el análisis importan tres cosas: qué información utiliza, qué operaciones ejecuta y qué posibilidades tiene de advertir un error que se originó antes de su intervención.

Una revisión puede parecer independiente porque lleva otro nombre, recibe otra instrucción o corre en una sesión separada. Nada de eso impide que trabaje con la misma fuente incompleta o que tome la respuesta inicial como su principal evidencia. Cuando eso ocurre, la variedad en la presentación no se traduce en variedad de información, y la coincidencia entre agentes puede limitarse a repetir una premisa común. Evaluar el conjunto exige, por lo tanto, separar los errores propios de cada componente de los fallos compartidos que atraviesan varias etapas.

La combinación de clasificadores tiene una historia larga en el aprendizaje automático. Dietterich (2000) revisó métodos como el promedio bayesiano, el bagging y el boosting, y discutió por qué un conjunto suele rendir mejor que un clasificador aislado. Esa literatura sirve de antecedente para estudiar la agregación de decisiones, pero no permite suponer que cualquier conversación entre modelos de lenguaje (LLM) mejore la exactitud. Hay además evidencia directa de que los errores de estos modelos se parecen entre sí. Kim, Garg, Peng y Garg (2025) analizaron las respuestas de 349 modelos del Open LLM Leaderboard de HuggingFace y de 71 modelos del leaderboard HELM de Stanford ante preguntas de opción múltiple. En HELM, cuando dos modelos se equivocaban en la misma pregunta, elegían la misma alternativa incorrecta en alrededor del 60 % de los casos, frente al tercio que se esperaría si escogieran al azar entre las tres opciones erróneas. Los autores encontraron también que los modelos más exactos tendían a compartir más sus errores y que compartir desarrollador, así como compartir arquitectura base en los datos de HuggingFace, se asociaba con mayor coincidencia. Estos resultados se refieren a preguntas de opción múltiple y no describen el comportamiento de un sistema multiagente concreto, pero bastan para descartar la independencia como supuesto por defecto.

El ejemplo formal que sigue trabaja con una tarea binaria y compara mecanismos de dependencia definidos explícitamente. Las probabilidades son sintéticas. Su propósito es mostrar qué cambia cuando se introduce una causa compartida de error manteniendo constante el rendimiento de cada agente.

474.2 Agregación paralela y encadenamiento de tareas

En una agregación paralela, varios agentes reciben la misma pregunta y producen decisiones que luego se combinan, por ejemplo mediante mayoría simple. Para analizar esa regla hay que conocer la probabilidad de error de cada agente y la dependencia entre sus errores. Si todos reproducen una misma salida, añadir agentes no cambia la información disponible. Si aportan observaciones distintas y pertinentes, la agregación puede reducir ciertos errores, aunque su eficacia dependerá también de cómo se haya definido la respuesta correcta.

En una cadena, la salida de un agente se convierte en entrada del siguiente. Un extractor selecciona fragmentos, un analizador los usa para formular una propuesta y un redactor la convierte en informe. La calidad final depende de que la información necesaria sobreviva a cada transición. Un redactor impecable puede producir un texto convincente sobre una extracción equivocada. Por eso, evaluar cada etapa con entradas ya corregidas sobrestima el rendimiento de un proceso que en la práctica recibirá entradas reales, con sus omisiones y ambigüedades.

Las configuraciones mixtas combinan ambos rasgos. Si varios analizadores trabajan después de un extractor común, sus errores podrán ser independientes respecto de algunas fuentes de variación, pero todos fallarán cuando el extractor omita el mismo antecedente. Esa arquitectura exige evaluar el extractor y, además, las respuestas de los analizadores condicionadas a sus posibles fallos. Informar solo la exactitud promedio de los analizadores deja fuera de la vista una dependencia que puede dominar el resultado final.

La coordinación incluye también reglas sobre desacuerdos y tareas incompletas. Hay que decidir si se espera a todos los agentes, si se acepta una mayoría cuando falta uno y quién resuelve dos salidas incompatibles. Esas decisiones forman parte del sistema y pueden alterar su comportamiento bajo carga. Un diseño que funciona bien cuando todas las respuestas están disponibles puede mostrar otro perfil de error cuando opera con tiempos límite o servicios intermitentes.

474.3 Mayoría con errores independientes

Consideremos agentes que aciertan o se equivocan en una misma tarea binaria. Con un número impar $n$ de agentes, la mayoría se equivoca cuando más de la mitad de ellos se equivoca. Si los errores son independientes y cada agente tiene una probabilidad constante $p$ de error, la probabilidad de fallo del conjunto es una suma de términos binomiales.

La independencia es un supuesto del cálculo. No se deduce del hecho de ejecutar programas separados, y en la práctica debe estimarse con datos.

Con una probabilidad individual de error de 0,19, tres agentes independientes fallan por mayoría con probabilidad 0,094582 y cinco con 0,0505275. La reducción ocurre porque una mayoría de errores simultáneos es menos frecuente que un error aislado, siempre que cada agente acierte más de lo que yerra ($p<1/2$) y sus errores sean independientes. Si $p$ superara 1/2, la misma regla empeoraría el resultado al añadir agentes. Este es el contenido del teorema del jurado de Condorcet, cuya extensión a votos correlacionados ha sido estudiada en la teoría de la decisión colectiva (Ladha, 1992). Kaniovski y Zaigraev (2011) analizaron jurados homogéneos con una correlación común entre votos y mostraron que al aumentar una correlación positiva disminuye la probabilidad de un veredicto correcto bajo las reglas de votación que exigen menos acuerdo que cierto umbral, mientras que aumenta bajo las que lo superan; en el caso extremo de la regla de unanimidad, el jurado resultaba siempre menos competente que un solo jurado.

El supuesto de probabilidad constante también requiere examen. Supongamos que existen casos fáciles y difíciles y que, dentro de cada tipo, los agentes fallan de manera independiente. Aun así, al mezclar ambos tipos sus errores quedarán correlacionados, porque todos tienen más probabilidad de equivocarse en los casos difíciles. La dependencia es real a nivel de la población de tareas aunque los agentes no intercambien información. Para hablar de independencia hay que precisar qué condiciones se mantienen fijas. Una tasa global de error puede ocultar que el conjunto pierde diversidad justamente en las situaciones donde más se necesitaría una comprobación adicional.

La regla de mayoría tampoco distingue consecuencias desiguales de error. En una tarea de priorización, omitir una necesidad no cuesta lo mismo que generar una revisión innecesaria. La agregación puede incorporar probabilidades, pesos o reglas de abstención, siempre que cada elección se justifique. El ejemplo binario se mantiene simple para aislar el efecto de la dependencia; no pretende que la mayoría sea la regla institucional adecuada en general.

474.4 Una causa compartida con la misma tasa individual

Supongamos ahora que en el 10 % de las tareas aparece un defecto que hace fallar a todos los agentes. Puede tratarse de una fuente incorrecta que todos consultan o de un antecedente necesario que falta en la entrada común. En el 90 % restante, cada agente falla de manera independiente con probabilidad 0,10. La tasa marginal de error de cada agente sigue siendo 0,19, porque suma el defecto compartido y los errores individuales que ocurren en su ausencia.

Esta construcción permite comparar conjuntos con idéntico rendimiento individual y distinta estructura de dependencia. Quien observe cada agente por separado no podrá distinguir los dos mecanismos a partir de su tasa de error. Las mayorías, en cambio, se comportan de forma diferente, como muestra la tabla.

Con el defecto compartido, añadir agentes elimina progresivamente los errores independientes que quedan, pero la probabilidad de fallo se acerca a 0,10 sin bajar de ese valor. El límite procede de la causa común: cuando aparece el defecto, todos los votos son incorrectos y ningún aumento del número de agentes lo corrige. La comparación no afirma que un conjunto de veinticinco modelos reales se comporte así. Identifica una condición bajo la cual sumar componentes deja de actuar sobre la fuente dominante de error. Para mejorar habría que intervenir sobre esa fuente o introducir una verificación capaz de detectarla.

En este ejemplo, la correlación entre los indicadores de error de dos agentes es exactamente 9/19, es decir, cerca de 0,47368. La covarianza vale $q(1-q)(1-p)^2=0{,}0729$ y la varianza de cada indicador, $\bar p(1-\bar p)=0{,}1539$. Esa correlación no proviene de mensajes intercambiados entre agentes, sino de una condición común que altera la probabilidad de fallo de todos ellos. Por esa razón, una evaluación de dependencia debe examinar datos, fuentes y tareas además de las conexiones técnicas. Separar procesos de ejecución mejora el aislamiento operativo, pero no asegura independencia en la información que cada proceso utiliza.

474.5 La unanimidad como filtro de selección

La unanimidad suele leerse como señal de confianza. En el mecanismo independiente, que todos los agentes se equivoquen a la vez se vuelve muy infrecuente al aumentar su número. En el mecanismo compartido, todos se equivocan cada vez que aparece el defecto. Al mismo tiempo, la unanimidad correcta se vuelve más escasa cuando se exige que coincidan más agentes, porque basta un error individual para romperla. La composición del subconjunto de decisiones unánimes cambia entonces de una manera poco intuitiva.

En el mecanismo compartido, la probabilidad de una unanimidad incorrecta es la del defecto más la de que todos fallen independientemente cuando el defecto no aparece. La unanimidad correcta solo puede ocurrir en ausencia del defecto. La fracción de decisiones unánimes que son incorrectas se obtiene dividiendo la primera cantidad por la suma de ambas.

Con cinco agentes, alrededor del 15,84 % de las decisiones unánimes es incorrecto. Con nueve, la proporción sube a 22,29 %, y con veinticinco llega a cerca del 60,75 %, aunque la probabilidad global de error de mayoría se mantenga próxima al 10 %. No hay contradicción en ello. La unanimidad actúa como un filtro cuya frecuencia depende del mecanismo de error: los fallos compartidos la cumplen siempre, mientras que muchas decisiones correctas dejan de cumplirla a medida que crece el número de participantes.

El acuerdo, entonces, no puede usarse como medida de confianza sin validación. Puede ser útil si se conoce su relación con la corrección en la población de interés, relación que debe estimarse sobre tareas con una referencia independiente y revisarse cuando cambian las fuentes o la arquitectura. Una explicación convincente redactada después de alcanzar acuerdo tampoco constituye una comprobación nueva, porque puede limitarse a racionalizar la misma premisa compartida.

474.6 Simulación y error Monte Carlo

Los valores exactos pueden contrastarse mediante simulación. Se generan muchas tareas con cinco agentes cada una. En el primer mecanismo, los errores se muestrean de forma independiente con tasa 0,19. En el segundo, primero se sortea la presencia del defecto compartido y después los errores individuales con tasa 0,10. Una semilla fija permite reproducir los resultados.

Morris, White y Crowther (2019) definen el error estándar Monte Carlo como la incertidumbre de una medida de rendimiento que se debe al número finito de repeticiones del experimento computacional. Esa incertidumbre no describe variabilidad clínica ni valida el mecanismo que generó los datos. Para una medida que es una proporción, los autores emplean la expresión binomial $\sqrt{\hat\theta(1-\hat\theta)/n_{\text{sim}}}$. El programa calcula esa cantidad con el valor teórico, expresa la diferencia entre simulación y teoría en unidades de error estándar y la acepta si queda por debajo de cuatro de esas unidades. Con la semilla 474, la diferencia es de 0,73 errores estándar en el mecanismo independiente y de 1,20 en el compartido.

from math import comb, sqrt
import numpy as np

def majority(n, p):
    """Probabilidad de que más de la mitad de n agentes independientes yerre (n impar)."""
    return sum(comb(n, k) * p**k * (1 - p)**(n - k) for k in range(n // 2 + 1, n + 1))

q, p = 0.10, 0.10                 # defecto compartido; error individual sin defecto
marginal = q + (1 - q) * p        # tasa marginal de cada agente: 0,19

# 1. Valores exactos de la tabla y de la unanimidad condicionada
for n in [1, 3, 5, 9, 25]:
    independent = majority(n, marginal)
    shared = q + (1 - q) * majority(n, p)
    wrong_unanimous = q + (1 - q) * p**n
    correct_unanimous = (1 - q) * (1 - p)**n
    conditional = wrong_unanimous / (wrong_unanimous + correct_unanimous)
    print(f"n={n:2d} indep={independent:.6f} compartido={shared:.6f} P(E|U)={conditional:.4f}")
assert np.isclose(majority(5, marginal), 0.0505275094)
assert np.isclose(q + (1 - q) * majority(5, p), 0.107704)

# 2. Simulación Monte Carlo con semilla fija (n = 5)
rng = np.random.default_rng(474)
repetitions, n = 200_000, 5
errors_independent = rng.random((repetitions, n)) < marginal
common = rng.random(repetitions) < q
errors_shared = (rng.random((repetitions, n)) < p) | common[:, None]
for name, errors, theory in [("independiente", errors_independent, majority(n, marginal)),
                             ("compartido", errors_shared, q + (1 - q) * majority(n, p))]:
    estimate = np.mean(errors.sum(axis=1) > n // 2)
    mcse = sqrt(theory * (1 - theory) / repetitions)
    z = (estimate - theory) / mcse
    assert abs(z) < 4, "discrepancia mayor que la esperable por azar Monte Carlo"
    print(f"{name}: estimado={estimate:.5f} teoría={theory:.6f} MCSE={mcse:.6f} z={z:+.2f}")

# 3. Verificación posterior: sensibilidad 0,90, alarmas falsas 0,05
error = q + (1 - q) * majority(5, p)
for name, detected in [("fuente_independiente", 0.90 * error),
                       ("misma_fuente", 0.90 * (error - q))]:
    false_alarm = 0.05 * (1 - error)
    accepted = 1 - detected - false_alarm
    residual = error - detected
    assert 0 <= residual <= accepted <= 1
    print(f"{name}: aceptados={accepted:.7f} error_aceptado={residual:.7f} "
          f"error_condicional={residual / accepted:.5f}")

# 4. Recorrido completo: adjudicación con error 0,08; 2 min de verificación, 20 de adjudicación
for name, detected in [("independiente", 0.9 * error), ("compartida", 0.9 * (error - q))]:
    deferred = detected + 0.05 * (1 - error)
    total_error = error - detected + 0.08 * deferred
    minutes = 1000 * (2 + 20 * deferred)
    print(f"circuito {name}: derivado={deferred:.7f} error_total={total_error:.9f} "
          f"minutos_por_1000={minutes:.3f}")

# 5. Dependencia: correlación, tamaño efectivo e identificación de la mezcla
cov = q + (1 - q) * p**2 - marginal**2
rho = cov / (marginal * (1 - marginal))
assert np.isclose(rho, 9 / 19)
for k in [5, 25]:
    print(f"n_ef({k}) = {k / (1 + (k - 1) * rho):.5f}")
q_rec = cov / (cov + (1 - marginal)**2)
p_rec = (marginal - q_rec) / (1 - q_rec)
assert np.isclose(q_rec, q) and np.isclose(p_rec, p)
print(f"covarianza={cov:.4f} correlación={rho:.5f} q_recuperado={q_rec:.2f} p_recuperado={p_rec:.2f}")

# 6. Disponibilidad conjunta de componentes indispensables (0,95 cada uno)
for k in [3, 5]:
    print(f"disponibilidad con {k} componentes = {0.95**k:.5f}")

El programa no usa modelos de lenguaje reales. Simula indicadores de error para aislar una relación matemática entre dependencia y agregación, y por eso sus resultados no pueden atribuirse a ningún proveedor ni versión. Un experimento posterior con herramientas reales necesitaría tareas representativas, referencias confiables, condiciones de acceso documentadas y registro de versiones. Que el código pase sus comprobaciones establece que implementa las reglas declaradas. No establece que esas reglas describan un sistema particular.

474.7 Qué aporta una verificación con información independiente

Con cinco agentes, la tasa de error de mayoría bajo el mecanismo compartido es 0,107704. Supongamos que una verificación posterior detecta el 90 % de las decisiones incorrectas que es capaz de reconocer y emite una alarma en el 5 % de las correctas. Las decisiones con alarma se derivan a otro procedimiento y el resto se acepta. El diseño introduce así una abstención con costo operativo, ya que los casos detectados no se convierten por sí solos en decisiones correctas.

Si la verificación puede reconocer tanto los defectos compartidos como los errores individuales, la fracción de errores que llega a aceptación es 0,0107704. Se acepta el 85,84516 % de las tareas y, dentro de ese subconjunto, la tasa de error es aproximadamente 0,01255. Esa mejora se paga derivando cerca del 14 % de las tareas, y para evaluar el sistema completo hay que estudiar qué ocurre con ellas, cuánto tardan en resolverse y qué recursos consumen.

Si la verificación consulta la misma fuente y no puede reconocer el defecto compartido, solo actúa sobre la fracción de errores independientes, que en este ejemplo es 0,007704. Pasa entonces a aceptación una fracción incorrecta de 0,1007704. La cobertura es mayor, cerca del 94,85 %, pero el error dentro de lo aceptado se mantiene en torno a 0,10625. Una verificación de este tipo emite pocas alarmas y aparenta eficiencia precisamente porque comparte la principal incapacidad del conjunto.

La independencia que importa depende del error que se busca. Para detectar un cálculo equivocado puede bastar otro algoritmo o una derivación manual. Para detectar una fuente mal atribuida hay que comprobar su identidad y su contenido. Una omisión en la entrada puede exigir acceso al documento original o a información adicional. Incorporar una herramienta distinta sin relacionarla con un mecanismo de fallo concreto deja sin respuesta la pregunta por su valor.

La verificación también puede tener errores correlacionados con los del conjunto, aunque use otra tecnología. Una regla de comprobación mal especificada puede aceptar sistemáticamente una salida incorrecta. Cemri y colaboradores (2025) anotaron 1.642 trazas de ejecución de siete marcos multiagente basados en LLM y propusieron una taxonomía de catorce modos de fallo agrupados en tres categorías: problemas de diseño del sistema, desalineación entre agentes y fallas de verificación de la tarea. Entre las últimas describieron verificadores que comprueban propiedades superficiales, como que un código compile, sin examinar si se cumplió el objetivo de la tarea. Conviene, por lo tanto, probar cada verificación con casos diseñados para activar fallos concretos y con ejemplos en los que debería abstenerse. El número de revisiones realizadas mide actividad; la capacidad de detectar los errores relevantes es otra propiedad, que necesita evaluación propia.

474.8 El recorrido completo: adjudicación, cobertura y tiempo

La verificación descrita en la sección anterior deja tareas pendientes de adjudicación. Para comparar sistemas completos, supongamos que todas se resuelven mediante un procedimiento adicional con tasa de error de 0,08, aplicada por igual a los errores detectados y a las falsas alarmas. Este valor es un parámetro del ejemplo, condicional al conjunto derivado. No puede sustituirse sin justificación por la tasa de un profesional o de un procedimiento evaluado en casos ordinarios, porque las tareas derivadas pueden ser más difíciles o contener problemas específicos.

Con verificación independiente se deriva una fracción de 0,1415484 de las tareas. Al error que pasó directamente a aceptación, 0,0107704, se suma el 8 % de esa fracción, y el error final del recorrido completo resulta 0,022094272. Con la verificación que comparte la fuente se deriva menos, 0,0515484, pero pasa directamente una cantidad mucho mayor de errores. Tras aplicar la misma tasa de fallo a la adjudicación, el error total es 0,104894272, casi cinco veces el anterior.

Informar solo el rendimiento de las decisiones aceptadas puede favorecer sistemas que derivan muchas tareas sin resolverlas bien. Una tasa baja entre los aceptados es un dato relevante, pero debe acompañarse de la cobertura, del resultado de la revisión y de la demora total. En este ejemplo se supuso que todas las tareas derivadas terminan resueltas. Si algunas quedaran pendientes, habría que registrarlas como un estado separado y no contarlas como correctas por el solo hecho de no haber producido una decisión.

Supongamos además dos minutos de verificación por tarea y veinte minutos por cada adjudicación. En mil tareas, la verificación independiente consume dos mil minutos iniciales y cerca de 2.830,968 de adjudicación, 4.830,968 en total. La que comparte la fuente consume 3.030,968 minutos. Su menor tiempo va unido a una peor detección del mecanismo principal de error. El presupuesto debe evaluarse junto con los resultados y con la capacidad disponible, sin tomar la rapidez o la escasez de alarmas como indicadores de seguridad.

474.9 Propagación de una premisa en una cadena de agentes

Pensemos en un agente que extrae una fecha de un documento, otro que calcula un intervalo a partir de ella y un tercero que redacta una conclusión. Si la primera etapa confunde la fecha de emisión con la fecha en que ocurrió el hecho, las siguientes pueden calcular y redactar sin falla respecto de una entrada equivocada. La exactitud local de cada etapa no impide un resultado final incorrecto. La evaluación debe incluir ejemplos en los que la entrada contenga varias fechas y comprobar que cada transformación conserva su significado.

Una cadena amplía el alcance de un error cuando lo reutiliza en varias salidas. La fecha incorrecta puede aparecer en una tabla, en un resumen y en una recomendación, y la concordancia entre esos productos no añade evidencia porque refleja una procedencia común. Si después otro agente usa la tabla para verificar el resumen, el sistema construye una comprobación circular. La trazabilidad debe permitir reconocer que ambos productos dependen de la misma extracción y dirigir la revisión hacia ella. El mismo fenómeno aparece cuando un modelo actúa como evaluador de otro. Kim y colaboradores (2025) observaron que un modelo usado como juez tendía a inflar la exactitud medida de modelos menos exactos que él, porque podía dar por correcta una respuesta equivocada que él mismo compartía, y que el efecto era más marcado entre modelos del mismo proveedor o familia.

Las correcciones también deben propagarse. Modificar el dato inicial sin invalidar los resultados derivados deja documentos internamente incompatibles. Representar las dependencias entre entradas, cálculos y conclusiones permite identificar qué salidas deben regenerarse cuando cambia un dato. Esa representación no exige atribuir comprensión al sistema; basta con conservar vínculos verificables y reglas de actualización. Su eficacia se comprueba introduciendo cambios deliberados en los datos y observando qué resultados se actualizan y cuáles quedan obsoletos.

El orden de trabajo afecta igualmente la independencia. Pedir a un revisor que juzgue primero la fuente y mostrarle después la propuesta no equivale a pedirle que busque argumentos para confirmarla. Cuánto difieren ambos procedimientos es una cuestión empírica, aunque la diferencia lógica es clara: el primero conserva un juicio inicial menos condicionado por la propuesta. Registrar en qué momento cada agente recibió cada información permite reconstruir esas influencias.

474.10 Disponibilidad, demoras y reglas de contingencia

La coordinación puede fallar aunque todas las respuestas producidas sean correctas. Si una decisión requiere tres componentes y cada uno está disponible con probabilidad 0,95, la disponibilidad conjunta bajo independencia es 0,857375. Con cinco componentes indispensables desciende a 0,77378. Añadir comprobaciones puede, entonces, reducir la proporción de tareas completadas si no se diseña una ruta de contingencia. Estas probabilidades son hipotéticas, y la independencia de los fallos operativos debe comprobarse igual que la de los errores de contenido.

En ejecución paralela, la demora suele quedar determinada por el componente más lento; en una cadena, se acumula entre etapas. El promedio de latencia por agente no describe necesariamente el tiempo total. Una política de tiempo límite cambia qué respuestas se incorporan y puede modificar el error. Si los casos difíciles tardan más, aceptar resultados antes de que lleguen sus revisiones introduce un sesgo de selección. La evaluación debería relacionar demora, dificultad y composición del conjunto de respuestas efectivamente disponible.

La contingencia puede consistir en esperar, reducir el alcance o derivar a revisión humana, y cada opción tiene costos y condiciones de uso. Continuar con menos agentes sin registrar el cambio mezcla arquitecturas distintas dentro de una misma medida de desempeño. Conviene identificar la configuración utilizada en cada tarea y evaluar por separado las rutas excepcionales, ya que una tasa global favorable puede ocultar que los errores se concentran en esos momentos.

Los fallos compartidos de infraestructura merecen la misma atención que los de información. Varios agentes que dependen del mismo servicio de búsqueda o del mismo repositorio pueden quedar fuera de servicio simultáneamente, y replicar interfaces no crea redundancia frente a esa dependencia. La arquitectura debe someterse a perturbaciones concretas, como la pérdida de una fuente o el retraso de un componente, para comprobar qué función asistencial sigue disponible en esas condiciones.

474.11 Cuánta información aportan agentes correlacionados

Los datos pareados de error permiten estimar cuánto aporta realmente aumentar el número de agentes. Si los indicadores de error tienen igual varianza y una correlación común $\rho$, la varianza de su promedio depende a la vez del número de componentes y de esa correlación.

Con $\rho=9/19$, cinco indicadores equivalen, para esa varianza, a unas 1,727 observaciones independientes, y veinticinco a unas 2,021. Cuando $n$ crece sin límite, el tamaño efectivo tiende a $1/\rho\approx2{,}11$. El término «efectivo» se refiere exclusivamente a la varianza del promedio bajo el supuesto de correlación común. No significa que los agentes se reduzcan literalmente a dos, ni autoriza a trasladar ese número a otras medidas como la unanimidad o la cobertura de una verificación. El cálculo tampoco entrega la probabilidad de error de mayoría; sirve para entender por qué el promedio deja de ganar precisión al ritmo que tendría bajo independencia.

La correlación no identifica por sí sola la causa compartida. Puede deberse a una fuente errónea, a casos difíciles que todos resuelven peor o a una regla de evaluación que afecta de modo parecido a varias respuestas. Para distinguir esas explicaciones conviene combinar los datos pareados con pruebas dirigidas y con revisión de procedencia. Si cambiar una fuente reduce los errores coincidentes, esa observación informa algo que la mera semejanza entre respuestas no informa. La literatura sobre conjuntos de clasificadores aconseja también cautela con las medidas de diversidad. Kuncheva y Whitaker (2003) compararon diez de ellas, entre otras el estadístico Q, la correlación y la doble falla, y encontraron que su relación con la exactitud del conjunto era clara en simulaciones controladas pero débil en experimentos con clasificadores reales, de modo que su utilidad para diseñar conjuntos más exactos quedó sin resolver.

En el mecanismo específico de este capítulo es posible recuperar la probabilidad del defecto común a partir de la tasa marginal y de la covarianza. Como $1-\bar p=(1-q)(1-p)$, el cociente entre la covarianza, 0,0729, y la suma de ella misma con $(1-\bar p)^2=0{,}6561$ vale exactamente 0,10, que es $q$. Conocido $q$, la tasa individual en ausencia del defecto se despeja de $\bar p=q+(1-q)p$. Esa identificación, sin embargo, descansa en suponer que el defecto hace fallar siempre a todos los agentes y que el resto de los errores es independiente. Otros mecanismos pueden producir momentos parecidos sin ajustarse a esa descripción.

Estimar los parámetros de una mezcla no confirma su interpretación causal. Una evaluación debería contrastar si las tareas con fallo compartido contienen efectivamente la condición propuesta y si una intervención sobre ella modifica el resultado. El modelo indica dónde buscar; la evidencia sobre el mecanismo proviene de observaciones y comparaciones que podrían contradecirlo. La distinción pesa más cuando el propio sistema produce explicaciones plausibles de sus errores.

474.12 Diseñar pruebas que revelen dependencia

Una prueba útil mantiene un conjunto de tareas con referencia independiente y registra todas las respuestas, incluidos desacuerdos y abstenciones. La tasa de error individual es solo el punto de partida. Interesa estimar cuántos errores coinciden, en qué tareas y bajo qué condiciones, y la comparación debe abarcar la salida agregada y las rutas de verificación. El rendimiento del conjunto no puede reconstruirse promediando medidas de componentes evaluados en muestras distintas.

Hay ya ejemplos de este tipo de evaluación en medicina. Un preprint de Vakili y colaboradores (2026), consultado aquí como preprint y solo a través de su resumen, sometió a cinco modelos multimodales a 150 ítems de identificación de estructuras anatómicas en imágenes radiológicas. Según el resumen, los errores no fueron independientes, la información conjunta de los cinco modelos equivalió a la de unos 3,6 modelos independientes y la unanimidad fue poco frecuente. El estudio interesa aquí por su diseño, que mide la dependencia entre modelos con medidas tomadas de la literatura sobre conjuntos de clasificadores; sus cifras deberán leerse con la cautela que corresponde a esa versión preliminar.

Los errores compartidos pueden investigarse también mediante perturbaciones dirigidas. Cambiar una fuente, retirar un antecedente o introducir una discrepancia controlada permite observar qué componentes la detectan. Estas pruebas requieren criterios de respuesta esperada definidos de antemano y no deben confundir datos sintéticos con casos reales. Un sistema que detecta una inconsistencia evidente puede seguir fallando ante una omisión plausible, de modo que conviene variar el tipo de anomalía y su dificultad.

También hay que examinar el desacuerdo. Un conjunto puede discrepar porque sus agentes interpretan la tarea de maneras distintas, y antes de leer esa diversidad como fortaleza debe comprobarse que todos responden a la misma pregunta con salidas comparables. En tareas con incertidumbre legítima, imponer unanimidad puede borrar matices útiles. La referencia debe admitir el desacuerdo razonable cuando corresponda y distinguirlo del error factual o del incumplimiento de una regla operativa.

La incertidumbre de estas comparaciones debe calcularse tomando la tarea como unidad. Si cinco agentes responden a los mismos mil casos, no se dispone de cinco mil observaciones independientes sobre el rendimiento institucional, porque las respuestas están agrupadas por caso y sus errores pueden coincidir. Respetar esa estructura al estimar intervalos o comparar arquitecturas evita una precisión artificial y permite analizar qué tipos de tareas concentran los desacuerdos y si las mejoras se distribuyen de forma consistente o dependen de un subconjunto reducido.

Finalmente, la evaluación puede comparar arquitecturas con igual presupuesto de tiempo o de costo. Cinco respuestas breves seguidas de una verificación externa pueden rendir de modo muy distinto que veinticinco respuestas basadas en la misma información. El modelo de este capítulo indica que, cuando domina un defecto compartido, sumar votantes deja de ser la intervención dirigida al mecanismo principal.

474.13 Responsabilidad sobre la configuración completa

La institución necesita saber qué decisiones delega en el conjunto y cuáles quedan sujetas a revisión. La multiplicación de agentes puede dificultar saber quién configuró una regla de agregación, quién autorizó una fuente o quién aceptó una salida excepcional. Esas funciones deben asignarse a personas o unidades con capacidad real de intervenir. Un registro de los mensajes intercambiados entre herramientas no reemplaza la definición de responsabilidades sobre su diseño y su uso.

Las explicaciones que produce el sistema deben distinguir la evidencia consultada de las inferencias internas. Si tres agentes citan la misma fuente, puede informarse esa coincidencia sin presentarla como tres respaldos independientes. Si una afirmación no pudo comprobarse, la salida debe conservar esa limitación. El lenguaje de consenso genera una confianza indebida cuando oculta que todas las conclusiones dependen de un mismo dato incierto, y la trazabilidad permite juzgar el fundamento con independencia del número de voces computacionales que lo repiten.

Las actualizaciones pueden alterar las dependencias. Cambiar el modelo de un agente, la fuente de recuperación o la instrucción del revisor puede modificar la correlación de errores aunque la exactitud individual permanezca estable. Los hallazgos de Kim y colaboradores (2025) sobre modelos de un mismo desarrollador sugieren que reemplazar un componente por otro de la misma familia puede aportar menos diversidad de la esperada. La evaluación del conjunto debe repetirse en los aspectos afectados por cada cambio, y conservar los resultados de versiones anteriores evita atribuir a la arquitectura vigente garantías que se obtuvieron para otra configuración.

El desacuerdo, por último, debería tener una consecuencia definida, ya sea una búsqueda adicional, una adjudicación o una abstención. Si el sistema resuelve siempre a favor del agente que responde primero o del que redacta con mayor seguridad, esa regla tiene que hacerse visible y evaluarse. La calidad de la coordinación depende de cómo se tratan los conflictos, y no solo de que los componentes intercambien mensajes sin errores técnicos.

474.14 Alcance de la demostración formal

La comparación mantuvo constante la tasa individual de error y modificó solo su dependencia. Bajo independencia, aumentar el número de agentes redujo con rapidez el error de mayoría; con una causa compartida apareció un piso que la votación no podía atravesar. La unanimidad mostró además un efecto de selección, porque entre las decisiones que la cumplían se concentraban los fallos comunes. En el recorrido completo, la verificación con información independiente redujo el error final a costa de derivar más tareas, y la que compartía la fuente pareció más eficiente porque no veía el error principal. Estas conclusiones se siguen del mecanismo elegido y no requieren atribuir intenciones ni capacidades humanas a los agentes.

Una aplicación real tendrá dependencias más complejas, errores de distinta gravedad y respuestas que no se reducen a una decisión binaria. El modelo debería ampliarse solo cuando esa complejidad ayude a responder una pregunta definida y existan datos que la sostengan. Una evaluación inicial razonable conserva una tarea delimitada, estima los errores compartidos con referencia independiente y estudia qué verificaciones aportan información nueva. Ese resultado sería más útil que una afirmación general sobre la superioridad de los sistemas multiagente basada en su acuerdo interno.

Referencias

Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A., Chopra, B., Tiwari, R., Keutzer, K., Parameswaran, A., Klein, D., Ramchandran, K., Zaharia, M., Gonzalez, J. E., y Stoica, I. (2025). Why do multi-agent LLM systems fail? En 39th Conference on Neural Information Processing Systems (NeurIPS 2025), Datasets and Benchmarks Track. https://doi.org/10.48550/arXiv.2503.13657

Dietterich, T. G. (2000). Ensemble methods in machine learning. En J. Kittler y F. Roli (eds.), Multiple Classifier Systems. Lecture Notes in Computer Science, 1857 (pp. 1–15). Springer. https://doi.org/10.1007/3-540-45014-9_1

Kaniovski, S., y Zaigraev, A. (2011). Optimal jury design for homogeneous juries with correlated votes. Theory and Decision, 71(4), 439–459. https://doi.org/10.1007/s11238-009-9170-2

Kim, E., Garg, A., Peng, K., y Garg, N. (2025). Correlated errors in large language models. En Proceedings of the 42nd International Conference on Machine Learning (PMLR 267). https://doi.org/10.48550/arXiv.2506.07962

Kuncheva, L. I., y Whitaker, C. J. (2003). Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy. Machine Learning, 51, 181–207. https://doi.org/10.1023/A:1022859003006

Ladha, K. K. (1992). The Condorcet jury theorem, free speech, and correlated votes. American Journal of Political Science, 36(3), 617–634. https://doi.org/10.2307/2111584

Morris, T. P., White, I. R., y Crowther, M. J. (2019). Using simulation studies to evaluate statistical methods. Statistics in Medicine, 38(11), 2074–2102. https://doi.org/10.1002/sim.8086

Vakili, B., Ahmad, A., Nadarasa, A., et al. (2026). Correlated errors and the limits of multimodel consensus in radiologic anatomy identification by multimodal large language models: Comparative evaluation study [Preprint]. JMIR Preprints. https://doi.org/10.2196/preprints.112387