Caso resuelto: evaluar un sistema de seguimiento con IA

480.1 La decisión que debe tomar el servicio

Un servicio ambulatorio de salud mental estudia incorporar apoyo automatizado para revisar solicitudes y organizar el seguimiento. Dentro del circuito definido para la evaluación recibe mil episodios al mes. La propuesta resume la información disponible, señala los episodios que podrían necesitar un contacto y prepara la solicitud para el equipo que debe ejecutarlo. La dirección tiene que decidir si la implementa, la modifica o la descarta. La pregunta abarca qué ocurre con la atención, el trabajo y los costos a lo largo de todo el recorrido, y no solo si el clasificador identifica más casos.

El caso es sintético. Sus tasas, tiempos y recursos se eligieron para comparar mecanismos y no describen una institución real. La necesidad de contacto se define mediante una referencia independiente aplicada a todos los episodios del ejercicio, y se supone que doscientos requieren seguimiento y ochocientos no lo requieren dentro de la tarea delimitada. Esa clasificación no equivale a un diagnóstico ni determina la atención total que recibe una persona. El análisis se limita a una función específica del servicio y da por sentado que las demás rutas asistenciales siguen operando fuera de ella.

El resultado principal es un contacto pertinente completado dentro del plazo operativo acordado para el circuito. También se registran los contactos no pertinentes respecto de la referencia, las necesidades que quedan sin contacto y las horas de trabajo. Un contacto pertinente no demuestra por sí mismo un beneficio clínico posterior, y una institución que quiera hacer afirmaciones sobre salud tendrá que investigar esas consecuencias con otro diseño. Aquí se resuelve primero la comparación operativa, con el propósito de identificar qué condiciones harían razonable una evaluación clínica posterior y cuáles obligarían a rediseñar antes.

Dos documentos de consenso ayudan a ordenar las preguntas. DECIDE-AI (Vasey et al., 2022) es una guía para informar evaluaciones clínicas tempranas y de pequeña escala de sistemas de apoyo a decisiones basados en IA, es decir, estudios en que las decisiones apoyadas ya tienen efecto real sobre la atención. Sus autores aclaran que no prescribe un diseño de estudio. FUTURE-AI (Lekadir et al., 2025) propone seis principios (equidad, universalidad, trazabilidad, usabilidad, robustez y explicabilidad) y treinta recomendaciones que abarcan el ciclo de vida completo, desde el diseño hasta el despliegue y la vigilancia posterior. Ninguno de los dos documentos aporta las tasas de este caso ni demuestra la utilidad de la propuesta. Los resultados que siguen proceden de un modelo explícito y deben leerse como consecuencias condicionales de sus supuestos.

480.2 Describir el recorrido antes de comparar

Cada episodio pasa por una revisión inicial, una decisión sobre si solicitar contacto, una transferencia al equipo encargado y la ejecución del contacto. La clasificación puede producir verdaderos positivos, falsos positivos o necesidades que pasan inadvertidas. La transferencia puede perder solicitudes cuando la información llega incompleta o la asignación es confusa. Por último, el equipo puede completar como máximo doscientos sesenta contactos en el período. El modelo mantiene separados estos componentes para no atribuir al algoritmo toda la distancia entre la necesidad detectada y la atención efectivamente realizada.

La capacidad se representa de forma agregada. Si llegan más solicitudes ejecutables que plazas disponibles, se supone que las plazas se reparten en proporción a la composición de las solicitudes, de modo que contactos pertinentes y no pertinentes se recortan en la misma fracción. Esta regla no pretende reproducir una política clínica deseable; solo simplifica el cálculo para mostrar el efecto de la congestión. También se supone que, dentro de cada escenario, la probabilidad de transferencia es la misma para solicitudes pertinentes y no pertinentes, salvo en la sección dedicada a la desigualdad de acceso.

Las horas comprenden la revisión inicial de todos los episodios, la revisión adicional de las propuestas cuando existe, la ejecución de los contactos y un conjunto de tareas fijas de formación, soporte o mantenimiento. El presupuesto del ejemplo es de doscientas cuarenta horas mensuales para todas esas actividades, y cada contacto completado consume quince minutos. Las tareas fijas difieren entre alternativas porque no todas requieren el mismo soporte, y su inclusión impide tratar como gratuitos el mantenimiento del sistema o la modificación del procedimiento habitual.

Conviene advertir desde ahora que el modelo trata la capacidad de contactos y el presupuesto de horas como dos restricciones distintas. Las doscientas sesenta plazas corresponden al equipo que ejecuta los contactos y no aumentan dentro del período aunque la revisión inicial libere horas en otra parte del servicio. El presupuesto de horas, en cambio, se verifica después de calcular cada configuración: el modelo no lo impone, no redistribuye horas sobrantes hacia nuevos contactos y no busca la combinación de parámetros más conveniente. Es una herramienta didáctica para comparar cinco configuraciones fijadas de antemano y no debe usarse como optimizador institucional.

La comparación incluye una alternativa organizacional sin IA. Si una herramienta nueva solo se enfrenta a un procedimiento habitual que admite mejoras evidentes, cualquier ventaja puede atribuirse indebidamente a la automatización, cuando rediseñar formularios, aclarar responsabilidades o mejorar transferencias también puede cambiar los resultados. La institución necesita comparar opciones factibles con definiciones de costo y resultado comunes a todas. Las mejoras supuestas para cada opción tendrán que comprobarse después, y ninguna merece más crédito por ser tecnológica o por ser convencional.

480.3 El procedimiento habitual

La revisión habitual identifica al setenta por ciento de los doscientos episodios que requieren contacto, con lo que produce ciento cuarenta verdaderos positivos y deja sesenta necesidades sin identificar. Su especificidad es de ochenta y cinco por ciento, de manera que genera ciento veinte solicitudes entre los ochocientos episodios que no requieren esa acción. En total se emiten doscientas sesenta solicitudes.

Si hay capacidad, el noventa y cinco por ciento de las solicitudes llega a completarse. Se ejecutan entonces doscientos cuarenta y siete contactos, de los cuales ciento treinta y tres son pertinentes y ciento catorce no lo son según la referencia. La capacidad máxima no llega a limitar este escenario. Quedan sesenta y siete necesidades sin contacto, sesenta porque no fueron identificadas y siete porque se perdieron en la transferencia o en la ejecución. La distinción importa, porque cada pérdida pide una intervención diferente.

La revisión inicial consume diez minutos por episodio, lo que equivale a 166,67 horas mensuales. Los contactos completados añaden 61,75 horas y las tareas fijas otras diez. El total ronda las 238,42 horas, dentro del presupuesto pero con muy poco margen. Este resultado funciona como comparador inicial, sin pretensión de óptimo ni de estándar clínico.

480.4 La propuesta automatizada inicial

El clasificador propuesto tiene una sensibilidad de noventa por ciento y una especificidad de ochenta por ciento. Identifica ciento ochenta necesidades, pero genera ciento sesenta falsos positivos, y las solicitudes suben a trescientas cuarenta. La revisión inicial se reduce a tres minutos por episodio y se asignan treinta y cinco horas fijas a soporte, formación y vigilancia. La integración inicial, sin embargo, solo consigue transferir el ochenta por ciento de las solicitudes antes de que entre en juego el límite de capacidad.

Llegan así doscientas setenta y dos solicitudes ejecutables para doscientas sesenta plazas. Con el reparto proporcional se completan cerca de 137,65 contactos pertinentes y 122,35 no pertinentes. Frente a los ciento treinta y tres contactos pertinentes del procedimiento habitual, la mejora es pequeña pese al aumento de sensibilidad, porque la congestión y las pérdidas de transferencia absorben buena parte de la ganancia técnica. Al mismo tiempo crecen los contactos no pertinentes, que ocupan capacidad y pueden imponer cargas innecesarias a las personas contactadas.

Las horas totales bajan a ciento cincuenta: cincuenta de revisión inicial, sesenta y cinco de contactos y treinta y cinco fijas. El ahorro es considerable, pero no demuestra que la propuesta sea preferible en todos los aspectos. La dirección tendría que decidir cuánto vale la pequeña ganancia operativa, qué consecuencias tienen los contactos no pertinentes adicionales y si el tiempo liberado puede aprovecharse de verdad. En este escenario se ve con claridad la separación entre las dos restricciones descritas antes, ya que sobran noventa horas del presupuesto mientras la capacidad de contactos está saturada.

Mejorar únicamente la transferencia de esta propuesta, hasta el noventa y cinco por ciento, no aumentaría los contactos pertinentes mientras la capacidad siga saturada y se mantenga la misma mezcla de solicitudes. Llegarían trescientas veintitrés solicitudes ejecutables para las mismas doscientas sesenta plazas y la regla proporcional volvería a dar 137,65 contactos pertinentes. Hace falta actuar sobre la composición de las solicitudes o sobre la capacidad, además de la coordinación.

480.5 Revisar propuestas y reparar la coordinación

Una segunda versión añade revisión profesional de todas las propuestas positivas. El ejercicio supone que esa revisión elimina la mitad de los falsos positivos y que, por error, descarta también el cinco por ciento de los verdaderos positivos. Quedan propuestos ciento setenta y un contactos pertinentes y ochenta no pertinentes. La revisión cuesta cuatro minutos por cada una de las trescientas cuarenta propuestas originales, es decir, 22,67 horas. Tanto su eficacia como sus errores son supuestos que habría que observar en el uso real.

Si la coordinación se mantiene en ochenta por ciento, se completan 136,80 contactos pertinentes y sesenta y cuatro no pertinentes, sin saturar la capacidad, y las horas ascienden a unas 157,87. La revisión reduce de forma marcada los contactos no pertinentes, pero apenas modifica la cobertura de necesidades respecto de la propuesta inicial, que incluso queda levemente por debajo. Sería incorrecto describirla como una capa de supervisión perfecta o suponer que cualquier revisión humana mejora a la vez todos los resultados.

La versión modificada combina esa revisión con una transferencia de noventa y cinco por ciento. Se completan 162,45 contactos pertinentes y setenta y seis no pertinentes, de nuevo sin saturar la capacidad. El total de contactos es de 238,45 y el trabajo mensual alcanza unas 167,28 horas. Frente al procedimiento habitual se obtienen 29,45 contactos pertinentes más y treinta y ocho contactos no pertinentes menos. La mejora procede de la combinación de clasificación, revisión y coordinación, y la sensibilidad del clasificador por sí sola explica poco de ella.

480.6 Una alternativa sin automatización

El servicio considera también rediseñar la revisión habitual y mejorar la transferencia sin incorporar IA. Para el escenario se supone que un formulario más claro y una formación específica elevan la sensibilidad a ochenta por ciento y la especificidad a noventa por ciento. La revisión inicial pasa a ocho minutos por episodio, la transferencia alcanza el noventa y ocho por ciento y las tareas fijas suman treinta horas, formación incluida. Estas mejoras tampoco se dan por demostradas y deben evaluarse con el mismo rigor que la propuesta automatizada.

Se generan ciento sesenta verdaderos positivos y ochenta falsos positivos, y se completan 156,80 contactos pertinentes y 78,40 no pertinentes con 222,13 horas de trabajo. La alternativa supera con holgura al procedimiento habitual y queda cerca de la IA modificada, a una distancia de 5,65 contactos pertinentes mensuales con los parámetros elegidos. Si la propuesta se hubiera comparado solo con el procedimiento inicial, la ganancia atribuible a la automatización habría parecido mucho mayor que la que se observa frente a una alternativa organizacional plausible.

La opción con IA modificada usa unas 54,85 horas menos que el rediseño sin IA. Para traducir esa diferencia a dinero se introduce un valor sintético de treinta unidades monetarias por hora, al que la opción automatizada debe sumar un costo adicional de licencia y servicio. El ahorro laboral equivale a 1.645,625 unidades por período. Ese es el costo adicional con el que ambas opciones costarían exactamente lo mismo bajo esta contabilidad, que no asigna valor monetario a las diferencias de resultado ni incluye partidas omitidas en el modelo.

Si el costo adicional fuera de mil quinientas unidades, la opción con IA costaría 6.518,375 y la alternativa sin IA 6.664, con una diferencia favorable de 145,625 unidades. Si subiera a dos mil, la opción automatizada costaría 354,375 unidades más. Son cantidades hipotéticas y no precios de mercado. El ejercicio muestra qué dato contractual puede invertir la comparación y por qué debe revisarse junto con el trabajo que cada opción exige. Obliga, además, a averiguar qué parte del tiempo ahorrado es un recurso que el servicio puede recuperar en la práctica.

480.7 Código del modelo institucional

El modelo se resume en las expresiones siguientes:

Aquí, $s$ y $c$ son la sensibilidad y la especificidad; $T_0$ y $F_0$, las propuestas verdaderas y falsas antes de revisar; $r_T$ y $r_F$, las fracciones que se conservan después de la revisión; $a$, la proporción transferida; $g$, la fracción de solicitudes ejecutables que cabe en la capacidad; y $R$ e $I$, los contactos pertinentes y no pertinentes completados. En la ecuación de horas, $m_0$ y $m_r$ son los minutos de revisión inicial y de revisión adicional, el término $(R+I)/4$ corresponde a quince minutos por contacto y $H_f$ son las horas fijas. Si no hay solicitudes transferibles, ambos resultados se definen como cero.

El cálculo aplica primero la clasificación, después la revisión opcional y por último la coordinación y la capacidad, manteniendo separados en cada paso los falsos positivos y las necesidades detectadas. El costo de la revisión adicional se calcula sobre las propuestas originales, porque todas deben examinarse antes de decidir cuáles se descartan. La función impone el límite de doscientos sesenta contactos mediante el reparto proporcional; el presupuesto de doscientas cuarenta horas se comprueba fuera de ella y solo para las cinco configuraciones del caso, de modo que otros parámetros podrían producir configuraciones que lo excedan sin que la función lo impida. Las comprobaciones verifican los resultados de cada alternativa, el punto de igualdad de costos y el escenario por grupos de la sección siguiente. El modelo calcula esperanzas agregadas, y sus salidas fraccionarias no son conteos observados de personas.

from math import isclose

EPISODES, NEEDS, CAPACITY, BUDGET_HOURS = 1000, 200, 260, 240

def service(sensitivity, specificity, coordination, initial_minutes,
            review_minutes=0, keep_tp=1, keep_fp=1, fixed_hours=10,
            needs=NEEDS, episodes=EPISODES, capacity=CAPACITY):
    """Esperanzas mensuales de una configuración del circuito.

    Impone el límite de capacidad de contactos (reparto proporcional),
    pero no impone el presupuesto de horas: las horas se calculan y se
    comparan después con BUDGET_HOURS fuera de la función.
    """
    tp = needs*sensitivity
    fp = (episodes-needs)*(1-specificity)
    original_alerts = tp+fp
    tp, fp = tp*keep_tp, fp*keep_fp
    transferable = (tp+fp)*coordination
    allocation = min(1, capacity/transferable) if transferable else 0
    relevant = tp*coordination*allocation
    irrelevant = fp*coordination*allocation
    completed = relevant+irrelevant
    hours = (episodes*initial_minutes/60
             + original_alerts*review_minutes/60
             + completed*.25 + fixed_hours)
    assert completed <= capacity+1e-9
    assert relevant <= needs+1e-9
    return {'relevant': relevant, 'irrelevant': irrelevant,
            'unmet': needs-relevant, 'hours': hours,
            'saturated': transferable > capacity}

configurations = {
    'usual': (.7, .85, .95, 10, 0, 1, 1, 10),
    'AI_initial': (.9, .8, .8, 3, 0, 1, 1, 35),
    'AI_review': (.9, .8, .8, 3, 4, .95, .5, 35),
    'AI_modified': (.9, .8, .95, 3, 4, .95, .5, 35),
    'redesign_no_AI': (.8, .9, .98, 8, 0, 1, 1, 30),
}
results = {name: service(*args) for name, args in configurations.items()}
targets = {'usual': 133, 'AI_initial': 137.64705882352942,
           'AI_review': 136.8, 'AI_modified': 162.45,
           'redesign_no_AI': 156.8}
for name, result in results.items():
    assert isclose(result['relevant'], targets[name], abs_tol=1e-9)
    # Control externo del presupuesto: vale para estas cinco
    # configuraciones, no para parámetros arbitrarios.
    assert result['hours'] <= BUDGET_HOURS
    print(name, {k: round(v, 4) if isinstance(v, float) else v
                 for k, v in result.items()})

# Mejorar solo la transferencia de la propuesta inicial no cambia nada
# mientras la capacidad siga saturada.
only_transfer = service(.9, .8, .95, 3, fixed_hours=35)
assert only_transfer['saturated']
assert isclose(only_transfer['relevant'], targets['AI_initial'])

# Comparación económica sintética (30 unidades por hora).
ai_hours = results['AI_modified']['hours']
other_hours = results['redesign_no_AI']['hours']
break_even_fee = (other_hours-ai_hours)*30
assert isclose(break_even_fee, 1645.625, abs_tol=1e-8)
assert isclose(ai_hours*30+1500, 6518.375, abs_tol=1e-8)
assert isclose(other_hours*30, 6664, abs_tol=1e-8)
assert isclose(ai_hours*30+2000-other_hours*30, 354.375, abs_tol=1e-8)
print('Costo adicional de equilibrio:', round(break_even_fee, 3))

# Coordinación desigual por grupo (A: 600 episodios, 90 necesidades;
# B: 400 episodios, 110 necesidades). El procedimiento habitual y el
# rediseño mantienen la misma transferencia en ambos grupos.
groups = {'A': (600, 90, .95), 'B': (400, 110, .70)}
total_ai = total_usual = total_redesign = load = 0
for g, (n, k, coord) in groups.items():
    kw = dict(needs=k, episodes=n, capacity=float('inf'))
    ai = service(.9, .8, coord, 3, 4, .95, .5, 35, **kw)
    usual = service(.7, .85, .95, 10, **kw)
    redesign = service(.8, .9, .98, 8, fixed_hours=30, **kw)
    total_ai += ai['relevant']
    total_usual += usual['relevant']
    total_redesign += redesign['relevant']
    load += ai['relevant']+ai['irrelevant']
    print(g, round(ai['relevant'], 4), round(usual['relevant'], 4),
          round(redesign['relevant'], 4))
assert load < CAPACITY   # sin saturación en el escenario por grupos
assert isclose(total_ai, 138.9375)
assert isclose(total_usual, 133)
assert isclose(total_redesign, 156.8)
required_coordination_b = (.8*.98)/(.9*.95)
assert isclose(required_coordination_b, .9169590643274854)
print('Coordinación B para igualar el rediseño:',
      round(required_coordination_b, 5))

En el escenario por grupos, la función se llama con capacidad ilimitada para obtener la carga de cada grupo por separado; la aserción posterior comprueba que la suma de contactos queda por debajo de las doscientas sesenta plazas, condición necesaria para que ese tratamiento sea legítimo.

480.8 Un promedio favorable puede ocultar una pérdida

Dividamos los mil episodios en un grupo A de seiscientos, con noventa necesidades, y un grupo B de cuatrocientos, con ciento diez. La sensibilidad y la especificidad de cada alternativa son las mismas en ambos grupos, pero ahora se supone que la coordinación de la versión modificada alcanza el noventa y cinco por ciento en A y solo el setenta por ciento en B. El procedimiento habitual y el rediseño sin IA conservan su transferencia de noventa y cinco y noventa y ocho por ciento en los dos grupos, de modo que la barrera afecta únicamente a la integración de la herramienta. La diferencia representa una dificultad de integración o de acceso propia del escenario. La capacidad no se satura en esta comparación.

En A se completan unos 73,10 contactos pertinentes con la versión modificada, frente a 59,85 con el procedimiento habitual. En B se completan 65,835, frente a 73,15. El total sube a cerca de 138,94, por encima de los ciento treinta y tres del procedimiento habitual, mientras el grupo B pierde 7,315 contactos pertinentes esperados. La dirección no podría presentar el promedio favorable como una mejora para ambos grupos. Tendría que investigar la barrera y decidir qué condiciones de distribución exige antes de ampliar el uso. La comparación con el rediseño es todavía más desfavorable: el rediseño, cuya transferencia no depende del grupo, completa 70,56 contactos pertinentes en A y 86,24 en B, con un total de 156,80, muy por encima de los 138,94 de la versión con IA bajo coordinación desigual.

Para igualar dentro de B la cobertura del rediseño, la coordinación de la versión modificada tendría que llegar a 0,91696 aproximadamente, manteniendo constantes los demás parámetros. La cifra resulta de igualar, en ambas opciones, el producto de la sensibilidad, la fracción de verdaderos positivos que sobrevive a la revisión y la transferencia, es decir, 0,9 × 0,95 × a = 0,8 × 0,98. No es un estándar universal. Es un umbral propio del caso, y muestra lo lejos que está una coordinación de setenta por ciento de sostener la comparación favorable. Aunque el clasificador sea idéntico para ambos grupos, la prioridad de mejora puede estar en el recorrido del servicio.

480.9 Evaluación, autorización y seguimiento

La decisión necesita una evaluación temprana que mida por separado la propuesta algorítmica, la revisión profesional y la ejecución. La referencia de necesidad debe obtenerse también en episodios sin alerta, porque de otro modo no pueden estimarse las necesidades omitidas. Una evaluación retrospectiva del clasificador no permite estimar por sí sola ni la coordinación ni el comportamiento de quienes revisan, y el diseño debe observar ambos en condiciones de uso sin presentar los supuestos del modelo como resultados ya medidos. DECIDE-AI pide precisamente informar el contexto de la evaluación, el flujo asistencial en que se usa el sistema, quién toma la decisión final, las curvas de aprendizaje de los usuarios y las modificaciones introducidas durante el estudio (Vasey et al., 2022).

La autorización de las personas debe corresponder a funciones concretas. Aceptar apoyo para resumir información no equivale a autorizar cambios automáticos del plan de seguimiento. La versión propuesta deja las decisiones clínicas y las modificaciones del plan dentro de responsabilidades definidas, y el sistema debe permitir revisar el contenido y explicar qué acciones ejecutará. Si la evaluación amplía después las funciones, habrá que revisar alcance y controles.

El seguimiento incluye indicadores de datos inválidos, cambios de población, errores adjudicados y episodios pendientes, y cada indicador necesita un responsable y una acción prevista. Las reglas de suspensión deben contemplar fallos concretos de integración y deterioros relevantes, además de las señales estadísticas agregadas. FUTURE-AI recomienda auditorías y actualizaciones periódicas, una gobernanza especificada después del despliegue y responsabilidades claras ante errores, y entre sus ejemplos de mitigación de riesgos menciona la suspensión del sistema y el regreso a un procedimiento alternativo o al juicio humano (Lekadir et al., 2025). La continuidad requiere, por tanto, una ruta alternativa con capacidad comprobada. La institución no debería depender de una herramienta cuya retirada deje solicitudes abiertas sin responsable ni procedimiento de recuperación.

480.10 Qué observaciones necesita el estudio inicial

El estudio debe empezar por describir cómo se obtuvo la referencia de necesidad. Una revisión hecha después de conocer la recomendación puede quedar influida por ella, de modo que conviene definir qué información se usa para adjudicar, qué criterios resuelven los desacuerdos y en qué momento se revisa. Algunos episodios admiten más de una decisión razonable, y forzarlos a una etiqueta inequívoca produciría una precisión engañosa. La referencia sirve para evaluar una tarea delimitada, pero su propia consistencia y su pertinencia clínica también tienen que evaluarse.

Las pérdidas de seguimiento deben mantenerse en el denominador que corresponde. Si una solicitud nunca llega al equipo, excluirla del análisis de contactos ejecutados oculta justamente el fallo que el sistema necesita resolver. Es útil informar el rendimiento entre las solicitudes recibidas y también los resultados calculados sobre todos los episodios elegibles, porque la diferencia entre ambos niveles localiza las pérdidas del recorrido. Hay que describir además los episodios procesados por la ruta alternativa, ya que su resultado pertenece a la implementación completa. Un componente automatizado puede parecer excelente cuando solo se evalúan las entradas que consiguió aceptar sin dificultad.

La comparación prospectiva necesita una forma de asignación que permita interpretar las diferencias. Podría organizarse por períodos o por unidades, pero ambas opciones introducen cambios de demanda, efectos de aprendizaje y dependencia entre observaciones que exigen un tratamiento metodológico propio. Si la interfaz cambia durante el estudio, las observaciones anteriores y posteriores no deben mezclarse como si correspondieran al mismo sistema. El registro de versiones permite relacionar los resultados con las condiciones de uso y decidir si un cambio exige una nueva fase de evaluación antes de ampliar el alcance.

La evaluación debe recoger también la experiencia y la carga de las personas atendidas. Quien recibe un contacto que la referencia considera no pertinente puede valorarlo de otra manera, y un contacto pertinente puede resultar difícil de completar. Conviene incluir entrevistas o medidas sencillas de utilidad, comprensión y esfuerzo, con procedimientos para escuchar a quienes abandonan la interacción. Un informe limitado a quienes completaron el circuito seleccionaría a las personas que encontraron menos obstáculos para usarlo.

480.11 Sensibilidad a la capacidad y a los tiempos reales

La capacidad mensual de doscientos sesenta contactos simplifica una dinámica temporal. Un servicio podría disponer de horas suficientes en el mes y, aun así, incumplir plazos por concentraciones de demanda o ausencias en días concretos. La evaluación debe medir llegadas, tiempos de espera y asignación de tareas. Si la herramienta emite solicitudes en grandes lotes, puede crear picos que el procedimiento anterior repartía a lo largo de la semana. Esa diferencia no aparece en una esperanza mensual y podría alterar la preferencia entre alternativas.

La regla proporcional que se aplica cuando falta capacidad tampoco puede mantenerse sin revisión. En la práctica, el equipo puede priorizar con información adicional y mejorar la proporción de contactos pertinentes, pero también puede favorecer los episodios más fáciles de ejecutar y dejar fuera necesidades complejas. Ambas posibilidades requieren observación, porque la proporción de verdaderos positivos entre las solicitudes no determina por sí sola la composición de lo que finalmente se atiende. El caso usa una regla transparente para mostrar la congestión; reemplazarla por una política real exige describir quién decide, con qué datos y con qué efectos sobre la distribución.

El tiempo de revisión adicional podría aumentar cuando la herramienta genera propuestas difíciles de interpretar. Cuatro minutos por solicitud es un promedio supuesto, no una propiedad de la interfaz, y deben medirse la variación y la concentración del trabajo además de la media. Si esos episodios se excluyen o se derivan a otra unidad, su costo debe seguirlos en la contabilidad. La comparación institucional pierde validez cuando presenta como ahorro el simple traslado de una tarea fuera de la unidad que se está midiendo.

La capacidad liberada necesita un destino plausible. Reducir la revisión inicial de diez a tres minutos por episodio puede permitir más atención, pero también puede fragmentar el tiempo en intervalos que nunca se convierten en nuevas citas. El servicio debería observar qué actividades cambian efectivamente y si el ahorro modifica la carga o la disponibilidad del personal. Si la decisión económica depende de horas recuperadas, sin embargo, hay que distinguir entre el ahorro calculado, el tiempo realmente disponible y la reducción efectiva del gasto, tres magnitudes relacionadas que no se producen necesariamente juntas.

480.12 Aprendizaje del sistema y nuevas observaciones

Si la herramienta se actualiza con resultados posteriores, hay que examinar cómo influyó su propio uso en esos datos. Los episodios priorizados reciben más contactos y pueden producir información distinta de la que generan los no priorizados. Una disminución de los problemas observados entre los primeros puede reflejar una intervención útil, una selección inicial o diferencias de medición. Reentrenar sobre esos datos sin registrar las acciones tomadas puede alterar la relación entre la puntuación y la necesidad. Perdomo et al. (2020) llamaron performativas a las predicciones que, al orientar decisiones, influyen en el resultado que intentan predecir. Cuando ese efecto se ignora, se manifiesta como un desplazamiento de la distribución que suele corregirse reentrenando, y los autores muestran que el reentrenamiento repetido converge a un punto estable solo bajo condiciones formales precisas. Su análisis es teórico y su parte empírica se refiere a simulaciones de clasificación estratégica en crédito, no a servicios clínicos, de modo que aquí se usa como marco conceptual. La consecuencia práctica para el caso es conservar el circuito de predicción, decisión y observación como parte del análisis, tal como se desarrolló en el módulo.

El aprendizaje profesional también modifica el sistema. Con la experiencia, el equipo puede detectar mejor los errores de la herramienta o, al contrario, aceptar sus recomendaciones con menos revisión. La evaluación temprana debe registrar la formación y la exposición acumulada sin presuponer una dirección única del cambio. Una mejora inicial no garantiza estabilidad, y una incorporación difícil no demuestra un fracaso permanente. A la institución le interesa saber qué condiciones sostienen el rendimiento, más que obtener una media sobre etapas heterogéneas.

Los cambios de población pueden modificar el valor predictivo de las propuestas aunque la sensibilidad y la especificidad se mantengan constantes. El caso usó doscientas necesidades entre mil episodios; si esa proporción disminuye, una fracción mayor de las solicitudes corresponderá a falsos positivos. La vigilancia debe mantener los denominadores y examinar la composición de las solicitudes antes de interpretar cualquier cambio en la tasa de aceptación como conducta inapropiada de los profesionales. También debe evitar ajustar umbrales con el único fin de conservar el volumen de solicitudes cuando eso altera la cobertura de necesidades sin una decisión explícita sobre sus consecuencias.

El sistema debe contar con una política de actualización. No conviene modificar a la vez el modelo, la revisión profesional y la transferencia, porque después no podría reconocerse qué produjo un resultado. La versión que se compara con la alternativa sin IA debe describirse con detalle suficiente para reproducir el flujo. Que el nombre comercial se mantenga no garantiza que la herramienta conserve las mismas propiedades durante todo el período de observación.

480.13 Responsabilidades y continuidad del servicio

La dirección institucional autoriza el alcance de la evaluación y asigna recursos para las tareas que el proveedor no puede ejecutar. El equipo clínico define el papel de las recomendaciones y revisa las discrepancias pertinentes. La unidad de coordinación responde por la recepción, la asignación y el seguimiento de las solicitudes, y el soporte técnico mantiene las integraciones y los registros. Esta distribución identifica funciones operativas y no agota las responsabilidades jurídicas. Cuando una tarea atraviesa varias unidades, alguien debe encargarse de comprobar que el recorrido se completó y de resolver las transferencias fallidas.

Las personas atendidas deben poder solicitar una revisión sin necesidad de entender el funcionamiento interno del modelo. El servicio puede explicar qué información se usó y qué decisión corresponde a cada persona o unidad. Una reclamación por datos incorrectos requiere una respuesta distinta de una reclamación por falta de contacto, aunque ambas puedan terminar relacionadas, y cada una debe investigarse en su recorrido concreto. La revisión tiene que poder modificar las consecuencias cuando corresponda y conservar los casos pendientes. Cerrar administrativamente una solicitud sin resolver el acceso no equivale a completar el seguimiento que motivó la reclamación.

La ruta alternativa necesita una capacidad ensayada. Si la herramienta deja de estar disponible, el servicio debe saber qué volumen puede procesar con el procedimiento habitual o con el rediseñado. Puede ser necesario restringir temporalmente el alcance, redistribuir tareas o comunicar demoras, y esas medidas deben prepararse antes de depender del sistema. El costo de mantener esa continuidad pertenece a la comparación económica aunque no se utilice en un mes normal. Una alternativa que parece viable solo porque omite los recursos de contingencia ofrece una estimación incompleta de lo que cuesta sostenerla.

La retirada tiene que abarcar también las tareas en curso. Suspender las recomendaciones nuevas no resuelve las solicitudes generadas antes ni aclara qué mensajes recibieron las personas. El responsable de coordinación debe conciliar los registros y asignar cada episodio abierto, el equipo técnico conserva las versiones necesarias para investigar el incidente y la institución comunica los cambios de funcionamiento que sean relevantes. La reanudación exige comprobar la causa del fallo y la recuperación del flujo, no solo que la aplicación vuelva a responder.

480.14 Condiciones para una decisión revisable

Antes de iniciar la evaluación limitada, la institución debe fijar qué resultados permitirán continuar y cuáles obligarán a modificar el plan. Los criterios pueden incluir la cobertura por grupo, los contactos no pertinentes, la carga de trabajo y la capacidad de resolver incidentes, y deben justificarse según el propósito del sistema y considerar la incertidumbre estadística. Una estimación favorable basada en pocos episodios no garantiza la ausencia de perjuicio, y una diferencia pequeña puede ser compatible con la variación aleatoria.

La alternativa sin IA debe mantenerse como comparador realista mientras dure esa decisión. Si se abandona su desarrollo antes de evaluar la herramienta, la institución puede crear una dependencia y reducir sus propias opciones. Tampoco es razonable exigir perfección a una alternativa mientras se aceptan supuestos optimistas para la otra. Las comparaciones necesitan costos completos, oportunidades de formación semejantes y resultados definidos de la misma manera. En este caso, una mejora organizacional se acercó al beneficio operativo que inicialmente parecía propio de la automatización, y con ello cambió la pregunta que merece investigación adicional.

La decisión final debe dejar registradas las condiciones, los responsables y la fecha de revisión. Si se elige continuar, el informe explica qué incertidumbres se aceptan y cómo se observarán; si se decide modificar, identifica los mecanismos y las comprobaciones pendientes; si se descarta, conserva las razones para este uso concreto sin generalizarlas a toda herramienta de IA. Esa documentación permite reconsiderar la decisión cuando cambien la evidencia, los recursos o las alternativas, y evita que una incorporación provisional se vuelva permanente por falta de un momento explícito de evaluación.

480.15 Decisión del caso

La propuesta inicial se modifica antes de considerar cualquier implementación general. El aumento de sensibilidad produce una ganancia operativa pequeña, incrementa los contactos no pertinentes y depende de una coordinación insuficiente. La versión con revisión y transferencia reparada ofrece resultados favorables bajo los supuestos del modelo, pero debe compararse de forma prospectiva con el rediseño sin IA, del que la separan menos de seis contactos pertinentes al mes y frente al cual la ventaja de costo de la IA depende del precio de la licencia. El caso justifica una evaluación limitada de esa versión modificada, con recursos asignados a la revisión y a la continuidad. No justifica declarar demostrada su superioridad clínica.

La continuación queda condicionada a verificar el rendimiento de la revisión, la coordinación en cada grupo, los costos completos y las consecuencias para las personas atendidas. Si esos componentes no sostienen la comparación con la alternativa sin IA, corresponderá rediseñar otra vez o descartar la incorporación en este circuito. La decisión deja abierta la posibilidad de que una mejora organizacional convencional resulte preferible. El criterio institucional es qué proceso puede ofrecer una atención justificable con recursos y responsabilidades explícitos, con independencia de cuántas funciones automatizadas incorpore.

Referencias

Lekadir, K., Frangi, A. F., Porras, A. R., Glocker, B., Cintas, C., Langlotz, C. P., et al. (2025). FUTURE-AI: International consensus guideline for trustworthy and deployable artificial intelligence in healthcare. BMJ, 388, e081554. https://doi.org/10.1136/bmj-2024-081554

Perdomo, J., Zrnic, T., Mendler-Dünner, C., y Hardt, M. (2020). Performative prediction. En H. Daumé III y A. Singh (Eds.), Proceedings of the 37th International Conference on Machine Learning (Proceedings of Machine Learning Research, Vol. 119, pp. 7599–7609). PMLR. https://proceedings.mlr.press/v119/perdomo20a.html

Vasey, B., Nagendran, M., Campbell, B., Clifton, D. A., Collins, G. S., Denaxas, S., et al. (2022). Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artificial intelligence: DECIDE-AI. Nature Medicine, 28(5), 924–933. https://doi.org/10.1038/s41591-022-01772-9