IA como componente de un sistema de atención

471.1 La intervención empieza antes de la salida del modelo

Un servicio de salud mental reúne información de consultas, llamadas y formularios que se completan en momentos distintos. Parte de ese material debe revisarse para decidir si una persona necesita un contacto adicional durante la semana siguiente. Introducir inteligencia artificial parece sencillo: la herramienta resumiría los antecedentes, identificaría los episodios que requieren atención y sugeriría una acción. Esas funciones intervienen, sin embargo, en procesos distintos. El resumen modifica qué información queda a la vista de quien decide, la clasificación asigna una categoría y la recomendación vincula esa categoría con una conducta. Evaluadas como una capacidad única, no permiten saber dónde se producen las mejoras y dónde los fallos.

El sistema que conviene analizar abarca el registro original, las transformaciones de sus datos, las personas que reciben las salidas y la agenda en la que deberían materializarse las decisiones. Una recomendación correcta que llega a un equipo sin capacidad para actuar deja el episodio sin resolver, por exacto que sea el modelo. Una herramienta que ahorra lectura mientras multiplica las solicitudes de contacto puede limitarse a trasladar trabajo hacia otro servicio. Por eso el análisis debe seguir las consecuencias hasta un resultado definido de antemano, como el contacto efectuado dentro del plazo, en lugar de cerrarse cuando aparece una respuesta en pantalla.

Sittig y Singh (2010) propusieron un modelo sociotécnico de ocho dimensiones para estudiar las tecnologías de información sanitaria: infraestructura de hardware y software, contenido clínico, interfaz entre persona y computador, personas, flujo de trabajo y comunicación, políticas y cultura internas de la organización, reglas y presiones externas, y medición y seguimiento del sistema. Los autores subrayan que las dimensiones dependen unas de otras sin formar secuencia ni jerarquía, y la última incluye expresamente las consecuencias no buscadas de la implantación. Se trata de un marco para formular preguntas de diseño y evaluación, que sus autores no presentan como prueba de que una tecnología concreta mejore la atención. Aquí sirve para plantear una comparación calculable. Los parámetros del ejemplo son hipotéticos y las categorías describen necesidades operativas de seguimiento; ninguna corresponde a un instrumento diagnóstico validado.

La alternativa sin automatización merece la misma atención descriptiva, porque puede incluir formularios incompletos, criterios dispares o tareas que nadie tiene asignadas. Comparar una herramienta especificada con detalle con una atención habitual apenas descrita produce conclusiones difíciles de interpretar. Conviene reconstruir quién lee, qué consulta, cuánto tarda y cómo comunica su decisión. Así puede separarse la mejora atribuible al modelo de la que procede de ordenar el trabajo, aclarar responsabilidades o incorporar personal.

471.2 Resumir, clasificar y recomendar requieren validaciones diferentes

Un resumen intenta conservar la información relevante mientras reduce la extensión del material. Evaluarlo exige relacionar cada afirmación con su fuente y buscar las omisiones capaces de alterar una decisión. Una frase puede ser gramaticalmente impecable y aun así cambiar el sentido temporal de un antecedente, de modo que una intervención propuesta aparezca como realizada o una dificultad antigua como condición actual. La gravedad de ese error depende de la decisión que se tomará con el resumen. Por esa razón, la semejanza superficial con una versión de referencia es un criterio insuficiente cuando dos textos parecidos conducen a acciones distintas.

Van Veen et al. (2024) adaptaron varios LLM a tareas de resumen clínico y pidieron a médicos lectores calificar la completitud, la corrección y la concisión de resúmenes de informes radiológicos, preguntas de pacientes y notas de evolución. La proporción estimada de muestras con posibilidad de daño fue de 11,3 % para el mejor modelo y de 13,7 % para los expertos médicos, bajo el supuesto de daño nulo en las muestras sin diferencias de completitud o corrección. Los autores documentaron también omisiones de antecedentes e inclusiones de condiciones inexistentes en resúmenes del modelo. El estudio no usó registros de salud mental ni midió efectos sobre decisiones asistenciales. Su interés aquí es metodológico, porque compara frente a una alternativa humana que también se equivoca y clasifica los errores por su capacidad de alterar una acción.

La clasificación transforma datos en una etiqueta o una puntuación, y debe especificarse qué representa el resultado, cómo se definió la referencia y en qué población se evaluó. En nuestro ejemplo, la variable objetivo indica si un episodio requiere contacto adicional dentro de siete días según una adjudicación independiente, lo que no equivale a gravedad global, diagnóstico ni necesidad de hospitalización. Una clasificación aceptable para esta tarea puede carecer de fundamento para otras, aunque la interfaz le dé apariencia de valoración clínica general.

Una recomendación añade un paso, porque propone qué hacer. Dos episodios con igual probabilidad de requerir seguimiento pueden necesitar acciones diferentes según la disponibilidad de contacto, las preferencias de la persona o las intervenciones ya programadas, y ejecutar la acción consume recursos. La evaluación debe incorporar la utilidad de contactar, el costo de hacerlo innecesariamente y las consecuencias de omitir un contacto necesario. Esos criterios pertenecen al diseño asistencial y requieren justificación explícita; ninguna medida de discriminación los contiene.

La separación funcional facilita también fijar límites operativos. Puede autorizarse un borrador de resumen con revisión previa a su incorporación al registro, una clasificación que ordene la lista de trabajo sin enviar mensajes al paciente o una recomendación presentada como propuesta a quien tiene responsabilidad de decidir. Cada permiso debe corresponder a una operación observable. La expresión «asistente clínico» deja sin resolver qué cambios están permitidos y cuáles requieren aprobación.

Cuando varias funciones comparten el mismo modelo, sus errores pueden depender entre sí. Una omisión del resumen puede determinar la clasificación y, después, justificar una recomendación coherente con información incompleta. Que las tres salidas concuerden no equivale a tres comprobaciones independientes. Para evaluar esa cadena es necesario volver al dato original y examinar cómo se seleccionó. La integración técnica puede simplificar la interfaz, siempre que conserve suficientes puntos de observación para reconstruir el recorrido de una afirmación relevante.

471.3 Un proceso con decisiones y responsables identificables

La entrada del ejemplo contiene episodios elegibles, información disponible hasta una fecha de corte y datos de contacto autorizados. La herramienta genera una propuesta, y un profesional puede aceptarla, corregirla o pedir información adicional. La decisión aprobada pasa a una unidad de seguimiento, que registra si logró el contacto y qué ocurrió con la solicitud. El episodio permanece abierto mientras no exista una resolución definida. Registrar solamente que se emitió un mensaje confundiría la actividad del sistema con la continuidad asistencial.

La tabla no distribuye responsabilidad jurídica; describe funciones que necesitan responsables en la organización. La institución define el propósito y proporciona los recursos, el proveedor debe permitir conocer las características relevantes del sistema y el profesional interpreta la información dentro de sus atribuciones. Asignar nominalmente una tarea a quien carece de medios para cumplirla no crea un control efectivo, y corregir una salida exige tiempo, acceso a las fuentes y una vía para expresar desacuerdo.

Quienes operan el sistema suelen advertir estas condiciones antes que los indicadores. Yarborough et al. (2022) entrevistaron a 30 clínicos y 10 administradores de tres sistemas de salud estadounidenses que preparaban o pilotaban un modelo de predicción de riesgo suicida basado en el registro electrónico. La herramienta les pareció aceptable, pero preguntaron si habría recursos para la demanda adicional, manifestaron inquietud por su responsabilidad personal y pidieron procedimientos claros para los pacientes a quienes no lograban contactar o que seguían en riesgo durante períodos prolongados. Es un estudio cualitativo sobre otro tipo de modelo y no aporta parámetros para el ejemplo; muestra, eso sí, que la última fila de la tabla forma parte del diseño desde el comienzo.

También se necesita una ruta de excepción para expedientes con información contradictoria, entradas posteriores al cierre o problemas de identidad. Forzar esos casos a una salida binaria facilita los indicadores, pero oculta que la tarea no estaba bien definida. El sistema debería registrar cuándo carece de condiciones para proponer una decisión y qué procedimiento se activa entonces, y esa abstención, que consume capacidad humana, debe entrar en el cálculo de la carga de trabajo.

La trazabilidad útil conserva lo necesario para reconstruir una decisión sin acumular información sensible de manera indiscriminada: identificador del episodio, versión del modelo, entradas utilizadas, salida presentada y modificaciones posteriores. Conviene distinguir lo que el programa calculó de lo que el profesional vio, porque un cambio de interfaz puede alterar la conducta sin que cambie la versión del modelo; ambos componentes deben quedar versionados.

471.4 Comparación numérica con una alternativa sin IA

Considérese una cohorte sintética de mil episodios. Una adjudicación externa establece que doscientos requerían contacto adicional y ochocientos no lo requerían. En la alternativa manual se supone una sensibilidad de 0,80 y una especificidad de 0,85. Por tanto, cuarenta episodios necesarios quedan sin identificar y ciento veinte generan una indicación innecesaria. Son errores respecto del objetivo operativo y no describen por sí mismos daños clínicos, que dependen de las acciones realizadas y de sus consecuencias.

La clasificación automatizada tiene una sensibilidad de 0,90 y una especificidad de 0,80. Aplicada sin revisión, omite veinte contactos necesarios y propone ciento sesenta innecesarios, ciento ochenta errores frente a los ciento sesenta de la alternativa manual. Una decisión basada solo en la exactitud global preferiría el procedimiento manual, conclusión que cambia si los dos tipos de error tienen consecuencias distintas y obliga a declarar cómo se valoran.

Como ilustración, asignemos cinco unidades de pérdida a cada falso negativo y una a cada falso positivo. La pérdida ponderada sería de trescientas veinte unidades para la alternativa manual y de doscientas sesenta para la automatizada. Esos pesos son un supuesto normativo y operacional, ajeno al algoritmo y no estimado a partir de pacientes; podrían representar una valoración acordada para comparar escenarios y tendrían que revisarse si los contactos innecesarios desplazaran atención de mayor prioridad.

Formular la pérdida vuelve discutible su estructura. Igualando $40\,w_{FN}+120$ con $20\,w_{FN}+160$ se obtiene $w_{FN}=2$: con un peso relativo del falso negativo menor que dos, la alternativa manual tendría menor pérdida que la automatizada sin revisión, aunque todas las medidas técnicas permanezcan iguales.

Los pesos admiten una lectura en términos de umbral de decisión. Si un episodio tiene probabilidad $p$ de requerir contacto, contactarlo implica una pérdida esperada $(1-p)\,w_{FP}$ y no hacerlo, una pérdida $p\,w_{FN}$. Contactar resulta preferible cuando $p$ supera el valor que iguala ambas cantidades.

Es la lógica del enfoque de umbrales de Pauker y Kassirer (1980) y de la relación que Vickers y Elkin (2006) establecen entre la probabilidad umbral y el cociente entre el perjuicio de un falso positivo y el beneficio de un verdadero positivo. De ahí se sigue una advertencia para el ejemplo. Las sensibilidades y especificidades son puntos de operación fijos, y nada garantiza que el de la herramienta corresponda al umbral que implica la valoración institucional; si esa valoración cambia, habría que reajustar el umbral del clasificador y repetir la comparación. Parasuraman y Riley (1997) describieron un problema emparentado en sistemas de alarma, donde fijar el compromiso entre falsas alarmas y omisiones sin considerar la frecuencia basal multiplica las falsas alarmas y lleva a desatender la automatización.

Falta todavía el trabajo profesional posterior a la salida, que exige modelar quién revisa qué casos y con qué resultados. Suponer que la revisión elimina todos los errores sería tan poco informativo como suponer que los profesionales aceptan siempre la sugerencia. La conducta efectiva de quienes revisan forma parte del sistema y debe medirse, en especial cuando la presentación de la recomendación modifica la probabilidad de revisarla.

471.5 Revisar selectivamente puede corregir e introducir errores

En una tercera alternativa se revisa el 80 % de las propuestas positivas y el 20 % de las negativas. Esa diferencia representa una regla institucional de asignación de tiempo. Cuando se revisa una propuesta incorrecta, la revisión la corrige con probabilidad 0,75; cuando se revisa una propuesta correcta, puede introducir un error con probabilidad 0,02. Son supuestos condicionales del ejemplo y no estimaciones del comportamiento habitual de los profesionales.

Entre los doscientos episodios que necesitan contacto, el algoritmo produce ciento ochenta positivos correctos y veinte negativos incorrectos. Se revisan ciento cuarenta y cuatro de los primeros, y la probabilidad de introducir un error añade 2,88 falsos negativos esperados. De los veinte negativos incorrectos se revisan cuatro y se corrigen tres. El resultado final es de 19,88 falsos negativos esperados. La revisión apenas mejora la sensibilidad en este escenario, porque concentra su esfuerzo en las propuestas positivas y deja fuera de revisión la mayoría de los errores de omisión.

Entre los ochocientos episodios sin necesidad de contacto aparecen ciento sesenta positivos incorrectos. Se revisan ciento veintiocho y se corrigen noventa y seis, de modo que quedan sesenta y cuatro falsos positivos procedentes de esa rama. De los seiscientos cuarenta negativos correctos se revisan ciento veintiocho, y las modificaciones incorrectas añaden 2,56 falsos positivos. El total es de 66,56. La política mejora sobre todo la especificidad, como era de esperar dada la selección de casos que decidió revisar.

Los valores fraccionarios son cantidades esperadas; una cohorte observada produciría conteos enteros sujetos a variación. La sensibilidad final de la alternativa revisada es 0,9006 y su especificidad, 0,9168, medidas que pertenecen al conjunto de clasificación y revisión. Atribuirlas al algoritmo aislado impediría transferir la evaluación a un servicio que revisara otra proporción de propuestas.

Parasuraman y Riley (1997) distinguieron uso, mal uso (confianza excesiva, con fallos de vigilancia y sesgos de decisión), desuso y abuso de la automatización, y explicaron por qué la presencia de una persona no garantiza una supervisión adecuada. En el ámbito clínico, Goddard et al. (2012) identificaron la carga de trabajo, la complejidad de la tarea y la presión de tiempo como mediadores del sesgo de automatización, y la formación, la responsabilidad explícita del usuario y la entrega de información en vez de recomendaciones entre sus atenuantes. Lyell y Coiera (2017) asociaron el sesgo con la carga cognitiva que impone verificar la salida.

La probabilidad de corrección de 0,75 es, por ello, el supuesto más frágil del ejemplo. En un experimento con 27 radiólogos que leyeron 50 mamografías junto a sugerencias de un sistema presentado como IA, Dratsch et al. (2023) observaron una exactitud cercana al 80 % con sugerencias correctas, que caía a 19,8 %, 24,8 % y 45,5 % con sugerencias incorrectas en lectores sin experiencia, con experiencia moderada y con mucha experiencia. El sistema era simulado y la tarea distinta, de modo que la cifra no se traslada al ejemplo, aunque justifica examinar qué ocurre si la corrección es menos frecuente. Con la misma regla de revisión y un error inducido de 0,02, la pérdida depende linealmente de la probabilidad de corrección $c$.

Con $c=0{,}40$ la pérdida asciende a 217,76 unidades, todavía menor que la de las otras alternativas, aunque la ventaja sobre la automatización sin revisión se reduce a unas cuarenta y dos unidades. Por debajo de $c\approx 0{,}115$, revisar aumenta la pérdida respecto de no hacerlo, porque los errores introducidos en propuestas correctas pesan más que los corregidos. En una evaluación real interesa saber si el profesional tuvo acceso a información independiente, cómo interpretó la salida y por qué la modificó, preguntas que el porcentaje de aceptación deja sin responder.

471.6 Tiempo ahorrado, tiempo redistribuido y capacidad de respuesta

Supongamos que el procedimiento manual requiere doce minutos por episodio, es decir, doce mil minutos para la cohorte. En las alternativas automatizadas se necesitan tres minutos de preparación y lectura inicial por episodio, más doscientos minutos de trabajo fijo para configurar y comprobar el lote. Cada revisión selectiva añade ocho minutos. Como la tasa de propuestas positivas es 0,34, se revisan doscientos setenta y dos positivos y ciento treinta y dos negativos, cuatrocientos cuatro episodios en total.

La alternativa automatizada sin revisión consume tres mil minutos variables y doscientos fijos; la revisada añade 3.232 y alcanza 6.432, con un ahorro supuesto de 5.568 minutos frente a la manual. El cálculo describe una posibilidad condicionada por los tiempos y tasas elegidos y no demuestra que la dotación pueda reducirse en esa cantidad, porque el trabajo ahorrado puede repartirse en intervalos pequeños o requerirse para otras tareas del mismo proceso.

Las alternativas generan además solicitudes de contacto: doscientas ochenta la manual, trescientas cuarenta la automatizada sin revisión y 246,68 en promedio la revisada. A quince minutos por contacto suponen 4.200, 5.100 y 3.700,2 minutos, y el tiempo total con la clasificación sería de 16.200, 8.300 y 10.132,2 minutos. La alternativa con menor pérdida no es la que menos tiempo consume, y esa diferencia debe justificarse con la valoración de errores declarada. La estimación supone contactos de igual duración resueltos en una gestión; los intentos fallidos y las reprogramaciones pueden modificarla.

Un estudio de cohorte en salud mental da una idea del orden de magnitud de esa carga. Kline-Simon et al. (2020) validaron externamente un modelo de predicción de intentos de suicidio a 90 días sobre más de 1,4 millones de atenciones registradas en un año en Kaiser Permanente Northern California. Con un área bajo la curva de 0,82 y el punto de corte en el percentil 95, la sensibilidad fue de 41,3 %, el valor predictivo positivo de 6,4 % y, excluidos los fines de semana, la mediana diaria de atenciones con alerta fue de 162; con los percentiles 99 y 99,5 bajó a 14 y 4. Según los autores, la carga depende del umbral, del manejo de alertas repetidas y de la superposición con riesgos ya conocidos, y elegir el umbral exige ponderar ambos tipos de error. Nuestro ejemplo supone una prevalencia sintética del 20 % y no debe trasladarse sin recalibración a otro desenlace o unidad de análisis. A sensibilidad y especificidad constantes, una prevalencia menor aumenta la proporción de falsos positivos entre las alertas.

Conviene separar el tiempo de clasificación del tiempo total de la institución, porque ahorrar lectura puede coincidir con más llamadas y documentación. Deben incluirse las tareas desplazadas hacia pacientes, profesionales y personal administrativo. Pedir a cada persona que complete a diario un formulario extenso puede reducir trabajo de entrevista y crear una carga que no figura en la contabilidad del servicio, transferencia que debe identificarse antes de hablar de eficiencia global.

Los recursos condicionan también las probabilidades de la sección anterior. Si solo hay capacidad para revisar doscientos episodios, la política de cuatrocientas cuatro revisiones no es realizable, y conservar sus resultados proyectados con un presupuesto inferior describiría una intervención inexistente. Puede elegirse otra regla de selección o reducirse el alcance del despliegue, recalculando en cada caso el funcionamiento esperado.

471.7 Código del recorrido de decisión

El programa siguiente enumera la condición de referencia, la eventual omisión del antecedente decisivo y la propuesta inicial, y dentro de cada rama calcula la revisión y la probabilidad de error final. La enumeración permite contrastar los resultados con las cuentas manuales sin depender de una realización aleatoria. La variable de referencia permanece externa a la herramienta, condición necesaria para no evaluar la clasificación con una etiqueta producida por ella misma. Las comprobaciones cubren las cifras de este capítulo y cuatro situaciones límite.

import math

# Parámetros del ejemplo sintético (supuestos didácticos, no estimaciones clínicas)
N, PREVALENCE = 1000, .20
OPERATING = {"manual": (.80, .85), "automated": (.90, .80), "perfect": (1., 1.)}
CORRECT, INDUCE = .75, .02          # corrección de un error / error inducido
W_FN, W_FP = 5, 1                   # pesos de pérdida
MIN_MANUAL, MIN_READ, MIN_FIXED, MIN_REVIEW, MIN_CONTACT = 12, 3, 200, 8, 15

def evaluate(source="automated", r_pos=0., r_neg=0., correct=CORRECT,
             induce=INDUCE, omission=0., w_fn=W_FN, w_fp=W_FP,
             n=N, prevalence=PREVALENCE):
    """Conteos esperados por enumeración de ramas (verdad, omisión, propuesta).
    omission: fracción de episodios con necesidad real cuyo antecedente decisivo
    falta en lo que ven el algoritmo y quien revisa; la propuesta es negativa
    y la revisión no puede corregirla."""
    sens, spec = OPERATING[source]
    fn = fp = reviewed = positives = 0.
    for truth, p_truth in [(1, prevalence), (0, 1 - prevalence)]:
        branches = [(True, omission), (False, 1 - omission)] if truth else [(False, 1.)]
        for hidden, p_hidden in branches:
            p_pos = 0. if hidden else (sens if truth else 1 - spec)
            for prediction, p_pred in [(1, p_pos), (0, 1 - p_pos)]:
                mass = n * p_truth * p_hidden * p_pred
                r = r_pos if prediction else r_neg
                reviewed += mass * r
                wrong = prediction != truth
                fix = 0. if hidden else correct
                p_error = (1 - r) * wrong + r * (1 - fix if wrong else induce)
                if truth:
                    fn += mass * p_error
                else:
                    fp += mass * p_error
                positives += mass * prediction
    if source == "manual":
        minutes = MIN_MANUAL * n
    else:
        minutes = MIN_READ * n + MIN_FIXED + MIN_REVIEW * reviewed
    requests = prevalence * n - fn + fp          # propuestas finales de contacto
    return dict(fn=fn, fp=fp, errors=fn + fp, loss=w_fn * fn + w_fp * fp,
                reviewed=reviewed, positives=positives, minutes=minutes,
                requests=requests, contact=MIN_CONTACT * requests,
                total=minutes + MIN_CONTACT * requests)

POLICIES = {"manual": dict(source="manual"),
            "automated": dict(),
            "review": dict(r_pos=.80, r_neg=.20)}

# 1. Cifras de las secciones 471.4 a 471.6
expected = {"manual": (40, 120, 320, 12000, 280),
            "automated": (20, 160, 260, 3200, 340),
            "review": (19.88, 66.56, 165.96, 6432, 246.68)}
for name, target in expected.items():
    res = evaluate(**POLICIES[name])
    for key, value in zip(["fn", "fp", "loss", "minutes", "requests"], target):
        assert math.isclose(res[key], value), (name, key, res[key])
    print(name, {k: round(v, 6) for k, v in res.items()})
rev = evaluate(**POLICIES["review"])
assert math.isclose(rev["reviewed"], 404) and math.isclose(rev["positives"], 340)
assert math.isclose((200 - rev["fn"]) / 200, .9006)
assert math.isclose((800 - rev["fp"]) / 800, .9168)

# 2. Peso de indiferencia y umbral de probabilidad equivalente (471.4)
w_star = (160 - 120) / (40 - 20)
assert w_star == 2
assert math.isclose(evaluate(source="manual", w_fn=2)["loss"], evaluate(w_fn=2)["loss"])
assert math.isclose(W_FP / (W_FP + W_FN), 1 / 6)

# 3. Sensibilidad a la probabilidad de corrección (471.5)
for c in [.75, .40, .20]:
    loss = evaluate(r_pos=.8, r_neg=.2, correct=c)["loss"]
    assert math.isclose(loss, 276.96 - 148 * c)
    print("correccion", c, round(loss, 4))
c_break = (276.96 - 260) / 148               # revisión sin ventaja frente a no revisar
assert math.isclose(c_break, 0.1145946, rel_tol=1e-6)

# 4. Omisión compartida (471.8), recalculada por ramas
for om, fn_t, loss_t in [(.10, 37.892, 256.02), (.30, 73.916, 436.14)]:
    res = evaluate(r_pos=.8, r_neg=.2, omission=om)
    assert math.isclose(res["fn"], fn_t) and math.isclose(res["loss"], loss_t)
    assert math.isclose(res["fp"], 66.56)
    print("omision_compartida", om, {k: round(res[k], 4) for k in ["fn", "loss", "reviewed"]})
assert evaluate(r_pos=.8, r_neg=.2, omission=.30)["loss"] > evaluate(source="manual")["loss"]

# 5. Presupuesto de revisión (471.11)
P, Nn = 340, 660
g_pos = CORRECT * 160 / P - W_FN * INDUCE * 180 / P
g_neg = W_FN * CORRECT * 20 / Nn - W_FP * INDUCE * 640 / Nn
assert math.isclose(g_pos, .30) and round(g_neg, 5) == .09424
opt = evaluate(r_pos=1., r_neg=64 / 660)
assert math.isclose(opt["reviewed"], 404)
assert round(opt["fn"], 5) == 22.14545 and round(opt["fp"], 5) == 41.24121
assert round(opt["loss"], 5) == 151.96848
g_pos15 = CORRECT * 160 / P - 15 * INDUCE * 180 / P
g_neg15 = 15 * CORRECT * 20 / Nn - W_FP * INDUCE * 640 / Nn
assert round(g_pos15, 5) == .19412 and round(g_neg15, 5) == .32152

# 6. Casos límite
assert math.isclose(evaluate(r_pos=0, r_neg=0)["loss"], evaluate()["loss"])  # revisión nula
full = evaluate(r_pos=1, r_neg=1)                                            # revisión completa
assert math.isclose(full["fn"], 180 * INDUCE + 20 * (1 - CORRECT))
assert math.isclose(evaluate(prevalence=0)["fn"], 0)                          # sin necesidad real
perfect = evaluate(source="perfect", r_pos=1, r_neg=1)                        # clasificación perfecta
assert math.isclose(perfect["errors"], 1000 * INDUCE)
print("limites", round(full["loss"], 4), round(full["minutes"], 1), round(perfect["errors"], 4))

La comprobación automatizada no sustituye la revisión del significado, porque un programa ejecuta con exactitud también una regla mal formulada. Por eso las ramas se contrastaron con conteos hechos a mano. Las situaciones límite permiten anticipar resultados. Sin revisión, la política coincide con la automatización simple. Con revisión completa quedan 8,6 falsos negativos y 52,8 falsos positivos esperados (pérdida de 95,8 unidades), pero la clasificación consume 11.200 minutos, casi tanto como el procedimiento manual. Un clasificador perfecto revisado en su totalidad conserva veinte errores, todos introducidos por la revisión, lo que recuerda que el supuesto de error inducido nunca es neutro.

471.8 Cuando la información omitida afecta al algoritmo y a quien revisa

La ventaja calculada presupone que la revisión corrige una salida incorrecta con la probabilidad especificada, supuesto que deja de ser razonable si quien revisa ve únicamente el resumen que produjo el error. Imaginemos que, en una fracción de los episodios con necesidad real, una omisión elimina el antecedente decisivo. En esa rama el algoritmo emite una propuesta negativa y la revisión, sin acceso al original, no puede recuperar la información. El fallo es de la cadena, aunque cada componente funcione de acuerdo con lo que recibe.

Si esa omisión afecta al 10 % de los doscientos episodios necesarios, veinte quedan sin identificar por construcción. En los ciento ochenta restantes se mantiene la tasa de falsos negativos de la alternativa revisada, y el total esperado pasa a 37,892. Con los falsos positivos en 66,56, la pérdida ponderada alcanza 256,02 unidades; como esos episodios dejan de figurar entre las propuestas positivas, las revisiones esperadas bajan a 393,2. Con una omisión compartida del 30 %, los falsos negativos ascienden a 73,916 y la pérdida a 436,14, por encima de la alternativa manual. Este resultado no prueba que los resúmenes automatizados produzcan esa tasa de omisión. Señala una condición bajo la cual la propuesta dejaría de ser favorable y orienta una medición concreta, la frecuencia de omisiones relevantes que sobreviven a la revisión prevista.

El diseño puede reducir el problema mostrando enlaces a las fuentes, conservando la información discrepante y facilitando la lectura completa cuando hay incertidumbre, siempre que esas medidas se evalúen por su uso real. Un enlace difícil de abrir no equivale a una fuente consultada, y una advertencia genérica puede no dirigir la atención al dato que falta. Si verificar exige abrir documentos adicionales, aumenta la carga cognitiva de la revisión, condición que Lyell y Coiera (2017) asocian con mayor sesgo de automatización. Conviene registrar qué información se consultó antes de decidir, con resguardos adecuados para los datos personales.

También hay que averiguar si la omisión proviene de la entrada. Un antecedente que nunca se registró es una carencia compartida por la herramienta y el profesional que no se resuelve modificando el resumen; puede exigir cambiar la recogida de datos o abrir una vía para que la persona aporte información nueva. La trazabilidad permite localizar esa diferencia y evita atribuir al modelo problemas de otra etapa del recorrido.

471.9 Diseñar una evaluación que conserve la comparación

Una evaluación inicial debería definir la población elegible antes de observar qué episodios acepta la herramienta. Los excluidos por datos incompletos o formatos no reconocidos forman parte del problema institucional, aunque queden fuera de la medida técnica de rendimiento. Es necesario informar cuántos son, cómo se atienden y si sus características difieren de las de quienes reciben apoyo automatizado. De otro modo, el sistema podría parecer eficiente porque su evaluación se concentró en los episodios más fáciles.

La referencia para juzgar la necesidad de contacto debe establecerse con un procedimiento independiente y reproducible. Cuando hay desacuerdo clínico, puede registrarse su magnitud y analizarse cómo cambia la comparación bajo distintas adjudicaciones razonables. Tratar una etiqueta discutible como verdad absoluta oculta la incertidumbre del propio objetivo y confunde errores de clasificación, desacuerdos entre evaluadores y límites de la definición.

Cuando el diseño lo permite, conviene registrar la decisión del profesional antes y después de que vea la salida, para separar la confirmación de una decisión previa de la influencia efectiva de la herramienta. La medición no debe alterar demasiado la práctica observada: pedir una justificación extensa antes de cada propuesta puede mejorar por sí solo la atención y producir una comparación distinta de la del uso habitual.

La guía DECIDE-AI (Vasey et al., 2022), elaborada para informar evaluaciones clínicas tempranas de sistemas de apoyo a la decisión basados en IA, parte de una observación cercana a la de este capítulo. Como la mayoría de esos sistemas apoya decisiones humanas, la interacción entre herramienta, usuarios y entorno de implantación forma parte de la intervención evaluada. Una guía de reporte no prescribe un diseño de estudio, pero ayuda a no omitir los factores humanos ni la evolución de la confianza de los usuarios durante la observación.

El seguimiento requiere resultados posteriores a la decisión, como el contacto logrado, la oportunidad de la respuesta, las tareas pendientes y el trabajo generado, además de los motivos de no ejecución. Una indicación puede fracasar por falta de capacidad, datos de contacto incorrectos o preferencia de la persona. Agrupar esas situaciones como error del algoritmo impediría identificar modificaciones útiles, y excluirlas del análisis dejaría fuera consecuencias que la institución necesita conocer.

La comparación puede comenzar con una fase observacional o de uso limitado, según el propósito y las condiciones locales, y sus resultados deben interpretarse de acuerdo con ese diseño. Un cambio simultáneo de personal, organización y herramienta dificulta atribuir efectos a la automatización. Registrar esas modificaciones permite valorar explicaciones alternativas y planificar evaluaciones posteriores en las que pueda distinguirse qué consecuencia corresponde a cada cambio.

471.10 Del resultado técnico a una decisión institucional

Una decisión de implementación debe especificar qué versión del proceso se autoriza y con qué recursos. En el ejemplo, la política revisada requiere cuatrocientas cuatro revisiones esperadas por cada mil episodios, además del seguimiento, y aprobar el software sin esa capacidad equivaldría a autorizar un sistema distinto del evaluado. Puede ser razonable limitar al comienzo el volumen, reservar tiempo de revisión y fijar condiciones para ampliar el uso, apoyándose en la comparación que corresponde a la configuración que efectivamente funcionará.

Las decisiones incluyen límites sobre usos secundarios. Un resumen creado para organizar un contacto no debería convertirse silenciosamente en evaluación diagnóstica, decisión de elegibilidad o documento para terceros, porque cada cambio altera el objetivo y las consecuencias del error. La institución necesita un procedimiento para revisar esas ampliaciones y detectar los usos que surgen de manera informal, ya que la capacidad técnica de generar una salida no autoriza a emplearla en otra decisión.

El procedimiento de desacuerdo debe funcionar para profesionales y pacientes. Corregir un dato puede requerir modificar el registro, recalcular una propuesta y avisar a quien recibió la versión anterior; una corrección local que no alcanza al resto del recorrido deja activo el error. La evaluación de trazabilidad debe incluir, por tanto, la propagación de rectificaciones y el cierre de las tareas derivadas de información incorrecta, aspectos que una matriz de confusión no registra.

El resultado debería expresarse mediante condiciones verificables: la mejora esperada, los recursos que la sostienen, las incertidumbres que persisten y las observaciones que obligarían a revisar la decisión. En este caso, la revisión selectiva ofrece una ventaja bajo supuestos explícitos, y una omisión compartida frecuente o una probabilidad de corrección muy inferior a la supuesta pueden reducirla o invertirla. La institución debe comprobar esas dependencias en su propio proceso y mantener una alternativa asistencial utilizable para cuando dejen de cumplirse.

471.11 Distribuir un presupuesto de revisión limitado

La regla de revisar el 80 % de los positivos y el 20 % de los negativos no se deduce de los datos anteriores; es una política elegida para el ejemplo y puede compararse con otras que consumen el mismo tiempo. Para ello conviene calcular el cambio esperado de pérdida por revisión adicional, condicionado a la propuesta inicial, lo que exige conocer la distribución de errores dentro de cada grupo además del rendimiento promedio del algoritmo.

Entre las trescientas cuarenta propuestas positivas, ciento sesenta son incorrectas; corregir una evita una unidad de pérdida y ocurre con probabilidad 0,75 si se revisa. Las ciento ochenta restantes son correctas, y una modificación errónea introduce, con probabilidad 0,02, un falso negativo valorado en cinco unidades. El beneficio esperado de revisar una propuesta positiva es de 0,30 unidades, promedio que combina los errores corregidos con los introducidos.

Entre las seiscientas sesenta propuestas negativas hay veinte falsos negativos. Corregirlos evita cinco unidades por caso, mientras que una modificación incorrecta de alguno de los seiscientos cuarenta negativos verdaderos añade una unidad.

Con ocho minutos por revisión en ambos grupos, la reducción de pérdida por minuto es mayor en el grupo positivo, resultado que vale para la función de pérdida elegida y no indica qué casos merecen prioridad clínica.

Si el único objetivo fuese minimizar esa pérdida y se dispusiera de cuatrocientas cuatro revisiones, la regla óptima revisaría las trescientas cuarenta propuestas positivas y sesenta y cuatro negativas, porque ambos beneficios son positivos y constantes dentro de cada grupo. La fracción revisada de negativos sería de aproximadamente 0,09697. En ese escenario se esperarían 22,14545 falsos negativos y 41,24121 falsos positivos, con una pérdida ponderada de 151,96848. El presupuesto temporal coincide con el de la política anterior, pero la distribución de sus consecuencias cambia.

La comparación revela un conflicto que una cifra agregada puede ocultar. La política que minimiza la pérdida produce más falsos negativos que la revisión selectiva inicial y lo compensa con una reducción mayor de falsos positivos. Una institución podría rechazarla por considerar inaceptable ese aumento de omisiones, en cuyo caso debería imponer una restricción explícita, como un máximo de falsos negativos esperados, o modificar la valoración de consecuencias. La optimización identifica alternativas; decidir cuáles son aceptables es un juicio que el cálculo no contiene.

La prioridad cambia también con el peso de los falsos negativos. Con quince unidades, revisar una propuesta negativa evita aproximadamente 0,32152 unidades esperadas, frente a 0,19412 en una positiva, y la misma información técnica recomendaría invertir el orden de revisión. Esa sensibilidad obliga a presentar cualquier asignación como resultado de datos y criterios declarados, con la función optimizada a la vista.

Los cálculos suponen que el rendimiento de la revisión es constante al aumentar su cobertura. En la práctica, los primeros casos seleccionados podrían ser más fáciles de corregir, el cansancio podría aumentar los errores introducidos y revisar una propuesta negativa puede exigir más lectura que revisar una alerta visible. Si los tiempos difieren, la comparación debe hacerse por unidad del recurso realmente escaso, y estimar el rendimiento marginal requiere observar justamente los casos que antes quedaban sin revisar.

Para obtener esas observaciones puede reservarse una muestra de auditoría seleccionada con probabilidades conocidas dentro de cada grupo. La auditoría estima errores que la política habitual no ve y permite contrastar sus supuestos, pero debe registrarse por separado de la revisión operativa, porque sus tiempos, su adjudicación y sus consecuencias difieren. Si ambos procedimientos se mezclan, la evaluación puede atribuir al uso habitual una calidad que solo existió durante la auditoría intensiva.

El presupuesto de revisión plantea así una pregunta empírica delimitada: cuánto error relevante se detecta y corrige por unidad de trabajo adicional, en qué episodios y con qué efectos sobre los restantes. Responderla exige conservar los denominadores y registrar las modificaciones incorrectas junto con las correcciones, información con la que una institución puede negociar recursos y límites de uso con más precisión que contando recomendaciones aceptadas.

Referencias

Dratsch, T., Chen, X., Rezazade Mehrizi, M. H., Kloeckner, R., Mähringer-Kunz, A., Püsken, M., Baeßler, B., Sauer, S., Maintz, D., y Pinto dos Santos, D. (2023). Automation bias in mammography: The impact of artificial intelligence BI-RADS suggestions on reader performance. Radiology, 307(4), e222176. https://doi.org/10.1148/radiol.222176

Goddard, K., Roudsari, A., y Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127. https://doi.org/10.1136/amiajnl-2011-000089

Kline-Simon, A. H., Sterling, S., Young-Wolff, K. C., Simon, G. E., Lu, Y., Does, M. B., y Liu, V. X. (2020). Estimates of workload associated with suicide risk alerts after implementation of risk-prediction model. JAMA Network Open, 3(10), e2021189. https://doi.org/10.1001/jamanetworkopen.2020.21189

Lyell, D., y Coiera, E. (2017). Automation bias and verification complexity: A systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431. https://doi.org/10.1093/jamia/ocw105

Parasuraman, R., y Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Pauker, S. G., y Kassirer, J. P. (1980). The threshold approach to clinical decision making. New England Journal of Medicine, 302(20), 1109–1117. https://doi.org/10.1056/NEJM198005153022003

Sittig, D. F., y Singh, H. (2010). A new sociotechnical model for studying health information technology in complex adaptive healthcare systems. Quality and Safety in Health Care, 19(Suppl 3), i68–i74. https://doi.org/10.1136/qshc.2010.042085

Van Veen, D., Van Uden, C., Blankemeier, L., Delbrouck, J.-B., Aali, A., Bluethgen, C., Pareek, A., Polacin, M., Reis, E. P., Seehofnerová, A., Rohatgi, N., Hosamani, P., Collins, W., Ahuja, N., Langlotz, C. P., Hom, J., Gatidis, S., Pauly, J., y Chaudhari, A. S. (2024). Adapted large language models can outperform medical experts in clinical text summarization. Nature Medicine, 30(4), 1134–1142. https://doi.org/10.1038/s41591-024-02855-5

Vasey, B., Nagendran, M., Campbell, B., Clifton, D. A., Collins, G. S., Denaxas, S., Denniston, A. K., Faes, L., Geerts, B., Ibrahim, M., Liu, X., Mateen, B. A., Mathur, P., McCradden, M. D., Morgan, L., Ordish, J., Rogers, C., Saria, S., Ting, D. S. W., . . . McCulloch, P. (2022). Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artificial intelligence: DECIDE-AI. Nature Medicine, 28(5), 924–933. https://doi.org/10.1038/s41591-022-01772-9

Vickers, A. J., y Elkin, E. B. (2006). Decision curve analysis: A novel method for evaluating prediction models. Medical Decision Making, 26(6), 565–574. https://doi.org/10.1177/0272989X06295361

Yarborough, B. J. H., Stumbo, S. P., Schneider, J. L., Richards, J. E., Hooker, S. A., y Rossom, R. C. (2022). Clinical implementation of suicide risk prediction models in healthcare: A qualitative study. BMC Psychiatry, 22, 789. https://doi.org/10.1186/s12888-022-04400-5