Evaluar sistemas humano-IA en condiciones clínicas

475.1 El rendimiento retrospectivo deja preguntas sin responder

Un algoritmo puede clasificar con exactitud registros históricos y, aun así, no mejorar las decisiones cuando se incorpora a la atención. Las razones son variadas. La información disponible en el momento de decidir puede diferir de la que contenía la base de desarrollo, la población atendida puede haber cambiado o la salida puede resultar difícil de interpretar. También influyen el modo en que los profesionales usan la recomendación y la existencia de recursos para ejecutarla. La evaluación clínica de un sistema de este tipo tiene que observar esas relaciones sin abandonar las medidas técnicas que justificaron considerar la herramienta.

Una base retrospectiva ofrece condiciones de comparación relativamente controladas. Los datos ya existen, pueden revisarse varias veces y suelen estar depurados para el análisis. En la atención real la información llega incompleta y el profesional decide antes de conocer lo que ocurrirá después. Si el algoritmo se evaluó con antecedentes que en el momento de la decisión todavía no estarían registrados, la comparación retrospectiva no reproduce su uso previsto. Por eso la fecha en que se genera cada dato y el instante en que se toma la decisión forman parte de la definición del sistema evaluado.

Los estudios con viñetas clínicas ocupan una posición intermedia, y sus resultados deben leerse dentro de ese marco. En el ensayo de Goh y colaboradores (2024), cincuenta médicos con formación en medicina familiar, medicina interna o medicina de urgencia, veintiséis especialistas y veinticuatro residentes, fueron asignados aleatoriamente a resolver hasta seis viñetas en sesenta minutos con acceso a un LLM comercial además de sus recursos habituales, o bien solo con recursos convencionales. El resultado principal fue una puntuación de razonamiento diagnóstico construida a partir de una pauta de reflexión estructurada, que valoraba el diagnóstico diferencial, los hallazgos a favor y en contra de cada hipótesis y los pasos diagnósticos siguientes. La mediana por caso fue de 76 % en el grupo con acceso al modelo y de 74 % en el grupo control, con una diferencia ajustada de dos puntos porcentuales e intervalo de confianza de 95 % entre −4 y 8. En un análisis secundario exploratorio, el modelo utilizado por sí solo obtuvo dieciséis puntos más que el grupo con recursos convencionales, con un intervalo entre 2 y 30. El estudio, basado en casos curados por clínicos, no midió resultados en pacientes.

Ese contraste plantea una pregunta que necesita investigarse por derecho propio, la de qué ocurre cuando una herramienta capaz en aislamiento se integra en el trabajo de personas concretas. El ensayo no autoriza a concluir que la asistencia mediante IA carezca de utilidad en general. La formación previa, la interfaz, el tipo de tarea y la experiencia de los usuarios con estas herramientas podían modificar el resultado, y los propios autores leyeron el hallazgo como señal de que la colaboración entre médicos y modelos requiere desarrollo tecnológico y formativo. Una evaluación temprana sirve justamente para observar esas condiciones y decidir qué debe cambiar antes de plantear comparaciones de mayor alcance.

475.2 El lugar de DECIDE-AI

Vasey y colaboradores (2022) desarrollaron DECIDE-AI como guía de reporte para la evaluación clínica temprana de sistemas de apoyo a decisiones basados en IA. La guía surgió de un proceso Delphi modificado, con expertos de dieciocho países y de perfiles profesionales diversos, y quedó compuesta por diecisiete ítems específicos para IA y diez ítems genéricos. Su ámbito son las primeras implementaciones, de pequeña escala, en entornos clínicos reales donde las decisiones apoyadas tienen efecto sobre la atención de los pacientes. Está pensada para sistemas que respaldan el juicio humano y pone el acento en la utilidad clínica, la seguridad y los factores humanos. No certifica eficacia ni prescribe un diseño experimental determinado, pues puede acompañar cohortes prospectivas, ensayos no aleatorizados u otros diseños.

La guía ocupa un lugar dentro de una secuencia de etapas. Le preceden las evaluaciones del rendimiento del modelo sobre datos ya recogidos y le siguen los ensayos comparativos de mayor tamaño, cuyos protocolos e informes disponen de las extensiones SPIRIT-AI y CONSORT-AI. La segunda añade catorce ítems a CONSORT 2010, entre ellos la descripción de la interacción humano-IA y el análisis de los casos de error (Liu et al., 2020). DECIDE-AI reconoce que las investigaciones clínicas pequeñas suelen carecer de potencia para conclusiones sobre eficacia y, en parte por esa razón, trata el grupo de comparación como un elemento opcional.

Conviene no confundir una guía de reporte con un protocolo. Informar con claridad permite examinar qué se hizo y con qué límites, pero no convierte un estudio sin comparación adecuada en evidencia causal ni asegura que una muestra pequeña detecte daños poco frecuentes. Las decisiones metodológicas siguen necesitando una justificación propia, ajustada a la pregunta, al grado de incertidumbre y a las consecuencias del uso.

Entre los aspectos que DECIDE-AI pide describir figuran el flujo de atención en que se evaluó el sistema, el momento de su uso y la forma en que se llegó a la decisión final y quién la tomó. También pide explicar cómo se definieron e identificaron los errores o fallos significativos, y contempla el análisis de curvas de aprendizaje, es decir, de la evolución del desempeño de los usuarios a medida que aumenta su exposición a la herramienta, así como las modificaciones de la intervención durante el estudio. Cuando un análisis previsto por la guía no se realizó, basta con declararlo y dar la razón. Este conjunto de elementos permite separar lo que corresponde al algoritmo de lo que corresponde a su implementación.

Una evaluación temprana puede revelar problemas de uso o necesidades de rediseño antes de un estudio comparativo, sin tener que ofrecer una conclusión definitiva sobre beneficio clínico. El protocolo debería anticipar qué decisiones podrán tomarse con los datos obtenidos, sea continuar el desarrollo, restringir su alcance, modificar la interfaz o detener la propuesta. Si la pregunta formulada excede lo que el diseño puede responder, el informe terminará ofreciendo afirmaciones que sus observaciones no sostienen.

475.3 Definir el sistema y el resultado antes de medir

Consideremos un servicio que debe decidir qué episodios requieren una acción de seguimiento dentro de un plazo. El sistema propone una decisión binaria, un profesional puede modificarla y una unidad distinta ejecuta el plan final. Para evaluar el proceso conviene distinguir la propuesta del algoritmo, la decisión profesional y la resolución operativa. La referencia sobre la necesidad real de seguimiento se establece mediante adjudicación independiente, con información definida de antemano, y conserva como tales los casos en que existe incertidumbre legítima.

La población elegible debe describirse antes de observar qué casos procesa correctamente la herramienta. Los registros con datos ausentes, formatos no reconocidos o dificultades de idioma pueden requerir una ruta alternativa. Excluirlos del denominador del sistema completo ocultaría una parte de la implementación. Es razonable informar el rendimiento técnico entre los casos procesables, siempre que también se describan la cobertura y lo ocurrido con quienes quedaron fuera.

El uso previsto necesita una formulación lo bastante concreta para reconocer desviaciones. Debe precisar quién recibe la salida, en qué momento, qué información puede consultar junto con ella y qué decisiones están permitidas. Una herramienta concebida para ordenar una lista puede terminar utilizándose para cerrar episodios o para justificar una decisión ante terceros. Esos usos amplían las consecuencias y requieren evaluación propia, aunque la interfaz los haga técnicamente posibles.

Los resultados pertenecen a niveles distintos. La exactitud de la clasificación mide concordancia con la referencia; el cambio de decisión muestra la influencia sobre el profesional; la resolución dentro del plazo describe el funcionamiento del flujo; y las consecuencias para la persona exigen seguimiento adicional. Agruparlos bajo una etiqueta general de «rendimiento clínico» dificulta localizar un fallo. Separarlos permite reconocer, por ejemplo, una mejora en las decisiones que se pierde después por problemas de coordinación.

475.4 Igual exactitud individual, complementariedad distinta

Construyamos una muestra sintética de cuatrocientos episodios. Antes de ver la herramienta, el profesional registra una decisión inicial, y el algoritmo produce por su parte una propuesta. Ambos aciertan en trescientos casos y ambos se equivocan en veinte. En cuarenta casos el profesional se equivoca y el algoritmo acierta, y en otros cuarenta ocurre lo contrario. Por separado, cada uno tiene una exactitud de 0,85. La tabla conjunta contiene información que esos dos promedios no muestran.

En una tarea binaria, los ochenta casos de desacuerdo son exactamente aquellos en que solo uno de los dos acierta. Si el profesional aceptara siempre la propuesta, su exactitud final sería 0,85, y lo mismo ocurriría si nunca la aceptara. Cualquier ganancia depende de que la interacción aproveche los casos en que el algoritmo corrige al profesional y evite los casos en que lo induce a cambiar una decisión correcta. El techo de la combinación queda fijado por los veinte errores compartidos, que un arbitraje limitado a elegir entre esas dos decisiones no puede recuperar, de modo que una selección perfecta en los desacuerdos alcanzaría 0,95.

Supongamos que el profesional acepta la propuesta en el setenta por ciento de los cuarenta casos en que esta corrige su decisión, con lo que recupera veintiocho aciertos. Supongamos además que la acepta en la mitad de los cuarenta casos en que su decisión inicial era correcta y el algoritmo se equivocaba, con lo que pierde veinte. La exactitud final sube a 0,87, con trescientas cuarenta y ocho decisiones correctas. Las dos tasas de aceptación son parámetros inventados para el ejemplo. En un estudio real serían cantidades por estimar, condicionadas a la corrección de la propuesta, y no deben leerse como estimaciones de la susceptibilidad de los clínicos a la automatización.

El acuerdo final con el algoritmo alcanza el noventa y dos por ciento, porque coinciden en los trescientos veinte casos donde ya había acuerdo y en los cuarenta y ocho cambios. Ese porcentaje no describe por sí solo una buena interacción, ya que incluye veinte modificaciones perjudiciales y veinte errores compartidos que permanecen. Informar la tasa de aceptación sin relacionarla con la corrección de cada propuesta puede presentar como éxito una conducta que mezcla beneficios y costos.

Una segunda política de interacción acepta el noventa por ciento de las correcciones útiles y solo el diez por ciento de las propuestas perjudiciales. Produce treinta y seis mejoras y cuatro pérdidas, para un total de trescientos setenta y dos aciertos, y la exactitud sube a 0,93 sin que el algoritmo haya cambiado. Lo que difiere entre ambos escenarios es una propiedad del sistema conjunto, la capacidad del profesional para discriminar entre propuestas correctas e incorrectas en los desacuerdos, y esa propiedad requiere medición directa.

Hay razones empíricas para no dar por supuesta una discriminación favorable. Jabbour y colaboradores (2023) presentaron viñetas de insuficiencia respiratoria aguda a 457 clínicos hospitalarios. Respecto de su exactitud basal, las predicciones de un modelo estándar la aumentaron en 2,9 puntos porcentuales, mientras que las de un modelo con un sesgo sistemático introducido deliberadamente la redujeron en 11,3 puntos. Las explicaciones basadas en la imagen que acompañaban a las predicciones no atenuaron esa pérdida de manera significativa. En un dominio más amplio, el metaanálisis de Vaccaro y colaboradores (2024) reunió 106 estudios experimentales publicados entre 2020 y 2023 que comparaban humanos solos, IA sola y combinaciones. En promedio, la combinación rindió peor que el mejor de sus componentes por separado, con pérdidas en tareas de decisión y también cuando la IA superaba a los humanos. Ninguno de estos trabajos estima los parámetros del ejemplo, pero ambos muestran que aceptar propuestas erróneas es un fenómeno documentado.

475.5 Una decisión correcta puede no completar el recorrido

La evaluación continúa después de fijar la decisión. Supongamos que el procedimiento habitual completa dentro del plazo el noventa y cinco por ciento de sus planes correctos, de modo que de trescientos cuarenta planes correctos se completarían trescientos veintitrés. En la primera implementación asistida, la transferencia a la unidad de seguimiento solo completa el ochenta por ciento. Aunque los aciertos aumentan a trescientos cuarenta y ocho, los planes correctos completados descienden a 278,4 en promedio.

La cantidad fraccionaria es una esperanza del modelo. En datos reales se observarían conteos enteros y probablemente cierta dependencia entre el tipo de decisión y la probabilidad de ejecutarla; aquí se supone una tasa común para simplificar la comparación. El ejemplo muestra que una mejora de exactitud puede coexistir con una peor resolución del flujo. Como el fallo de ejecución se introdujo como supuesto, el ejemplo nada dice sobre su causa real, que en un servicio concreto tendría que investigarse por separado.

Si se restablece la tasa de ejecución de 0,95, la primera política asistida produce 330,6 planes correctos completados, y la segunda, con la misma ejecución, llega a 353,4. Las alternativas difieren por dos mecanismos, el uso profesional de la propuesta y la coordinación posterior, y examinarlos por separado ayuda a decidir qué cambio es necesario. Reentrenar el algoritmo sería una intervención mal dirigida si la pérdida principal procede de solicitudes que nunca llegan a ejecutarse.

El indicador compuesto «plan correcto completado dentro del plazo» tampoco reemplaza a todos los resultados relevantes. Puede dar el mismo peso a planes con consecuencias muy distintas y ocultar retrasos importantes entre los no completados. Conviene informar sus componentes, los motivos de incumplimiento y la distribución de los tiempos. Una institución podría necesitar prioridad adicional para ciertos episodios, pero esa regla tiene que definirse y evaluarse en forma explícita en lugar de quedar implícita dentro de la medida agregada.

La ejecución puede depender de la propia herramienta. Una interfaz que genera más solicitudes, omite datos de contacto o dificulta asignar responsabilidades puede alterar la capacidad del servicio receptor. Por esa razón el protocolo debe observar el recorrido completo y registrar las tareas que quedan pendientes. La mejora técnica es una parte necesaria de la evaluación, aunque no basta para explicar el resultado institucional.

475.6 Diseñar la comparación prospectiva

La pregunta inicial puede limitarse a si la herramienta se utiliza de la manera prevista y qué fallos aparecen al integrarla. Una fase de evaluación acotada permite observar esos procesos, siempre que existan condiciones adecuadas de supervisión y capacidad de respuesta. Sus resultados pueden justificar modificaciones, pero no deben presentarse como estimación de eficacia. El diseño debe anticipar qué comparaciones serán posibles y qué fuentes de confusión seguirán presentes.

Si se pretende estimar un efecto causal, la asignación del acceso o de las políticas de uso necesita justificación metodológica. La aleatorización puede hacerse por episodio, por profesional o por servicio, según la naturaleza de la intervención, y cada unidad tiene consecuencias propias. Un profesional que aprende de la herramienta puede aplicar lo aprendido en episodios posteriores asignados al grupo sin acceso, y un cambio organizacional puede alcanzar a toda una unidad.

Una comparación antes y después es vulnerable a cambios concurrentes. Las variaciones de demanda, de dotación o de criterios de registro pueden explicar parte de la diferencia. Registrar esas condiciones no elimina el sesgo, aunque permite valorar explicaciones alternativas y planificar análisis pertinentes. Si se introducen varias modificaciones durante la evaluación temprana, conviene tratarlas como versiones del sistema y describir el período de uso de cada una, en vez de agruparlas como si fueran una intervención uniforme.

La alternativa de comparación debe especificarse con detalle. Puede tratarse de la atención habitual, de un procedimiento reorganizado sin IA o de una herramienta más simple. Si el paquete automatizado incorpora personal adicional y una nueva vía de seguimiento, compararlo solo con el proceso previo atribuiría al conjunto una diferencia que no puede asignarse al algoritmo. Esa comparación puede ser válida para una decisión institucional sobre el paquete completo, con tal de que el alcance de la conclusión quede explícito.

Los análisis deberían conservar a quienes fueron asignados a una política aunque finalmente no usaran la herramienta, cuando ese sea el estimando elegido. Analizar solo a los usuarios efectivos puede seleccionar profesionales o casos con mejores condiciones. Estudiar el uso real también puede ser útil, pero esa pregunta obliga a reconocer la selección y la presencia de variables posteriores a la asignación. Definir ambos objetivos antes de ver los resultados evita elegir después la interpretación más favorable.

475.7 Medir errores de uso y experiencia profesional

Un error de uso puede consistir en interpretar una puntuación como un diagnóstico, consultar una salida fuera de su propósito o no advertir que el sistema carece de información suficiente para el caso. La evaluación debe definir esos eventos mediante observaciones concretas y distinguirlos de los desacuerdos clínicos razonables. Si toda modificación profesional se clasifica como incumplimiento, el diseño desincentiva la supervisión que pretende estudiar. Las razones del desacuerdo forman parte de la evidencia y conviene registrarlas.

La formación necesita describirse con detalle suficiente para saber qué capacidades se esperaban de los usuarios. Saber abrir la aplicación es muy distinto de interpretar su incertidumbre o reconocer usos que no fueron evaluados. Un protocolo puede observar tareas de práctica y recoger dificultades antes del uso clínico, sin suponer que ese desempeño se mantendrá bajo carga asistencial.

La carga cognitiva y temporal suele redistribuirse más que desaparecer. Un resumen automático reduce la lectura, pero revisar sus posibles omisiones exige atención. Una propuesta rápida puede aumentar la documentación necesaria para justificar un desacuerdo. Las mediciones deberían incluir las tareas que ocurren antes y después de la interacción visible, además del tiempo de respuesta del modelo. Preguntar por dificultades específicas complementa los registros de tiempo.

Importa también la posibilidad de recuperar una decisión después de un error. Una herramienta puede permitir corregir una salida en pantalla sin actualizar la solicitud que ya se envió a otro servicio. Las pruebas de usabilidad deberían incluir esas situaciones y comprobar que la corrección llega a los lugares donde tiene efecto. La seguridad depende de la relación entre interfaz, procesos y responsabilidades, y la facilidad para obtener una primera respuesta dice poco sobre ella.

Las entrevistas y observaciones deben permitir que los participantes relaten experiencias negativas sin que eso se convierta en una evaluación de su desempeño individual. Si reconocer una dificultad se percibe como señal de incompetencia, los datos sobre uso pierden confiabilidad. La gobernanza del estudio tiene que aclarar para qué se recogen esas observaciones y cómo se analizarán, lo que influye tanto en la calidad de la evidencia sobre interacción como en la aceptabilidad del procedimiento.

475.8 Incertidumbre de la mejora observada

La diferencia de exactitud del primer escenario asistido es de dos puntos porcentuales. Para ilustrar su incertidumbre, tratemos los veintiocho cambios beneficiosos y los veinte perjudiciales como conteos observados en una muestra de cuatrocientos pares independientes. El análisis tiene que respetar el carácter pareado de los datos, porque la cantidad relevante es cuánto cambió la corrección de cada episodio, y no la diferencia entre dos proporciones calculadas como si provinieran de muestras distintas.

Definamos para cada episodio una variable de cambio que vale uno si una decisión incorrecta se corrige, menos uno si una correcta se deteriora y cero si su corrección no cambia. Si $b$ es el número de mejoras y $c$ el de deterioros, la media de esa variable es la diferencia de exactitudes y su varianza es la proporción de cambios menos el cuadrado de la media. Con $b=28$ y $c=20$, la diferencia estimada es 0,02 y el intervalo normal (de Wald) de noventa y cinco por ciento va aproximadamente de −0,0139 a 0,0539.

La prueba clásica para estos datos es la de McNemar (1947), que solo utiliza los pares discordantes. En su versión exacta condicional, se calcula la probabilidad binomial de un reparto tan desigual como el observado entre cuarenta y ocho pares discordantes cuando mejora y deterioro son igualmente probables, lo que da un valor bilateral de 0,312. Fagerland y colaboradores (2014) compararon veinticuatro métodos para proporciones binomiales pareadas y recomiendan, para la prueba, la versión asintótica de McNemar o la variante mid-p, que con estos datos dan valores cercanos a 0,25. Para el intervalo de la diferencia recomiendan alternativas al intervalo de Wald, dos de forma cerrada y otra basada en el puntaje. Con la muestra del ejemplo, las tres pruebas calculadas no rechazan la igualdad; aquí se muestra únicamente el intervalo de Wald.

El resultado no rechaza la hipótesis de diferencia nula, y eso tampoco establece equivalencia entre las políticas. El intervalo sigue siendo compatible con una pérdida pequeña y con una ganancia de más de cinco puntos. La relevancia asistencial exige definir de antemano un umbral justificado y un diseño con precisión suficiente para la pregunta.

Si varios episodios pertenecen al mismo profesional, la independencia supuesta en esta cuenta deja de ser adecuada. Puede existir correlación por estilo de decisión, experiencia o condiciones compartidas de trabajo, y el análisis y el tamaño de muestra deben incorporar esa estructura. Según la magnitud de la dependencia y el objetivo de generalización, aumentar el número de episodios por profesional puede aportar menos información que incorporar profesionales o servicios adicionales.

475.9 Código de las comparaciones

El código reconstruye las dos políticas de interacción, incorpora la ejecución posterior y calcula la incertidumbre de los cambios pareados por varias vías. Mantiene separados los conteos de decisiones y las cantidades esperadas de resolución. Calcula también las cifras de las secciones 475.10 a 475.12.

from math import sqrt, comb, log, ceil, isclose

# Tabla conjunta del ejemplo sintético
n = 400
both_correct, human_only, ai_only, both_wrong = 300, 40, 40, 20
assert both_correct + human_only + ai_only + both_wrong == n
baseline = both_correct + human_only      # aciertos iniciales del profesional
ai_correct = both_correct + ai_only       # aciertos del algoritmo
assert baseline == ai_correct == 340
ceiling = (n - both_wrong) / n            # arbitraje perfecto de los desacuerdos
assert isclose(ceiling, 0.95)

def system(accept_helpful, accept_harmful, execution):
    """Aciertos finales, planes correctos completados (esperanza), mejoras y pérdidas."""
    improved = ai_only * accept_helpful
    harmed = human_only * accept_harmful
    correct = baseline + improved - harmed
    return correct, correct * execution, improved, harmed

first = system(0.70, 0.50, 0.80)
restored = system(0.70, 0.50, 0.95)
selective = system(0.90, 0.10, 0.95)
assert isclose(first[0], 348) and isclose(selective[0], 372)
assert isclose(baseline * 0.95, 323) and isclose(first[1], 278.4)
assert isclose(restored[1], 330.6) and isclose(selective[1], 353.4)

# Acuerdo final con el algoritmo (tarea binaria) en la primera política
agreement = (both_correct + both_wrong + first[2] + first[3]) / n
assert isclose(agreement, 0.92)

print("manual", baseline, baseline * 0.95, "techo", ceiling)
print("asistida", first, "acuerdo_con_IA", agreement)
print("ejecucion_restaurada", restored)
print("interaccion_selectiva", selective)

# Cambios pareados: Wald, McNemar exacta, mid-p y asintótica
b, c = 28, 20
delta = (b - c) / n
se = sqrt(((b + c) / n - delta**2) / n)
wald = (delta - 1.96 * se, delta + 1.96 * se)
m, k = b + c, min(b, c)
tail = sum(comb(m, j) for j in range(k + 1)) / 2**m
p_exact = min(1.0, 2 * tail)
p_mid = min(1.0, 2 * (tail - 0.5 * comb(m, k) / 2**m))
z2 = (b - c) ** 2 / (b + c)               # McNemar asintótica sin corrección
assert isclose(p_exact, 0.31232680747326924, rel_tol=1e-12)
assert wald[0] < 0 < wald[1]
print("diferencia", delta, "SE", round(se, 6), "IC_Wald", wald)
print("McNemar exacta", p_exact, "mid-p", p_mid, "chi2", z2)

# Cero eventos, efecto de diseño, datos faltantes y formación
upper_zero = 1 - 0.05 ** (1 / n)          # límite unilateral de 95 %
n_needed = ceil(log(0.05) / log(1 - 0.001))
deff = 1 + (20 - 1) * 0.05
bounds = (279 / n, (279 + (n - 320)) / n)
training_min = 20 * 6 * 60
assert n_needed == 2995 and isclose(deff, 1.95)
assert isclose(bounds[0], 0.6975) and isclose(bounds[1], 0.8975)
print("limite_superior_cero_eventos", upper_zero, "regla_de_tres", 3 / n)
print("n_para_limite_0.001", n_needed)
print("efecto_de_diseno", deff, "n_efectivo", n / deff)
print("exactitud_observados", 279 / 320, "limites", bounds)
print("formacion_min_por_episodio", training_min / 400, training_min / 4000,
      "equilibrio_episodios", training_min / 3)

La ejecución reproduce todas las cifras del capítulo. Las aserciones comprueban relaciones internas del ejemplo y no convierten sus parámetros en estimaciones válidas para un servicio. Un diseño empírico tendría que considerar además pérdidas de seguimiento, incertidumbre de adjudicación y dependencia entre episodios.

475.10 Seguridad, modificaciones y decisiones durante el estudio

El protocolo debe definir cómo se identifican los incidentes, quién los revisa y qué acciones pueden tomarse mientras dura la evaluación. Una alerta técnica puede carecer de consecuencias asistenciales, mientras que un error en apariencia menor puede afectar una decisión importante. Registrar ambos niveles permite priorizar la revisión sin perder información sobre las causas. Los criterios de suspensión o modificación deben vincularse con mecanismos y consecuencias, y no depender solo de una puntuación promedio.

Si no se observa ningún evento adverso en cuatrocientos episodios independientes, el límite superior unilateral de noventa y cinco por ciento para la probabilidad del evento es aproximadamente 0,00746. Bajo esos supuestos, los datos siguen siendo compatibles con una frecuencia cercana a siete eventos y medio por mil. El valor coincide casi exactamente con la aproximación conocida como regla de tres, que estima ese límite como tres dividido por el número de observaciones, en este caso 0,0075 (Hanley y Lippman-Hand, 1983). La interpretación exige además que los eventos se hayan buscado y registrado de manera adecuada. Un seguimiento incompleto o una definición demasiado estrecha pueden producir cero eventos observados sin ofrecer esa garantía estadística.

Las modificaciones durante una evaluación temprana forman parte legítima del aprendizaje. Cambiar una instrucción, una interfaz o un criterio de derivación requiere registrar la fecha, el motivo y las consecuencias esperadas. Si se agrupan resultados anteriores y posteriores sin distinguir versiones, se pierde la posibilidad de saber qué configuración se evaluó.

Un cambio puede obligar a revisar el alcance de las conclusiones. Si una herramienta pensada para clasificar termina utilizándose para redactar recomendaciones, los resultados previos no cubren la nueva función. El equipo debería identificar qué evaluaciones siguen siendo pertinentes y cuáles deben repetirse, teniendo presente que un proyecto puede mantener su nombre mientras el sistema estudiado cambia.

La decisión final de una evaluación temprana puede ser modificar la propuesta antes de ampliar su uso. En el ejemplo, una mejora de exactitud acompañada de mala ejecución orientaría hacia la coordinación y los recursos, mientras que una tasa alta de cambios perjudiciales llevaría a revisar la presentación de la salida, la formación o los criterios de consulta. El informe debe vincular cada propuesta con el mecanismo observado y dejar constancia de las incertidumbres que requieren otra fase de evaluación.

475.11 Qué significa observar un cambio de decisión

Registrar una decisión antes y después de mostrar la IA permite describir cambios, pero no identifica por sí mismo su causa. El profesional puede reconsiderar el caso porque se le pidió responder dos veces, porque dispuso de más tiempo o porque apareció información adicional. Si se quiere atribuir la diferencia a la herramienta, conviene contar con una comparación que reproduzca esas oportunidades de reflexión sin la salida automatizada. De lo contrario, el efecto de la intervención se mezcla con el del procedimiento de medición.

La decisión inicial tampoco debe convertirse en una respuesta apresurada para preservar una comparación artificial. Tiene que corresponder a un momento clínicamente interpretable, con información y tiempo definidos. Si se exige fijarla demasiado pronto, se crea una alternativa manual debilitada que no representa la atención habitual, y si se registra después de que el profesional vio parte de la salida, deja de ser una medida previa. La secuencia de exposición debe quedar garantizada por el diseño y verificarse durante el estudio.

Las razones declaradas para cambiar ayudan a entender mecanismos. Alguien puede decir que aceptó una recomendación porque aportaba un antecedente verificable, porque coincidía con su hipótesis o porque no tuvo tiempo de revisarla, y cada explicación tiene implicaciones distintas. Su análisis debería relacionarse con la corrección, la dificultad del caso y las condiciones de trabajo, sin olvidar que una justificación posterior puede no reflejar del todo cómo se tomó la decisión.

El desacuerdo con una recomendación correcta también requiere interpretación. Puede existir información pertinente que la referencia no consideró o una restricción operativa que impide realizar la acción propuesta. La adjudicación independiente debería permitir examinar esas situaciones antes de etiquetar toda discrepancia como error profesional, y la referencia tiene que distinguir entre corrección abstracta, pertinencia en el contexto y factibilidad. Fijar esos criterios antes de conocer los resultados reduce el riesgo de decisiones retrospectivas que favorezcan a una de las alternativas.

Si veinte episodios de la muestra de cuatrocientos presentan un desacuerdo importante entre adjudicadores, esa incertidumbre puede superar la diferencia neta de ocho aciertos del ejemplo. Ello no invalida necesariamente la comparación, aunque obliga a analizar cuánto depende de clasificaciones discutidas. Puede informarse un análisis que conserve los desacuerdos y otro que use una resolución por consenso, describiendo el procedimiento. Que la conclusión se mantenga frente a adjudicaciones razonables informa más que una etiqueta definitiva que oculta la incertidumbre.

La adjudicación debería hacerse sin conocer, en la medida de lo posible, qué alternativa produjo cada decisión. Una explicación redactada con mayor fluidez puede influir en la evaluación si la rúbrica mezcla claridad con corrección, y separar componentes con criterios específicos ayuda a detectar ese efecto. También conviene comprobar la concordancia entre evaluadores en los aspectos centrales, sabiendo que una concordancia alta no garantiza validez, porque varios evaluadores pueden compartir una definición inadecuada del objetivo.

Los resultados faltantes son otra fuente de incertidumbre. Si solo se conoce la referencia en trescientos veinte de los cuatrocientos episodios y doscientos setenta y nueve decisiones resultan correctas, la exactitud entre los casos observados es aproximadamente 0,872. Sin supuestos sobre los ochenta restantes, la exactitud total podría situarse entre 0,6975 y 0,8975. Este ejemplo se refiere a una referencia desconocida, situación diferente de la de un plan que se sabe no completado dentro del plazo, y mantener la distinción evita confundir ausencia de observación con un resultado operativo desfavorable ya constatado.

Si se adjudican con mayor frecuencia los episodios de personas que mantuvieron contacto con el servicio, pueden quedar fuera precisamente los de peor continuidad. Un análisis de sensibilidad puede explorar distintos supuestos sobre los faltantes y mostrar en qué punto cambia la conclusión. La proporción de datos completos debe informarse por alternativa y por causa de ausencia, porque una misma cantidad de faltantes puede proceder de mecanismos diferentes.

475.12 Del tamaño del piloto a la precisión necesaria

El tamaño de una evaluación temprana debe relacionarse con lo que pretende aprender. Un grupo reducido puede revelar un problema de interfaz frecuente sin aportar información suficiente sobre un daño raro. Si el tamaño se planifica solo según la disponibilidad de casos, conviene declarar qué precisión será alcanzable. Que un piloto sea factible y que pueda responder su pregunta científica son condiciones distintas, y ambas deben examinarse juntas.

El límite binomial de cero eventos sirve de ilustración. Para que el límite superior unilateral de noventa y cinco por ciento quedara por debajo de una frecuencia de 0,001, se necesitarían al menos 2.995 observaciones independientes sin eventos, cifra que resulta de resolver para el tamaño muestral la probabilidad de no observar ningún evento con esa frecuencia. No se trata de una recomendación universal, porque depende de la independencia de las observaciones, de un seguimiento completo y de una definición estable del evento. Si alguna de esas condiciones falla, la cifra deja de describir adecuadamente la evidencia obtenida.

La agrupación por profesionales puede reducir la información disponible. Como aproximación de planificación, con veinte episodios por profesional y una correlación intraclase de 0,05, el efecto de diseño, calculado como uno más el producto del tamaño del grupo menos uno por la correlación, es 1,95. Cuatrocientos registros equivaldrían entonces a unas doscientas cinco observaciones independientes para una medida compatible con esa aproximación. La equivalencia no se traslada automáticamente a todos los estimandos ni reemplaza un cálculo específico para el diseño elegido, pero muestra por qué contar filas puede exagerar la precisión.

El protocolo debería anticipar qué resultado justificaría pasar a la siguiente etapa. Puede tratarse de alcanzar una cobertura mínima, de resolver un problema de uso o de obtener una estimación lo bastante precisa para planificar una comparación mayor. Esos criterios deben vincularse con decisiones concretas y aplicarse también cuando los resultados sean desfavorables. Un piloto que identifica una incompatibilidad entre la herramienta y el flujo aporta información valiosa aunque no termine en implementación, porque evita que una expansión avance sobre supuestos que los propios datos ya ponen en duda.

La evaluación económica debe incluir el trabajo fijo de preparación. Si veinte profesionales reciben seis horas de formación, se invierten ciento veinte horas antes del primer uso. En un piloto de cuatrocientos episodios, esa inversión equivale a dieciocho minutos por episodio, frente a un ahorro supuesto de tres minutos por tarea. En cuatro mil episodios, la misma formación equivaldría a 1,8 minutos por episodio, y el punto de equilibrio se alcanzaría hacia los dos mil cuatrocientos episodios. Ese balance solo se sostiene si la formación no necesita repetirse por rotación del personal y si el ahorro por tarea observado en el piloto se mantiene al ampliar el uso.

Referencias

Fagerland, M. W., Lydersen, S., & Laake, P. (2014). Recommended tests and confidence intervals for paired binomial proportions. Statistics in Medicine, 33(16), 2850–2875. https://doi.org/10.1002/sim.6148

Goh, E., Gallo, R., Hom, J., et al. (2024). Large language model influence on diagnostic reasoning: A randomized clinical trial. JAMA Network Open, 7(10), e2440969. https://doi.org/10.1001/jamanetworkopen.2024.40969

Hanley, J. A., & Lippman-Hand, A. (1983). If nothing goes wrong, is everything all right? Interpreting zero numerators. JAMA, 249(13), 1743–1745. https://doi.org/10.1001/jama.1983.03330370053031

Jabbour, S., Fouhey, D., Shepard, S., et al. (2023). Measuring the impact of AI in the diagnosis of hospitalized patients: A randomized clinical vignette survey study. JAMA, 330(23), 2275–2284. https://doi.org/10.1001/jama.2023.22295

Liu, X., Cruz Rivera, S., Moher, D., Calvert, M. J., Denniston, A. K., et al. (2020). Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nature Medicine, 26(9), 1364–1374. https://doi.org/10.1038/s41591-020-1034-x

McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153–157. https://doi.org/10.1007/BF02295996

Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. https://doi.org/10.1038/s41562-024-02024-1

Vasey, B., Nagendran, M., Campbell, B., et al. (2022). Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artificial intelligence: DECIDE-AI. Nature Medicine, 28(5), 924–933. https://doi.org/10.1038/s41591-022-01772-9. Corrección del editor (lista del grupo experto DECIDE-AI omitida en la versión inicial): Nature Medicine, 28(10), 2218. https://doi.org/10.1038/s41591-022-01951-8