Seguimiento durante el uso: cambios de contexto, fallos y retirada

476.1 La evaluación continúa después de la incorporación

Una herramienta de apoyo a decisiones puede funcionar bien durante su evaluación inicial y perder utilidad cuando cambian las condiciones de atención. Basta con que se modifique la población atendida, aparezca un formato nuevo de registro o disminuya el personal disponible para responder a las alertas. Ninguno de esos cambios requiere que el algoritmo haya sido tocado. Por eso la unidad que conviene vigilar es más amplia que el modelo: abarca los datos que recibe, las decisiones que facilita y la capacidad del servicio para completar las acciones previstas. Una medida de exactitud tomada el día de la instalación dice poco sobre el estado del sistema seis meses después.

La vigilancia tiene que responder preguntas operativas. Un aumento en el número de mensajes puede reflejar mayor demanda, registros duplicados o un cambio en la conducta de quienes consultan, y cada explicación exige comprobaciones diferentes. Un tablero que muestra diferencias sin permitir reconstruir su origen añade trabajo sin mejorar las decisiones. Antes de empezar a usar la herramienta conviene acordar qué cambio merece investigación, quién está en condiciones de interpretarlo y qué alternativa queda disponible mientras se aclara. Se trata de mantener condiciones de funcionamiento justificables y advertir a tiempo cuándo dejan de cumplirse.

El consenso FUTURE-AI, publicado en el BMJ por Lekadir y colaboradores en 2025, ofrece un marco de referencia para este problema. Fue elaborado por un consorcio de 117 expertos de 50 países mediante un procedimiento Delphi modificado de dos años y reúne 30 buenas prácticas agrupadas en seis principios (equidad, universalidad, trazabilidad, usabilidad, robustez y explicabilidad). Dentro del principio de trazabilidad, varias de ellas se refieren al uso posterior a la incorporación: mantener documentación, controlar de forma continua la calidad de entradas y salidas, programar auditorías periódicas que busquen deriva de datos, sesgos nuevos, pérdida de rendimiento o cambios en la manera en que los usuarios deciden, registrar el uso y asignar responsabilidades de supervisión. Entre las medidas de mitigación posteriores al despliegue, el texto menciona apagar el sistema o recurrir a un procedimiento alternativo o solo al juicio humano.

FUTURE-AI es una guía de consenso y no una norma. El propio documento trata el cumplimiento regulatorio como una recomendación separada, que consiste en identificar los requisitos aplicables y satisfacerlos, y en su discusión reconoce que falta trabajo para incorporar sus recomendaciones a los procedimientos regulatorios. Esa separación evita dos confusiones. Seguir una buena práctica no acredita cumplimiento normativo, y una autorización regulatoria tampoco garantiza que la herramienta siga siendo útil en cualquier servicio. El plan de seguimiento que se desarrolla en las secciones siguientes es hipotético, y sus umbrales son decisiones del ejemplo: FUTURE-AI no los prescribe y no constituyen recomendaciones clínicas.

476.2 Definir qué puede cambiar

La distribución de las entradas puede variar sin que cambie la relación entre esas entradas y el resultado. Supongamos dos grupos de episodios definidos por condiciones observables de procesamiento. En el primero, la tasa de error es de 2 %; en el segundo, de 10 %. Si al comienzo representan tres cuartas partes y una cuarta parte del volumen, el error agregado esperado es 0,75 × 0,02 + 0,25 × 0,10 = 0,04. Cuando las proporciones se invierten, el agregado sube a 0,25 × 0,02 + 0,75 × 0,10 = 0,08, aunque ninguna de las dos tasas condicionales se haya movido.

El servicio recibe el doble de errores por cada cien episodios, pero el origen está en la composición de la demanda y no en un deterioro dentro de cada grupo. Una respuesta limitada a reajustar parámetros podría pasar por alto lo que en verdad cambió. Lo pertinente sería examinar si el segundo grupo necesita otra ruta, información adicional o más capacidad de revisión. Descomponer el resultado por grupos identifica el mecanismo sin restar importancia al empeoramiento que perciben los usuarios.

También puede cambiar el rendimiento condicional. Con las proporciones iniciales, si la tasa de error del segundo grupo pasa de 10 % a 18 %, el promedio sube de 4 % a 6 %. Una modificación del formulario podría explicar parte de ese aumento, pero la hipótesis debe comprobarse, porque una misma diferencia agregada admite varios mecanismos. Para investigarla se necesitan las versiones de los formularios, las fechas de cada cambio, las reglas de procesamiento vigentes y muestras que permitan comparar condiciones semejantes. Finlayson y colaboradores, en una carta publicada en el New England Journal of Medicine en 2021, ordenan las fuentes habituales de este tipo de desplazamiento en tres grupos: cambios tecnológicos, como una actualización del registro clínico electrónico que altera la definición de una variable; cambios de población o de entorno asistencial; y cambios de conducta, como incentivos de reembolso que modifican la frecuencia con que se documenta un diagnóstico. La clasificación orienta la búsqueda, pero no sustituye la reconstrucción local de cada caso.

Un tercer tipo de cambio afecta a la relación entre predicción y acción. Cuando una predicción orienta decisiones, puede modificar el resultado que intenta anticipar. Perdomo, Zrnic, Mendler-Dünner y Hardt llamaron performativas a esas predicciones en un trabajo presentado en 2020 en la conferencia ICML, y señalaron que, si se ignora el fenómeno, aparece como un desplazamiento de la distribución que suele tratarse reentrenando el modelo. En medicina, Lenert, Matheny y Walsh plantearon en 2019 una consecuencia incómoda: si un modelo pronóstico desencadena intervenciones eficaces, el resultado se vuelve menos frecuente entre los pacientes señalados y el modelo parece degradarse precisamente porque funciona. Según su análisis, reajustarlo sin representar esas intervenciones puede empeorar la clasificación de quienes más necesitan atención. Si además el resultado se busca con más intensidad entre las personas alertadas, cambia también su observación. Feng y colaboradores, en un trabajo de 2024 cuyo resumen se consultó, muestran que vigilar únicamente a los pacientes no tratados puede inflar la tasa de falsas alarmas y proponen medidas condicionales de rendimiento junto con un procedimiento CUSUM adaptado. La consecuencia práctica para el plan es registrar las intervenciones desencadenadas y los procedimientos de adjudicación. Atribuir toda desviación a un fallo del modelo confunde cambios del mundo, cambios del tratamiento y cambios de medición.

476.3 Una referencia que también debe vigilarse

Para estimar errores se necesita una referencia suficientemente independiente y pertinente. En seguimiento clínico el resultado puede conocerse semanas después, y algunos episodios quedan sin resolver. El tablero de un día cualquiera no puede tratar como negativos los resultados que todavía se desconocen. Conviene distinguir la fecha del episodio, la fecha en que la referencia queda disponible y la fecha en que el episodio entra en cada análisis. Con esa separación se evita que los períodos más recientes parezcan mejores solo porque sus problemas aún no se han documentado.

La adjudicación misma puede cambiar cuando rota el equipo revisor o se modifica el criterio de revisión. Si aumenta la proporción de casos clasificados como incorrectos, parte de la diferencia podría deberse a una lectura más exigente. Eso no obliga a conservar una referencia inadecuada. Obliga a documentar el cambio y, cuando sea factible, a aplicar el nuevo criterio también sobre una muestra anterior para estimar cuánto de la diferencia es atribuible a la medición. La comparabilidad depende de saber cómo se produjo cada etiqueta, más que de disponer de una columna que las contenga.

Una auditoría basada solo en las alertas conocidas sobrestimaría algunos problemas y dejaría otros fuera de la vista. Resulta más informativo combinar la revisión de incidentes con un muestreo de episodios ordinarios, incluidos los que no activaron ninguna recomendación. Los dos mecanismos sirven a propósitos diferentes: el primero investiga fallos concretos y el segundo estima frecuencias. Las quejas aportan información valiosa, pero su número depende de lo fácil que sea reclamar y no equivale a una estimación poblacional de seguridad.

Obtener referencias tiene un costo que pertenece al presupuesto del seguimiento. Una institución que financia el procesamiento automatizado y no la revisión independiente termina midiendo lo fácil de registrar, que basta para detectar interrupciones técnicas pero no para estimar consecuencias clínicas. Un plan realista deja escrito qué resultados se conocerán, con qué retraso y para qué decisiones bastan, y reconoce las preguntas que seguirán abiertas por falta de una observación adecuada.

476.4 Indicadores con responsables y consecuencias

Un indicador es útil cuando enlaza una observación con una responsabilidad concreta. La proporción de campos ausentes puede revisarla el equipo de integración de datos; las discrepancias clínicas requieren revisión profesional; los episodios pendientes involucran a la unidad que debe ejecutarlos. Cargar todos los problemas sobre un único responsable técnico favorece diagnósticos incompletos. La coordinación necesita un punto común de recepción, personas capaces de investigar cada mecanismo y una autoridad con facultades para modificar el uso de la herramienta.

La tabla siguiente propone un plan sintético. Sus criterios cualitativos tienen que traducirse en reglas locales antes del despliegue. Un cambio de unidad de medida puede justificar el bloqueo inmediato de una entrada, mientras que una fluctuación pequeña de frecuencia quizá solo amerite observación adicional. La urgencia depende de las consecuencias plausibles y de la posibilidad de seguir atendiendo mediante una ruta alternativa. Que no exista un umbral numérico universal no impide especificar procedimientos de respuesta verificables.

La autoridad para actuar tiene que existir antes de que llegue la alerta. Si nadie ha definido quién puede detener las recomendaciones fuera del horario habitual, el sistema queda en manos de acuerdos improvisados. El plan necesita nombres de unidades, suplencias y canales de comunicación. También debe indicar qué evidencia se conserva para reconstruir después una decisión tomada con información incompleta. FUTURE-AI apunta en la misma dirección cuando recomienda asignar funciones de auditoría, mantenimiento y supervisión y precisar cómo se reparte la responsabilidad por los errores entre profesionales, centros y desarrolladores, aunque deja abiertas, como el propio texto admite, las cuestiones de responsabilidad legal.

476.5 Un experimento sintético de vigilancia

Consideremos auditorías de lotes de cien episodios cuya referencia ya está disponible. Para simplificar, los errores dentro de cada lote son independientes y tienen la misma probabilidad. Con funcionamiento estable, esa probabilidad es 0,05; el cambio que interesa detectar la eleva a 0,12. Estas tasas no describen ninguna herramienta real y se han elegido para comparar dos reglas: abrir una investigación cuando un lote contiene al menos diez errores, o hacerlo cuando contiene al menos trece.

Si el número de errores de un lote sigue una distribución binomial, la probabilidad de alerta se obtiene sumando las probabilidades de todos los conteos iguales o mayores que el umbral. Calculada con la tasa estable, esa cantidad es la probabilidad de falsa alarma por lote. Con la tasa alterada, es la sensibilidad de la regla para ese tamaño de lote y esa magnitud de cambio. La sensibilidad depende, por tanto, del deterioro que se haya definido como relevante.

Con el umbral de diez, la falsa alarma aparece en cerca de 2,82 % de los lotes estables y el cambio a 0,12 se detecta en cerca de 77,43 % de los lotes alterados. El umbral de trece reduce la falsa alarma a 0,146 %, pero la sensibilidad cae a 42,39 %. Preferir el segundo por su mayor especificidad equivale a aceptar una probabilidad menor de advertir pronto el cambio definido. En funcionamiento estable, el número esperado de lotes hasta la primera falsa alarma, inverso de la probabilidad por lote, es de unos 35,5 con el umbral de diez y de unos 683 con el de trece.

Los tiempos esperados de la última columna suponen lotes sucesivos independientes, un cambio que comienza al inicio de un lote y se mantiene, y se calculan como el inverso de la probabilidad de alerta. No incluyen el tiempo necesario para reunir cien episodios ni la espera hasta que la referencia esté disponible. Un servicio de poco volumen puede tardar meses en completar un lote, de modo que expresar la demora solo en lotes oculta diferencias decisivas. El plan debe convertirla en tiempo de calendario con la frecuencia real de observación. Ambas reglas deciden con la información de un solo lote. Los procedimientos acumulativos como el CUSUM, adaptados también al seguimiento de modelos clínicos, reúnen evidencia de varios lotes y tienen supuestos y criterios de diseño propios.

476.6 Muchas oportunidades de falsa alarma

Una probabilidad pequeña por lote puede acumularse en una probabilidad considerable de recibir alguna alerta durante un período largo. Con cincuenta y dos lotes independientes y funcionamiento estable, la probabilidad de al menos una falsa alarma es de alrededor de 77,39 % con el umbral de diez y de 7,34 % con el de trece. Esas cifras describen un escenario enteramente estable. No indican qué proporción de las alertas será falsa cuando existan cambios reales, porque esa proporción depende además de con qué frecuencia ocurren deterioros verdaderos.

El resultado cambia la manera de leer una señal aislada. Cuando se vigilan muchos indicadores durante mucho tiempo, encontrar alguna desviación es esperable incluso si nada ha cambiado. Eso no autoriza a ignorarla, pero sí sugiere que la primera respuesta sea comprobar datos, contexto y consecuencias antes de declarar un deterioro. Separar la alerta del diagnóstico permite investigar con una intensidad proporcionada y evita que cada fluctuación se convierta en una interrupción del servicio.

También importa el costo acumulado. Si revisar cada alerta toma cuatro horas y se investigan todas, incluso cuando coinciden varias en el mismo período, el trabajo esperado en cincuenta y dos lotes estables es de unas 5,86 horas con el umbral de diez y de unas 0,30 horas con el de trece. El cálculo supone un costo fijo por alerta y deja fuera las interrupciones, la preocupación de los usuarios y el trabajo adicional que la propia investigación pueda generar. Su valor está en hacer visible un componente del presupuesto que suele omitirse.

Una frecuencia alta de alertas puede ser aceptable si la revisión es barata y descubre problemas relevantes, y perjudicial si cada señal suspende un servicio sin alternativa. Como el costo de una falsa alarma depende de la respuesta asociada, conviene comparar conjuntos completos de detección y actuación que distingan entre investigar, restringir temporalmente y suspender. La regla estadística, por sí sola, no indica cuál de esas medidas corresponde.

476.7 Exigir confirmación también retrasa

Una propuesta frecuente consiste en exigir alertas en dos lotes consecutivos antes de abrir una revisión mayor. Bajo independencia, esa regla filtra las señales producidas por fluctuaciones aisladas, aunque también puede postergar la detección de un deterioro persistente. Para calcular la probabilidad acumulada de confirmación conviene modelar la secuencia como una cadena con dos estados transitorios, según si el lote anterior alertó o no, y un estado absorbente al que se llega con la segunda alerta consecutiva. Contar por separado cada pareja de lotes vecinos sería incorrecto, porque las parejas se solapan y no son sucesos independientes.

Con el umbral de diez, la probabilidad de una confirmación falsa en cincuenta y dos lotes estables baja a cerca de 3,87 %; con el de trece, a cerca de 0,0109 %. Después del cambio a una tasa de error de 0,12, el número esperado de lotes hasta dos alertas consecutivas es de unos 2,96 con el primer umbral y de unos 7,92 con el segundo. Esta última demora puede ser difícil de aceptar si reunir cada lote exige semanas.

La expresión supone que se parte sin alerta previa, que la probabilidad de alerta se mantiene constante y que los lotes son independientes. En un servicio real esos supuestos se rompen con facilidad: una secuencia de pacientes atendidos por un mismo profesional, los episodios repetidos de una misma persona o una falla de infraestructura que afecta días completos introducen dependencia. Aplicar las fórmulas sin examinarlas produce una precisión aparente que los datos no sostienen.

La confirmación estadística no debería retrasar nunca la investigación de un incidente concreto con consecuencias plausiblemente importantes. Una regla agregada responde a cambios de frecuencia, mientras que la revisión de incidentes responde a situaciones identificables, y ambas pueden funcionar en paralelo. El plan necesita indicar qué hechos desencadenan una evaluación inmediata aunque el promedio permanezca estable. Un error raro puede importar por su gravedad o porque revela una vía de fallo que todavía no ha tenido ocasión de repetirse.

476.8 Código reproducible de las reglas

El código siguiente calcula las probabilidades con sumas binomiales exactas y una recurrencia de dos estados, sin muestreo aleatorio. La recurrencia mantiene la probabilidad de no haber alcanzado aún dos alertas seguidas, distinguiendo si el último lote alertó o no, y su complemento da la probabilidad acumulada de confirmación. Para comprobar la fórmula cerrada de E(T₂) se calcula también la esperanza por una vía independiente, como suma de las probabilidades de supervivencia de la misma cadena. Las aserciones contrastan los valores citados en el texto, verifican a mano dos casos pequeños de la recurrencia y confirman que elevar el umbral reduce la sensibilidad.

from math import comb, isclose

def alarm(p, k, n=100):
    """Probabilidad binomial exacta de al menos k errores en un lote de n."""
    return sum(comb(n, j) * p**j * (1-p)**(n-j)
               for j in range(k, n+1))

def two_in_a_row(a, batches):
    """Probabilidad de haber observado dos alertas consecutivas en `batches` lotes."""
    zero, one = 1.0, 0.0   # sin alerta previa / una alerta sin confirmar
    for _ in range(batches):
        zero, one = (zero + one) * (1-a), zero * a
    return 1-zero-one

def expected_two_in_a_row(a, horizon=100_000):
    """E(T2) por suma de supervivencias, vía independiente de la fórmula cerrada."""
    zero, one, total = 1.0, 0.0, 0.0
    for _ in range(horizon):
        total += zero + one
        zero, one = (zero + one) * (1-a), zero * a
        if zero + one < 1e-15:
            break
    return total

expected = {
    10: (0.028188294163416006, 0.7743481049071607),
    13: (0.0014643480080344517, 0.42387895436006473),
}
for k, (a0, a1) in expected.items():
    assert isclose(alarm(.05, k), a0, abs_tol=1e-12)
    assert isclose(alarm(.12, k), a1, abs_tol=1e-12)
    assert isclose(expected_two_in_a_row(a1), (1+a1)/a1**2, rel_tol=1e-9)
    print(k, {
        'false_alarm_per_batch': a0,
        'sensitivity': a1,
        'expected_batches_to_false_alarm': 1/a0,
        'any_false_alarm_52': 1-(1-a0)**52,
        'confirmed_false_alarm_52': two_in_a_row(a0, 52),
        'expected_batches_first': 1/a1,
        'expected_batches_confirmed': (1+a1)/a1**2,
        'false_alarm_review_hours_52': 52*a0*4,
    })
assert isclose(two_in_a_row(.2, 2), .2**2, abs_tol=1e-12)
assert isclose(two_in_a_row(.2, 3), .2**2 + .8*.2**2, abs_tol=1e-12)
assert alarm(.12, 10) > alarm(.12, 13)
assert isclose(.75*.02+.25*.10, .04)
assert isclose(.25*.02+.75*.10, .08)
assert isclose(.75*.02+.25*.18, .06)

Que las aserciones se cumplan muestra que los cálculos son correctos bajo sus supuestos, no que la distribución binomial represente bien un servicio determinado. Antes de adoptar una regla parecida habría que estimar la dependencia entre episodios, la heterogeneidad entre grupos y los retrasos de la referencia. Una simulación que incorpore esos componentes puede ayudar a estudiar el comportamiento de la regla, siempre que quede claro qué parámetros provienen de observaciones y cuáles se eligieron para explorar escenarios. Los resultados de este capítulo son de esta segunda clase y no constituyen evidencia clínica sobre ninguna herramienta.

476.9 De una alerta a una decisión

Lo primero, ante una señal, es verificar que corresponde a datos válidos y comparables, lo que supone revisar duplicados, fechas, denominadores y cambios en la extracción. Después se buscan patrones de concentración en un turno, un formulario, una versión del software o un grupo de episodios. Ese análisis orienta medidas específicas. Una pérdida de datos en una integración puede resolverse bloqueando esa entrada sin suspender el resto de las funciones de la herramienta.

Mientras dura la investigación, la institución necesita una regla provisional sobre el uso permitido. Puede mantener una función de resumen y suspender la clasificación que depende del campo defectuoso, exigir una revisión adicional o derivar ciertos episodios al procedimiento habitual. La decisión debe sopesar las consecuencias de continuar y las de interrumpir. Una suspensión que no transfiere los casos pendientes puede generar un fallo de coordinación que se suma al problema que se pretendía contener.

El registro de la decisión tiene que consignar qué información había, qué incertidumbre persistía y quién autorizó la medida. Así puede juzgarse después si el procedimiento fue razonable con lo que se sabía en su momento, e identificar demoras evitables y responsabilidades mal definidas. La documentación vale en la medida en que permite reconstruir lo que se hizo, y pierde sentido cuando se reduce a formularios que nadie consulta durante el incidente.

La comunicación al equipo debe describir los cambios de uso con precisión. Decir que «la herramienta está en revisión» no basta si algunos profesionales siguen recibiendo recomendaciones y otros han dejado de recibirlas. Hay que indicar qué funciones cambian, desde cuándo y qué ruta queda disponible. Si el cambio altera lo que los pacientes esperan del servicio, informarles forma parte del trabajo clínico y organizacional, y el mensaje tiene que ajustarse a lo que realmente puede ofrecerse durante la contingencia.

476.10 Actualizar, reanudar o retirar

Corregir un fallo no demuestra que la versión nueva funcione en todas las condiciones relevantes, porque la modificación puede resolver una entrada y alterar otras salidas. Conviene conservar los casos que reproducen el problema, añadir pruebas de regresión y evaluar la versión candidata con datos distintos de los usados para ajustarla. Si cambia el comportamiento visible de la herramienta, también hay que examinar cómo lo interpretan quienes la usan.

La reanudación requiere criterios definidos de antemano. En el ejemplo podrían ser tres: comprobar que la integración corregida transmite todos los campos necesarios, recuperar los episodios pendientes y completar una revisión clínica de la función afectada. Solo cuando esas condiciones se verifican puede declararse cerrado el incidente. El regreso puede ser gradual si eso permite observar consecuencias con capacidad suficiente de respuesta, pero una reanudación gradual necesita fecha de evaluación y un responsable del cierre; sin ellos, la versión provisional tiende a quedarse indefinidamente.

La retirada definitiva puede ser la opción adecuada cuando el beneficio esperado ya no compensa el costo de mantener condiciones seguras de uso, cuando desaparece el contexto para el que la herramienta se validó o cuando una alternativa ofrece mejores resultados para la institución. Esa decisión no exige demostrar que la tecnología carece de valor en otros lugares, porque se refiere a un uso y a unas condiciones concretas. El análisis que la sustenta debe conservar tanto los resultados favorables como los problemas observados, para evitar una reconstrucción retrospectiva selectiva. FUTURE-AI no formula un procedimiento específico de retirada; menciona el apagado del sistema como mitigación de riesgos, sin desarrollarlo como etapa final del ciclo de vida, de modo que cada institución debe definirlo.

Retirar una herramienta obliga a cerrar sus dependencias. Hay que identificar los episodios todavía abiertos, trasladar responsabilidades y actualizar los materiales que describen el servicio. Los registros necesarios para auditoría deben conservarse según los criterios institucionales que correspondan, y los accesos que dejaron de ser necesarios tienen que revisarse. También hay que comprobar que ningún proceso siga esperando salidas que ya no se producirán. Un apagado técnicamente impecable puede dejar tareas sin dueño si se confunde el componente informático con el recorrido asistencial completo.

476.11 Ventanas temporales y poblaciones de referencia

La ventana de análisis determina qué cambios llegan a verse. Una ventana extensa aporta más datos y reduce la variabilidad, pero puede diluir un deterioro reciente entre muchos episodios antiguos. Una ventana corta reacciona antes y fluctúa más. Comparar ambas ayuda, siempre que no se escoja retrospectivamente la que da el resultado deseado. El plan debería fijar una ventana principal para las decisiones previstas y tratar los demás análisis como exploratorios. Si uno de esos análisis motiva una acción, debe quedar registrado como tal, junto con la razón operativa que la justificó.

Una alternativa es dejar que la ventana se ajuste a los datos. Davis y colaboradores describieron en 2020 un sistema que mantiene una curva de calibración actualizada observación a observación y aplica un detector de ventana deslizante adaptativa, que compara el error de calibración de un tramo antiguo con el de uno reciente y descarta los datos antiguos cuando detecta un empeoramiento. En sus simulaciones las falsas alarmas fueron escasas, pero el tiempo de detección dependió de la velocidad y la forma de la deriva, y los cambios lentos o fluctuantes fueron mucho más difíciles de captar. El método desplaza la decisión sobre la ventana hacia otros parámetros, cuyo ajuste los autores dejan abierto.

Las ventanas móviles introducen además una dependencia entre análisis sucesivos. Dos cortes semanales que comparten casi todos sus episodios no equivalen a dos auditorías independientes, de modo que dos alertas seguidas en esas ventanas no proporcionan la confirmación calculada en la sección 476.7 para lotes disjuntos. Si se opta por una ventana móvil por razones prácticas, la regla de confirmación debe evaluarse con ese diseño, por ejemplo mediante una simulación que reproduzca el solapamiento y los tamaños reales. El resultado describirá el comportamiento de la vigilancia en escenarios definidos y no reemplaza la revisión de los episodios que originaron la señal.

La referencia histórica tampoco puede mantenerse de manera automática. Una mejora sostenida puede justificar una referencia nueva, y una actualización automática del promedio puede, en cambio, normalizar un deterioro gradual. Conviene separar la serie observada del valor que se considera aceptable: la primera describe lo que ocurre y el segundo expresa una condición de funcionamiento que requiere justificación. Si el criterio de aceptabilidad cambia, deben conservarse el criterio anterior, el motivo del cambio y sus consecuencias, para que un ajuste del tablero no borre retrospectivamente la visibilidad de un problema.

Las comparaciones por grupo plantean una dificultad adicional cuando el volumen es pequeño. Una tasa extrema calculada sobre pocos episodios tiene una incertidumbre grande, mientras que una tasa agregada estable puede ocultar un problema persistente que afecta a pocas personas. Descartar sistemáticamente los grupos pequeños no resuelve la tensión. Puede ser necesario reunir períodos más largos, revisar casos individualmente y combinar los datos cuantitativos con información sobre barreras de uso. La precisión de una estimación y la importancia del problema son cosas distintas, y una limitación grave de acceso merece investigarse aunque no permita estimar una tasa con intervalo estrecho.

476.12 Un incidente reconstruido desde el registro hasta la atención

Supongamos que el servicio incorpora un formulario nuevo y que, durante la primera semana, aumenta la proporción de episodios sin recomendación. La infraestructura sigue disponible y las solicitudes reciben respuesta, de modo que el indicador de tiempo activo no muestra anomalías. La auditoría de entradas descubre que un campo pasó de una escala numérica a una categoría textual. El sistema acepta el registro, pero convierte la categoría desconocida en un valor ausente. El caso ilustra el primer grupo de fuentes de desplazamiento descrito por Finlayson y colaboradores, un cambio tecnológico que altera la definición de una variable, y muestra por qué disponibilidad técnica, validez de las entradas y cobertura de la función deben vigilarse por separado.

El primer análisis establece qué versión del formulario produjo los registros afectados y desde cuándo. Luego reconstruye los episodios que siguieron la ruta automática sin recibir una clasificación utilizable. Esa lista no puede pasar directamente a una agenda de contacto, porque antes hay que comprobar cuáles ya fueron atendidos por otra vía y cuáles siguen pendientes; de lo contrario, la recuperación puede duplicar tareas o generar mensajes contradictorios. Cada acción posterior debe quedar enlazada con el episodio original, para saber si la medida correctiva llegó a completarse.

La decisión provisional del ejemplo consiste en impedir que el formato nuevo active la clasificación y derivar esos episodios a la ruta manual. La medida es viable solo si hay personal suficiente para absorberlos. Si el volumen supera esa capacidad, la institución debe definir cómo distribuir el trabajo y en qué plazo realista, en lugar de dar por hecho que la supervisión humana absorberá el problema. La diferencia entre el volumen derivado y la capacidad disponible pasa a ser una variable de seguimiento, y las demoras que la contingencia produzca forman parte de la evaluación del incidente.

El equipo técnico puede corregir la conversión de categorías, pero reanudar exige comprobar algo más que la desaparición del error original. Hay que examinar el tratamiento de categorías desconocidas, de valores vacíos y de formularios antiguos que todavía circulan. El equipo clínico revisa una muestra de salidas con la versión corregida, y la coordinación asistencial verifica que no queden episodios sin responsable. El informe final conserva los casos de prueba y distingue el momento de la reparación técnica del momento en que se recuperó el funcionamiento asistencial.

476.13 Costos que no aparecen en el tablero

La carga de la vigilancia incluye la preparación de muestras, la adjudicación, las reuniones y la recuperación de tareas, además del tiempo dedicado a revisar alertas. Parte de ese trabajo puede recaer en servicios que no reciben los beneficios inmediatos de la herramienta. Si la unidad que obtiene un resumen más rápido traslada numerosas verificaciones a otra, un ahorro local puede encubrir un costo institucional. El plan debe especificar dónde se realiza cada tarea y con qué recursos, porque solo así es posible comparar el sistema con una alternativa sin automatización en condiciones de trabajo equivalentes.

La respuesta a las alertas también puede cambiar con el tiempo. No hay razón para suponer que una señal conserve el mismo efecto tras meses de uso. Pueden observarse las demoras de apertura, la proporción de señales investigadas y los motivos de cierre. Una caída en la atención prestada podría deberse a un exceso de señales poco útiles, a falta de personal o a una interpretación equivocada del indicador, y cada hipótesis pide una indagación distinta. Investigarlas requiere conversar con quienes hacen la revisión y examinar episodios concretos, sin reducir cada demora a un incumplimiento individual.

Retirar una función puede, además, redistribuir cargas de manera duradera. El procedimiento alternativo quizá dependa de habilidades que dejaron de practicarse o de una capacidad de personal que ya no existe. Preparar la retirada supone ensayar la continuidad de las tareas esenciales antes de necesitarla y medir qué se logra y qué queda pendiente con los recursos reales. La posibilidad efectiva de detener un sistema depende de que la organización conserve capacidad suficiente para hacerse cargo de las consecuencias.

Una prueba de continuidad puede tomar una jornada histórica, con sus entradas originales, y procesarla por la ruta alternativa. Debe incluir las ausencias de personal y los registros incompletos que realmente ocurrieron, para que el ejercicio no se convierta en una demostración preparada con los casos más sencillos. El resultado, que registra tiempos, decisiones sin resolver y transferencias entre unidades, informa sobre capacidad operativa y no equivale a una evaluación clínica prospectiva. Si el ensayo revela cuellos de botella, corresponde corregirlos o restringir el alcance del uso antes de depender de una retirada que el servicio no estaría en condiciones de sostener.

476.14 Interpretar el plan como una capacidad institucional

La comparación de umbrales muestra que detectar rápido y reducir falsas alarmas son objetivos que pueden entrar en conflicto. Elegir entre ellos requiere información sobre consecuencias, tiempos de observación y recursos disponibles, y ningún valor de sensibilidad vuelve aceptable una política por sí mismo. La institución tiene que explicar qué deterioros pretende detectar, qué demoras considera tolerables y qué hará con cada tipo de señal. Esa justificación debe revisarse cuando cambian el volumen o la población atendida.

El seguimiento debe observar también si sus propias medidas reparten cargas de forma desigual. Una auditoría que pide información repetida puede recargar a algunos pacientes o servicios, y un sistema de reclamaciones difícil de usar puede hacer parecer estable lo que nadie consigue cuestionar. Examinar estos mecanismos mejora la calidad de la observación, porque la ausencia de señales solo es tranquilizadora cuando existían oportunidades suficientes y accesibles para que aparecieran.

Por último, cada revisión periódica debería preguntarse si sigue existiendo una razón para usar la herramienta. Un sistema instalado genera rutinas, contratos y expectativas que dificultan reconsiderarlo. Un plan de ciclo de vida incorpora momentos de decisión explícitos y mantiene viables las alternativas, de modo que la institución pueda optar por continuar, modificar o retirar con una argumentación que conecte la evidencia técnica, el funcionamiento asistencial y la asignación de responsabilidades. La capacidad de hacer esa revisión forma parte del sistema que se evalúa.

Referencias

Davis, S. E., Greevy, R. A., Lasko, T. A., Walsh, C. G., y Matheny, M. E. (2020). Detection of calibration drift in clinical prediction models to inform model updating. Journal of Biomedical Informatics, 112, 103611. https://doi.org/10.1016/j.jbi.2020.103611

Feng, J., Gossmann, A., Pennello, G. A., Petrick, N., Sahiner, B., y Pirracchio, R. (2024). Monitoring machine learning-based risk prediction algorithms in the presence of performativity. En Proceedings of the 27th International Conference on Artificial Intelligence and Statistics, Proceedings of Machine Learning Research, 238, 919–927. https://proceedings.mlr.press/v238/feng24b.html

Finlayson, S. G., Subbaswamy, A., Singh, K., Bowers, J., Kupke, A., Zittrain, J., Kohane, I. S., y Saria, S. (2021). The clinician and dataset shift in artificial intelligence. New England Journal of Medicine, 385(3), 283–286. https://doi.org/10.1056/NEJMc2104626

Lekadir, K., Frangi, A. F., Porras, A. R., Glocker, B., Cintas, C., Langlotz, C. P., et al., en nombre del FUTURE-AI Consortium (2025). FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare. BMJ, 388, e081554. https://doi.org/10.1136/bmj-2024-081554

BMJ (2025). Correction: FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare. BMJ, 388, r340. https://doi.org/10.1136/bmj.r340. Corrige la grafía del nombre de un integrante del consorcio; no modifica el contenido sustantivo de la guía.

Lenert, M. C., Matheny, M. E., y Walsh, C. G. (2019). Prognostic models will be victims of their own success, unless… Journal of the American Medical Informatics Association, 26(12), 1645–1650. https://doi.org/10.1093/jamia/ocz145

Perdomo, J., Zrnic, T., Mendler-Dünner, C., y Hardt, M. (2020). Performative prediction. En Proceedings of the 37th International Conference on Machine Learning, Proceedings of Machine Learning Research, 119, 7599–7609. https://proceedings.mlr.press/v119/perdomo20a.html