Evaluación de implementación con heterogeneidad de contextos

469.1 Un programa común puede producir recorridos distintos

Dos servicios pueden ofrecer un programa con el mismo nombre y ejecutar acciones diferentes. Uno cuenta con un equipo estable, capacidad de seguimiento y registros accesibles. El otro depende de personal rotatorio y debe resolver barreras de acceso antes de iniciar la intervención. Si sus resultados difieren, puede ser porque atienden poblaciones distintas, porque ejecutan el programa de forma más o menos completa o porque el mecanismo opera de otra manera en cada lugar. Separar estas posibilidades importa, porque cada una conduce a decisiones distintas sobre apoyo, adaptación y continuidad.

La comparación comienza por definir qué se considerará la misma intervención. Supongamos que el programa exige confirmar un plan con la persona atendida y asegurar que el equipo receptor lo acepte. Usar un canal distinto para esa confirmación puede preservar la función. Suprimir la aceptación del receptor, en cambio, elimina una dependencia esencial aunque el formulario original siga en uso. La identidad de una intervención puede definirse por funciones y componentes antes que por su apariencia, siempre que la decisión sobre qué es esencial se fundamente y quede abierta a revisión cuando la evidencia sea insuficiente.

Damschroder y colaboradores (2009) propusieron el Consolidated Framework for Implementation Research (CFIR) como una tipología general de constructos asociados a la implementación, organizada en cinco dominios (características de la intervención, entorno externo, entorno interno, características de los individuos y proceso), con el propósito de desarrollar y verificar teoría sobre qué funciona, dónde y por qué. El marco no especifica una ecuación causal entre sus constructos. Aplicarlo exige elegir las variables pertinentes para el mecanismo estudiado, definirlas y decidir cuándo se medirán, sin convertir cada dominio en una casilla obligatoria ajena a la pregunta.

La actualización de 2022, basada en la retroalimentación de sus usuarios (Damschroder et al., 2022), renombró los dominios como innovación, entorno externo, entorno interno, individuos y proceso de implementación. Sus autores señalan que los constructos nuevos pueden mapearse hacia los originales. La versión actualizada pide distinguir la innovación, aquello que persiste cuando la implementación termina, de las estrategias usadas para implementarla, que concluyen con ella. Esa distinción reaparece a lo largo del capítulo.

La evaluación de implementación tiene un objeto propio. Proctor y colaboradores (2011) propusieron una taxonomía de trabajo con ocho resultados de implementación (aceptabilidad, adopción, pertinencia, factibilidad, fidelidad, costo de implementación, penetración y sostenibilidad), distintos de los resultados del servicio y de los resultados clínicos de las personas atendidas. Los describieron como resultados intermedios y condiciones previas para los cambios buscados. Así puede informarse que un programa fue aceptado o ejecutado con fidelidad sin presentar ese dato como prueba de beneficio clínico. Un programa puede implementarse bien y no mejorar el resultado esperado. Otro puede mostrar un efecto favorable entre quienes lo reciben y llegar a una fracción muy pequeña de la población que lo necesita.

El caso sintético que se desarrolla más adelante compara dos contextos que difieren en riesgo inicial, ejecución y respuesta potencial. Calcular los resultados dentro de cada contexto y agregarlos después con composiciones distintas muestra que una comparación bruta puede sugerir daño aunque el programa beneficie a ambos.

469.2 Describir contextos mediante restricciones concretas

Las etiquetas «servicio urbano» y «servicio rural» agrupan diferencias sin identificar mecanismos. Para estudiar la disponibilidad de seguimiento, conviene medir cupos, tiempos de traslado y capacidad efectiva de contacto, en lugar de atribuir el efecto a la etiqueta geográfica.

Las características de los pacientes también pueden modificar el resultado sin que exista una falla de implementación. Una población con mayor necesidad inicial puede acumular más eventos aunque el programa le reduzca el riesgo. Comparar solo tasas finales penalizaría al servicio que atiende a la población más vulnerable. Antes de calcular, la evaluación debe decidir si le interesa el efecto dentro de cada población, el desempeño estandarizado a una población común o la consecuencia de ofrecer el programa a la mezcla real de pacientes de cada servicio, cantidades que pueden discrepar.

El contexto, además, cambia durante la implementación. Un programa puede aumentar la demanda de seguimiento, alterar la relación entre equipos o hacer visibles necesidades que antes no se registraban. Esos cambios forman parte de sus consecuencias y condicionan las fases siguientes, por lo que medir los recursos solo al comienzo deja fuera ese proceso. Conviene medir las variables contextuales en momentos predefinidos y distinguir las condiciones previas de las que la intervención ha modificado.

Las diferencias de ejecución requieren indicadores comparables. Una llamada puede registrarse como realizada cuando hubo un intento de contacto o solo cuando hubo una conversación suficiente. Si cada servicio aplica una definición distinta, parte de la heterogeneidad aparente será de medición. Un estudio multicéntrico debe acordar qué eventos se registran y comprobar la concordancia en muestras de casos, aceptando adaptaciones del procedimiento mientras la función medida siga siendo equivalente.

La descripción debe incluir las restricciones que el equipo local no controla, como el transporte, las reglas de financiamiento o la capacidad de otro servicio, que limitan la continuidad aunque la ejecución interna sea adecuada. Atribuir cualquier resultado desfavorable a la escasa motivación de quienes implementan confunde niveles de acción. La evaluación debe identificar qué organización controla cada recurso y qué cambios hacen falta para que el mecanismo previsto pueda operar.

469.3 Fidelidad, función central y adaptación

Carroll y colaboradores (2007) propusieron un marco conceptual en el que la fidelidad se mide como adhesión a la intervención tal como la definieron sus diseñadores, con cuatro subcategorías: contenido, frecuencia, duración y cobertura. El marco incorpora cuatro moderadores que pueden afectar el grado de adhesión alcanzado (la complejidad de la intervención, las estrategias de facilitación, la calidad de la entrega y la respuesta de los participantes) y trata por separado la identificación de los componentes esenciales mediante análisis de componentes. Los autores advirtieron que el propio marco requería contrastación empírica. En el caso de este capítulo, la fidelidad se resumirá en la fracción de episodios que reciben la secuencia funcional completa. Es una simplificación declarada, que deja fuera la calidad y el momento de la entrega.

La secuencia central del programa podría consistir en identificar una necesidad, acordar una acción y confirmar que el receptor puede ejecutarla. Cambiar el medio de contacto puede conservar esa secuencia. Reemplazar una conversación por un mensaje automático puede conservar algunas funciones y perder otras. La evaluación debe especificar qué información o qué respuesta se necesita para considerar cumplida cada función. Clasificar una adaptación por su parecido externo con el procedimiento original no basta.

Una modificación puede mejorar el acceso y, al mismo tiempo, alterar el mecanismo. Una visita presencial, por ejemplo, puede facilitar la comprensión del plan y añadir una evaluación clínica que la llamada original no incluía. Si esa versión produce mejores resultados, no corresponde atribuirlos solo a una mayor fidelidad, porque la intervención adaptada difiere de la original en aspectos relevantes. Documentar las acciones realizadas y sus recursos permite decidir qué componentes deben conservarse al transferir el programa.

Wiltsey Stirman, Baumann y Miller (2019) ampliaron un marco previo para documentar modificaciones de intervenciones basadas en evidencia (FRAME). Su versión pide registrar cuándo y cómo ocurrió el cambio, si fue planificado o reactivo, quién lo decidió, qué se modificó y en qué nivel de entrega, de qué naturaleza fue, si es consistente con la fidelidad y por qué se hizo, incluidos el objetivo y los factores contextuales de la decisión. FRAME llama adaptación al cambio planificado antes de la entrega y lo distingue de la modificación no planificada que responde a una dificultad imprevista. Sus autores lo proponen para estudiar asociaciones entre modificaciones y resultados, sin atribuirle capacidad de demostrar beneficio. Las condiciones que motivaron un cambio, por lo demás, pueden influir por sí mismas en el desenlace.

La fidelidad debe interpretarse junto con el momento y la calidad de la entrega. Completar todos los pasos después del horizonte en que eran útiles puede satisfacer el registro y fallar en la función. Una conversación breve en la que la persona no comprendió el plan puede recibir el mismo código que una conversación suficiente. En el marco de Carroll la calidad de la entrega figura como moderador, no como parte de la adhesión, de modo que un puntaje alto de adhesión puede coexistir con una entrega deficiente. Observar calidad y tiempos acerca la medición a la secuencia real, siempre que la auditoría no consuma los recursos que el programa necesita.

469.4 Un modelo de efecto y ejecución por contexto

Sea el resultado desfavorable la pérdida de continuidad asistencial dentro de un horizonte acordado. En el contexto A su probabilidad sin programa es 0,40 y en el contexto B es 0,60. La fracción de episodios que recibe la secuencia funcional completa es 0,90 en A y 0,40 en B. Si toda la secuencia se ejecutara, la reducción absoluta del riesgo sería 0,20 en A y 0,10 en B. Estas cifras son inventadas para el ejemplo y describen la regla que genera los datos simulados. No proceden de ningún estudio clínico.

Aquí $p_{0j}$ es el riesgo sin programa en el contexto $j$, $f_j$ la fracción que recibe la secuencia completa, $\delta_j$ la reducción absoluta entre quienes la reciben y $p_{1j}$ el riesgo cuando se ofrece el programa. La ecuación supone que solo quienes reciben la secuencia completa obtienen beneficio, que quienes no la reciben conservan el riesgo basal y que la reducción entre los receptores puede resumirse en un único valor por contexto. Con estos supuestos, el riesgo con programa es 0,22 en A y 0,56 en B. Las reducciones absolutas son 0,18 y 0,04. El programa es beneficioso en ambos contextos, aunque el riesgo final sigue siendo mucho mayor en B.

La diferencia entre los riesgos finales combina riesgo inicial, ejecución y efecto potencial, de modo que comparar 0,22 con 0,56 no permite atribuir la brecha a la calidad del equipo de B. Evaluar la implementación exige observar los procesos y estimar el contraste con una alternativa dentro de cada contexto, o bien formular una estandarización que responda a la pregunta institucional.

El parámetro $f_j$ es una fracción poblacional y no una dosis individual continua. El modelo divide la población de cada contexto entre quienes recibirían la secuencia completa si se les ofreciera y quienes no, partición que permite promediar de forma tan simple. Si las personas que completan la secuencia difieren en su riesgo o en su respuesta de las que no la completan, el producto $f_j\delta_j$ sigue describiendo el efecto de la oferta, pero $\delta_j$ ya no representa el efecto que tendría el programa en toda la población del contexto.

En el simulador los parámetros son conocidos y la descomposición es exacta. En datos reales los resultados, las acciones y las variables contextuales se registran con error, mientras $\delta_j$ permanece inobservable. Dividir una diferencia observada por la fidelidad solo tiene una interpretación precisa bajo condiciones exigentes. Si la oferta se asignó al azar dentro del contexto, si la secuencia está bien definida y no hay interferencia entre personas, si nadie del grupo comparador puede recibirla, si una fracción positiva la recibe al ofrecérsela y si la oferta solo influye en el resultado mediante su recepción (restricción de exclusión), el cociente entre la diferencia por intención de tratar y la fracción de receptores identifica el efecto medio entre quienes recibirían la secuencia al ofrecérsela, según el marco de variables instrumentales de Angrist, Imbens y Rubin (1996). El acceso unilateral implica aquí monotonicidad: no hay personas que recibirían la secuencia solo en el comparador. En el simulador, el cociente de diferencias de riesgo recupera −0,20 y −0,10, equivalentes a reducciones absolutas de 0,20 y 0,10, porque los datos se construyeron con esos supuestos. Extenderlo a quienes no completan exige suponer, además, que el efecto es homogéneo entre ambos grupos.

469.5 Una comparación agregada que cambia de signo

Supongamos ahora que, en un registro observacional, el grupo sin programa está formado en un 80 % por episodios del contexto A y en un 20 % por episodios de B. Su riesgo agregado es 0,44. El grupo con programa tiene la composición inversa (20 % de A y 80 % de B) y su riesgo agregado es 0,492. La diferencia bruta es de +0,052, lo que parece indicar que el programa aumenta la pérdida de continuidad, aunque las diferencias dentro de ambos contextos son favorables.

La inversión se debe a la composición. El programa se observa sobre todo en el contexto de mayor riesgo inicial, de manera que la comparación bruta mezcla el cambio de población con el efecto dentro de cada población. Este fenómeno se conoce como paradoja de Simpson, por el trabajo de Simpson (1951) sobre la interpretación de tablas de contingencia. El nombre puede confundir, porque no hay contradicción matemática ni falla del promedio. La comparación bruta responde correctamente a otra pregunta, la de cuánto difieren los dos grupos tal como se presentaron. El error surge cuando se la interpreta como si ambos grupos hubieran sido intercambiables.

Si ambos regímenes se estandarizan a una población con la mitad de los episodios en cada contexto, el riesgo sin programa es 0,50 y con programa 0,39. La diferencia, −0,11, coincide con el promedio igualmente ponderado de las diferencias por contexto. Esa coincidencia es una propiedad general de la diferencia de riesgos y se cumple con cualquier conjunto de ponderaciones. La elección de ponderaciones define la población objetivo. Si se estandariza a la composición del grupo que recibió el programa (20 % A, 80 % B), el efecto agregado es −0,068. Si se usa la composición del grupo comparador (80 % A, 20 % B), es −0,152. Los tres valores son correctos para su población respectiva y responden a preguntas distintas. El efecto estandarizado a la mezcla del grupo con programa se refiere a quienes de hecho lo recibieron, mientras que el estandarizado a la mezcla del comparador se refiere a quienes no lo recibieron.

La estandarización requiere que cada régimen pueda estimarse en cada contexto relevante y que el contraste dentro de cada contexto tenga interpretación causal. Ajustar por la etiqueta de sitio no elimina la confusión individual ni la temporal. Si A y B encubren diferencias no medidas de necesidad, selección o atención habitual, el sesgo persiste dentro de cada categoría. La aritmética corrige una composición conocida; la validez causal depende del diseño.

También importa la escala del efecto. Una reducción absoluta puede variar con el riesgo inicial aunque la razón de riesgos sea constante. Lo inverso también ocurre. En este ejemplo el efecto difiere entre contextos en ambas escalas, con razones de riesgos de 0,55 en A y 0,93 en B. El modelo se planteó en escala aditiva porque facilita contar episodios evitados. Una evaluación debe escoger escalas pertinentes, informarlas y presentar siempre los riesgos de referencia, porque afirmar que existe heterogeneidad sin indicar la escala deja ambigua cualquier conclusión sobre transferibilidad.

469.6 Mejorar la ejecución y examinar los límites del mecanismo

Supongamos que la ejecución en B sube de 0,40 a 0,90 y que su reducción potencial se mantiene en 0,10. El riesgo con programa baja de 0,56 a 0,51 y la diferencia respecto de no tener programa pasa a −0,09. Aunque la ejecución en B iguala ahora la de A, el beneficio absoluto sigue siendo menor porque el parámetro de respuesta es diferente. Mejorar la implementación no remueve por sí solo los límites de la teoría del programa en un contexto dado.

La menor respuesta puede deberse a barreras materiales que actúan después de confirmado el plan o a que la misma acción sea menos pertinente para necesidades distintas. La evaluación debe formular hipótesis concretas y buscar observaciones que las distingan, porque llamar «contexto» a cualquier diferencia residual describe el problema sin explicarlo.

Hay estructuras distintas que producen el mismo efecto observado en B. Con una reducción potencial de 0,20 y una ejecución de 0,20, el producto sigue siendo 0,04 y el riesgo final 0,56. El resultado por sí solo no distingue entre un efecto potencial bajo y una ejecución baja. Una medida válida de los procesos ayuda a separar ambas explicaciones, aunque luego sea necesario examinar la relación causal entre esos procesos y el resultado.

Una adaptación puede actuar sobre la ejecución, sobre el efecto potencial o sobre ambos: un canal más accesible amplía el alcance y un componente adicional puede resolver la barrera que limitaba la utilidad. Cuando se modifica la intervención, hay que describir qué cambió y fecharlo. Atribuir toda mejora a una «adaptación local», sin más precisión, impide saber qué función se fortaleció y qué recursos se necesitarían para replicarla en otro lugar.

Rechazar una hipótesis causal requiere una prueba informativa, con ejecución suficiente, medición pertinente y un contraste válido. Un estudio impreciso o con implementación incierta deja abiertas más explicaciones. La conclusión debe ajustarse a esa información, sin declarar inútil un programa mal ejecutado ni proteger indefinidamente una teoría frente a resultados que la contradicen.

469.7 Código de estandarización y escenarios

El siguiente código reproduce los cálculos de los apartados 469.4 a 469.6, la estandarización a tres poblaciones objetivo, el cociente por intención de tratar, los límites del apartado 469.12 y la combinación parcial del apartado 469.9. Las cantidades son probabilidades conocidas del ejemplo y no se simula error de muestreo, porque el objetivo es aislar composición y mecanismo.

import numpy as np

# Parámetros del simulador (contextos A y B)
baseline = np.array([.40, .60])    # riesgo sin programa, p0
fidelity = np.array([.90, .40])    # fracción que recibe la secuencia completa, f
potential = np.array([.20, .10])   # reducción absoluta entre receptores, delta
program = baseline - fidelity*potential
assert np.all((program >= 0) & (program <= 1))
assert np.allclose(program, [.22, .56])
assert np.all(program - baseline < 0)          # beneficio en ambos contextos
rr = program/baseline
assert np.allclose(rr, [.55, .56/.60])         # la razón de riesgos también difiere

# Comparación bruta y estandarización
control_mix = np.array([.80, .20])
program_mix = np.array([.20, .80])
target_mix = np.array([.50, .50])
crude_control = control_mix @ baseline
crude_program = program_mix @ program
assert np.isclose(crude_program - crude_control, .052)

def standardized_difference(mix):
    return mix @ program - mix @ baseline

assert np.isclose(standardized_difference(target_mix), -.11)
assert np.isclose(standardized_difference(program_mix), -.068)
assert np.isclose(standardized_difference(control_mix), -.152)

# Mejor ejecución en B y descomposición alternativa
improved = baseline - np.array([.90, .90])*potential
assert np.allclose(improved, [.22, .51])
assert np.isclose(target_mix @ improved, .365)
alternative_b = .60 - .20*.20
assert np.isclose(alternative_b, program[1])

# Cociente ITT/f: recupera delta solo porque los datos cumplen los supuestos
assert np.allclose((program - baseline)/fidelity, -potential)

# Límites sin supuestos para un servicio con datos faltantes (469.12)
eligible, observed_n, events = 100, 70, 20
lower = events/eligible
upper = (events + eligible - observed_n)/eligible
assert np.isclose(lower, .20) and np.isclose(upper, .50)

# Combinación parcial con hiperparámetros fijados (469.9)
estimates = np.array([-.18, -.04])
se = np.array([.08, .12])
mu, tau = -.11, .05
weight = tau**2/(tau**2 + se**2)
posterior_mean = weight*estimates + (1 - weight)*mu
assert np.all((weight > 0) & (weight < 1))
assert np.allclose(weight, [.2809, .1479], atol=1e-4)
assert np.allclose(posterior_mean, [-.1297, -.0996], atol=1e-4)

np.set_printoptions(precision=4, suppress=True)
print("riesgos sin y con programa", baseline, program)
print("razones de riesgos", rr)
print("brutos", round(crude_control, 4), round(crude_program, 4))
for name, mix in [("50/50", target_mix), ("mezcla programa", program_mix),
                  ("mezcla comparador", control_mix)]:
    print("diferencia estandarizada", name, round(standardized_difference(mix), 4))
print("ejecucion mejorada", improved)
print("limites con faltantes", lower, upper, "observado", round(events/observed_n, 4))
print("pesos parciales", weight)
print("medias parciales", posterior_mean)

La inversión de signo puede comprobarse sin álgebra matricial con poblaciones sintéticas de mil episodios por grupo. En el grupo comparador se esperan 320 resultados desfavorables entre 800 episodios de A y 120 entre 200 de B, es decir, 440. En el grupo con programa se esperan 44 entre 200 episodios de A y 448 entre 800 de B, es decir, 492. En la población estandarizada, con quinientos episodios por contexto, se esperan 500 eventos sin programa y 390 con programa, ciento diez menos por cada mil. Son valores esperados, no conteos observados. El cambio de signo no proviene del redondeo ni de un perjuicio del programa en algún contexto.

469.8 La fidelidad como variable posterior a la intervención

La fidelidad observada depende de los recursos, de las capacidades del equipo y de las características de quienes reciben atención. Esas mismas condiciones influyen en los resultados. Por eso, comparar episodios de alta y baja fidelidad puede mezclar el efecto de la ejecución con diferencias previas entre personas. Quien es fácil de contactar, por ejemplo, puede mantener la continuidad aunque el programa no se le ofrezca. La asociación entre completar la secuencia y obtener un buen resultado no basta para atribuir el resultado a la secuencia.

La asignación aleatoria de la oferta permite estimar el efecto de ofrecer el programa en las condiciones del estudio, pero no aleatoriza la fidelidad. Incluirla como covariable en un modelo de resultado cambia la pregunta y puede introducir sesgo, porque actúa como mediador o comparte causas no medidas con el desenlace. Frangakis y Rubin (2002) señalaron que los ajustes convencionales por variables posteriores al tratamiento no estiman, en general, efectos causales y propusieron la estratificación principal, que clasifica a las personas según el valor que la variable posterior tomaría bajo cada régimen. Como la asignación no altera esa clasificación, puede tratarse igual que una covariable previa. El cociente del apartado 469.4 aplica esta lógica al caso del incumplimiento. La estrategia analítica debe elegirse según interese la efectividad de la oferta, el efecto entre quienes reciben la secuencia o el mecanismo de implementación, declarando de antemano los supuestos de cada estimando.

Las estrategias de implementación también pueden evaluarse directamente. Es posible comparar el apoyo habitual con capacitación adicional, tiempo protegido o un sistema de coordinación, manteniendo fija la intervención asistencial. Esta es la distinción entre innovación y estrategia que subraya el CFIR actualizado. El resultado de ese contraste incluye cambios en la ejecución y en la atención. Si el apoyo afecta los resultados por vías distintas de la fidelidad, no puede tratarse como un simple instrumento para modificarla. La teoría del programa debe contemplar esa posibilidad antes de atribuir el mecanismo.

Los datos longitudinales ordenan los procesos sin garantizar causalidad. Una caída de la fidelidad puede preceder a peores resultados porque ambos responden a un aumento de la demanda. Conviene medir esas condiciones cambiantes y observar también si los resultados previos modifican la ejecución posterior, una retroalimentación que una comparación transversal no puede representar.

La evaluación cualitativa puede explicar por qué ciertos componentes no se ejecutan o se adaptan. Orienta hipótesis e interpreta medidas, aunque no sustituye el contraste de efectos cuando la pregunta es causal. Un diseño mixto debe indicar qué observaciones apoyan cada explicación, cuáles la contradicen y qué permanece incierto, sin presentar cada método como confirmación automática del otro.

469.9 Heterogeneidad con pocos servicios

Las estimaciones por servicio varían por azar además de hacerlo por diferencias reales. Un sitio pequeño puede mostrar un efecto extremo simplemente porque observó pocos eventos. Ordenar servicios según sus estimaciones puntuales ignora esa incertidumbre y produce clasificaciones inestables. La comparación debe presentar tamaños, intervalos y composición sin atribuir significado organizacional a cada diferencia numérica.

Un modelo jerárquico combina información entre contextos sin suprimir la variación entre ellos. Como ilustración, supongamos dos estimaciones de diferencia de riesgos, −0,18 y −0,04, con errores estándar de 0,08 y 0,12. Se fija una distribución normal de efectos verdaderos con media −0,11 y desviación estándar 0,05. Estos hiperparámetros se eligen para el ejercicio. Con solo dos servicios no podrían estimarse de forma creíble.

En el modelo normal con varianzas conocidas, la media posterior de cada efecto combina la estimación del servicio con la media común:

El peso del dato propio depende de la varianza entre contextos, $\tau^2$, en relación con la varianza de estimación del servicio, $s_j^2$. Con los valores supuestos, los pesos son aproximadamente 0,2809 y 0,1479; las medias posteriores se sitúan cerca de −0,1297 y −0,0996. La estimación menos precisa se acerca más a la media supuesta. El cálculo ilustra el mecanismo de combinación parcial y no demuestra que la heterogeneidad real sea pequeña. Con $\tau$ fijado en 0,05 el modelo presupone que los efectos verdaderos difieren poco, lo que condiciona buena parte del resultado.

La combinación supone que los contextos están relacionados de la manera modelada; agrupar servicios con mecanismos incompatibles oculta diferencias importantes. Una distribución normal para diferencias de riesgos puede, además, asignar probabilidad a valores imposibles cerca de los extremos. El ejemplo usa valores interiores; una aplicación real debe elegir escala y modelo según los datos, el tamaño de muestra y lo que se sabe de la heterogeneidad.

Los modelos no reemplazan la descripción contextual. Si un servicio carece por completo del recurso que activa el mecanismo, su efecto difiere de forma estructural y una media común poco flexible resulta inadecuada. La teoría ayuda a distinguir esa situación de la variación esperable. El análisis debe informar cuánto dependen sus conclusiones de los supuestos de agrupación.

469.10 Documentar adaptaciones durante la implementación

Una modificación debe registrarse cerca del momento en que ocurre, porque el recuerdo posterior tiende a reconstruir las razones a partir del resultado ya conocido. Basta un registro breve de qué cambió, quién lo decidió, cuándo y por qué, que señale además si se esperaba preservar una función central y qué observación permitiría comprobarlo.

Los cambios planificados y los reactivos pueden tener efectos diferentes, pero esa clasificación no determina su calidad. Una modificación reactiva puede resolver adecuadamente una barrera imprevista, mientras una adaptación planificada puede descansar en una hipótesis equivocada. La evaluación necesita observar la función y las consecuencias. Registrar la intención ayuda a interpretar lo ocurrido, aunque el beneficio debe contrastarse con datos y con alternativas pertinentes.

Cuando las modificaciones responden a dificultades, comparar sitios que modificaron el programa con sitios que no lo hicieron puede atribuirles injustamente malos resultados, porque quizá enfrentaban condiciones más adversas desde el inicio. También puede ocurrir lo contrario si solo los equipos mejor preparados son capaces de adaptar. Esa selección debe considerarse en el diseño y en la interpretación de cualquier asociación.

Un cambio de canal que mejora el alcance puede exigir recursos adicionales o reducir la privacidad y la accesibilidad para otros grupos. Por eso hay que examinar quiénes participan y quiénes quedan excluidos, con la población elegible como denominador. Un promedio de fidelidad más alto puede ocultar que la ejecución se concentró en las personas más fáciles de atender.

La versión del programa debe permanecer identificable. Si cada sitio cambia componentes sin registrarlo, la comparación deja de referirse a una intervención definida. Un núcleo funcional con un registro de variaciones permite aprender qué formas son compatibles con el mecanismo. Si la evidencia sobre los componentes esenciales es incierta, conviene declararlo en vez de fijar una clasificación rígida.

469.11 Transferir resultados a un contexto nuevo

La transferencia exige definir una población y un sistema objetivo. El efecto promedio de los servicios participantes puede no representar a un servicio con recursos o necesidades fuera del rango observado. La evaluación debe identificar qué variables modifican la ejecución o el efecto y comprobar si sus valores están presentes en los datos. Extrapolar fuera de ese soporte requiere supuestos adicionales, que deben distinguirse de una estandarización basada en comparaciones efectivamente observadas.

El nuevo contexto puede necesitar una estrategia de implementación diferente aunque conserve la intervención asistencial. Una formación breve puede bastar para un equipo experimentado y quedarse corta en otro con rotación frecuente. La pregunta de transferencia incluye qué apoyo permite ejecutar las funciones, con qué costo y con qué sostenibilidad. Copiar los componentes visibles sin reproducir las condiciones necesarias produce versiones nominalmente iguales y funcionalmente distintas.

La evaluación económica debe considerar que los recursos varían entre contextos, pues el mismo número de contactos exige más tiempo donde el acceso o la coordinación son difíciles. Comparar el costo por resultado sin describir la población favorece a los contextos fáciles y puede desplazar la atención de quienes enfrentan mayores barreras. Un programa con menor efecto medio puede seguir siendo prioritario si atiende necesidades más graves, siempre que la decisión explicite objetivos y restricciones.

Un piloto local puede concentrarse en las incertidumbres de la transferencia. Si hay evidencia sobre el mecanismo y no sobre la factibilidad del canal, basta observar alcance y calidad de ejecución; si las condiciones locales podrían modificar el efecto, hace falta una comparación de resultados. La intensidad de la investigación debe guardar proporción con lo que se desconoce y con el costo de equivocarse.

Los criterios para avanzar de fase deben fijarse con anticipación. Alcanzar cierto porcentaje de ejecución puede justificar la continuidad sin garantizar beneficio. Un resultado desfavorable puede obligar a modificar componentes o detener la expansión. La decisión integra procesos, resultados y contexto, sin descartar que el programa no sea adecuado para ese servicio.

469.12 Heterogeneidad de observación y resultados faltantes

Los contextos difieren también en su capacidad para registrar resultados. Consideremos un servicio con cien episodios elegibles, de los cuales setenta tienen resultado observado al final del seguimiento, con veinte resultados desfavorables entre ellos. La proporción entre los observados es aproximadamente 0,2857. Sin supuestos sobre los treinta episodios faltantes, el riesgo en la cohorte completa puede estar en cualquier punto entre 0,20 y 0,50. El límite inferior corresponde al caso en que ninguno de los faltantes tuvo el evento y el superior al caso en que todos lo tuvieron. Este razonamiento pertenece a la tradición de identificación parcial, que Horowitz y Manski (2000) desarrollaron para experimentos aleatorizados con datos faltantes en covariables y resultados.

Comparar ese servicio con otro que registra un riesgo de 0,40 no permite afirmar que el primero es superior solo porque su proporción observada es menor. El intervalo de 0,20 a 0,50 incluye valores a ambos lados de 0,40. Esta incertidumbre procede de la observación incompleta y no del tamaño muestral. Ninguna precisión adicional entre los setenta observados informa sobre los treinta restantes; reducirla exige mejorar el seguimiento o justificar supuestos sobre la ausencia.

La falta de observación puede depender del propio mecanismo de continuidad, ya que quienes pierden contacto con el servicio son también quienes tienen menos resultados registrados. Tratar su ausencia como aleatoria favorece artificialmente a los contextos con peor seguimiento. Hay que distinguir pérdida de registro, atención en otro sistema y resultado asistencial desfavorable, con fuentes complementarias y definiciones que no confundan esas situaciones.

El ajuste mediante ponderaciones o imputación requiere modelos y supuestos explícitos sobre el proceso de observación. Si la ausencia depende de información no medida relacionada con el resultado, las estimaciones pueden seguir sesgadas. Un análisis de sensibilidad puede variar el riesgo supuesto entre los faltantes y mostrar a partir de qué valor cambia la conclusión. En el ejemplo, el servicio solo tendría un riesgo menor que 0,40 si menos de veinte de los treinta faltantes hubieran tenido el evento, es decir, si el riesgo entre ellos fuera inferior a dos tercios. Presentar esa frontera es más informativo que declarar comparables a dos servicios porque usan el mismo formulario, cuando sus posibilidades de completar el seguimiento son diferentes.

La recuperación de datos puede organizarse con una muestra de episodios faltantes seleccionada por reglas conocidas, ya que contactar solo a quienes son fáciles de localizar reproduciría la selección inicial. Registrar intentos y razones de ausencia permite estimar cuánto se ha reducido el desconocimiento.

469.13 Una interpretación que oriente acciones

El caso sintético permite separar la composición de la población, la ejecución y la respuesta propia de cada contexto. La comparación bruta sugiere daño porque el programa se concentra en el contexto de mayor riesgo. La estandarización a una población común recupera un beneficio medio cuya magnitud depende de la población elegida. Mejorar la ejecución en B aumenta el beneficio sin eliminar la diferencia con A. Cuando además difiere la capacidad de observar resultados, la comparación entre servicios puede quedar indeterminada sin supuestos adicionales. Estas conclusiones proceden de parámetros conocidos y delimitan las preguntas que una evaluación real tendría que responder con datos.

Identificar dónde falla un programa requiere información sobre cada eslabón de su teoría. Una ejecución incompleta puede explicar parte del resultado sin demostrar que la teoría sea correcta. Una ejecución alta con efecto pequeño puede reflejar límites del mecanismo, problemas de medición o un contraste insuficiente. Las conclusiones deben indicar qué explicación apoyan los datos y qué observaciones permitirían discriminar entre las restantes.

El trabajo formal desemboca en una comparación por contextos con definiciones comunes, un resultado estandarizado a una población explícita, un registro fechado de modificaciones y una descripción de los datos faltantes con sus límites. Los marcos citados ayudan a organizar conceptos y documentación, mientras que las ecuaciones y las cifras pertenecen al ejemplo. La evaluación es útil cuando permite decidir qué función debe preservarse, qué apoyo necesita cada servicio y qué aspectos de la hipótesis requieren evidencia nueva.

Referencias

Angrist, J. D., Imbens, G. W., y Rubin, D. B. (1996). Identification of causal effects using instrumental variables. Journal of the American Statistical Association, 91(434), 444–455. https://doi.org/10.1080/01621459.1996.10476902

Carroll, C., Patterson, M., Wood, S., Booth, A., Rick, J., y Balain, S. (2007). A conceptual framework for implementation fidelity. Implementation Science, 2, 40. https://doi.org/10.1186/1748-5908-2-40

Damschroder, L. J., Aron, D. C., Keith, R. E., Kirsh, S. R., Alexander, J. A., y Lowery, J. C. (2009). Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science, 4, 50. https://doi.org/10.1186/1748-5908-4-50

Damschroder, L. J., Reardon, C. M., Opra Widerquist, M. A., y Lowery, J. (2022). The updated Consolidated Framework for Implementation Research based on user feedback. Implementation Science, 17, 75. https://doi.org/10.1186/s13012-022-01245-0

Frangakis, C. E., y Rubin, D. B. (2002). Principal stratification in causal inference. Biometrics, 58(1), 21–29. https://doi.org/10.1111/j.0006-341X.2002.00021.x

Horowitz, J. L., y Manski, C. F. (2000). Nonparametric analysis of randomized experiments with missing covariate and outcome data. Journal of the American Statistical Association, 95(449), 77–84. https://doi.org/10.1080/01621459.2000.10473902

Proctor, E., Silmere, H., Raghavan, R., Hovmand, P., Aarons, G., Bunger, A., Griffey, R., y Hensley, M. (2011). Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Administration and Policy in Mental Health and Mental Health Services Research, 38(2), 65–76. https://doi.org/10.1007/s10488-010-0319-7

Simpson, E. H. (1951). The interpretation of interaction in contingency tables. Journal of the Royal Statistical Society: Series B (Methodological), 13(2), 238–241. https://doi.org/10.1111/j.2517-6161.1951.tb00088.x

Wiltsey Stirman, S., Baumann, A. A., y Miller, C. J. (2019). The FRAME: an expanded framework for reporting adaptations and modifications to evidence-based interventions. Implementation Science, 14, 58. https://doi.org/10.1186/s13012-019-0898-y