Intervenciones complejas: desarrollo, implementación y evaluación

464.1 Formular una intervención que pueda ponerse a prueba

Una intervención organizacional puede incluir una llamada de seguimiento, una agenda protegida, un registro compartido y un acuerdo entre equipos. Enumerar esos componentes todavía no explica cómo producirían un resultado. Para evaluarla hace falta especificar qué cambia para las personas atendidas, qué decisiones se modifican y qué condiciones permiten que esas modificaciones tengan efecto. La complejidad relevante reside en los componentes, pero también en sus interacciones con el servicio donde se aplican.

Considérese un programa hipotético destinado a mejorar la continuidad asistencial después de una atención aguda. Un equipo identifica episodios elegibles, realiza un contacto temprano y acuerda una acción con la persona. El servicio receptor dispone de cupos para ejecutar esa acción. Se espera que el programa aumente la proporción de episodios con un plan efectivamente realizado dentro de un horizonte definido. La propuesta puede fracasar porque no logra contactar, porque el contacto no modifica nada o porque el receptor carece de capacidad para cumplir lo acordado.

Esas explicaciones conducen a decisiones diferentes. Si no se logra localizar a las personas, puede ser necesario cambiar el procedimiento de contacto o revisar a quiénes alcanza el programa. Cuando hay contacto y existe capacidad sin que aparezca el beneficio previsto, la hipótesis sobre el mecanismo merece revisión. Si los cupos se agotan, ampliar contactos puede multiplicar promesas incumplidas. Un resultado agregado insuficiente no indica por sí solo cuál de esas situaciones ocurrió.

Skivington y colaboradores (2021) publicaron la actualización del marco del Medical Research Council para desarrollar y evaluar intervenciones complejas, encargada en conjunto con el National Institute for Health Research. El marco divide la investigación en cuatro fases (desarrollo o identificación de la intervención, factibilidad, evaluación e implementación) y admite que un programa de investigación comience en cualquiera de ellas según cuáles sean las incertidumbres principales. A todas las fases asocia un mismo conjunto de elementos centrales: considerar el contexto, desarrollar y refinar la teoría del programa, involucrar a los actores pertinentes, identificar las incertidumbres clave, refinar la intervención y atender las consideraciones económicas. Esos elementos deben revisarse de manera continua, en especial antes de pasar de una fase a otra. El documento distingue además cuatro perspectivas de investigación (eficacia, efectividad, basada en teoría y de sistemas). Es una orientación metodológica, sin pretensión de garantizar efectividad ni de imponer una secuencia rígida.

En ese marco, la teoría del programa describe los componentes principales y sus interacciones, los mecanismos por los que la intervención actuaría, los rasgos del contexto que se espera influyan sobre esos mecanismos y la manera en que los mecanismos podrían a su vez modificar el contexto (Skivington et al., 2021). Puede representarse mediante un esquema, aunque necesita una explicación textual de sus vínculos y supuestos. Una flecha entre «llamada» y «continuidad» deja abierta la cuestión principal, que es qué hace la llamada, para quién, mediante qué respuesta y con qué recursos posteriores.

464.2 Separar componentes, acciones y mecanismos

Un componente es una parte reconocible del programa, como un sistema de contacto o una reserva de citas. Una acción es lo que alguien hace con ese componente, por ejemplo revisar una lista, conversar, confirmar un acuerdo o asignar una hora. El mecanismo propuesto es el proceso por el cual esas acciones modificarían el resultado. Aclarar una discrepancia sobre el plan puede reducir la incertidumbre de la persona y facilitar que lo ejecute, siempre que la acción acordada sea viable y deseada.

Llamar a todas las personas es una medida de actividad. Que el contacto permita identificar una dificultad y resolverla se acerca más al mecanismo. La resolución puede requerir cambiar el horario, coordinar transporte o corregir información que circula mal entre equipos. Si solo se cuenta el número de llamadas, el programa podría parecer implementado aun cuando ninguna produzca una respuesta útil. La evaluación debe conservar la distancia entre la presencia de un componente y el funcionamiento de la hipótesis causal que lo justifica.

También hay que diferenciar los mecanismos esperados de los efectos no previstos. El contacto puede mejorar la información disponible y, al mismo tiempo, aumentar la carga del equipo receptor porque hace visibles necesidades que antes no se registraban. Una teoría del programa debería incluir rutas plausibles hacia consecuencias desfavorables y procedimientos para observarlas, de modo que la evaluación no quede diseñada solo para confirmar la expectativa inicial.

El contexto comprende las condiciones que influyen en la ejecución o en sus efectos. En el ejemplo, la disponibilidad de cupos determina si un acuerdo puede transformarse en atención, la accesibilidad telefónica condiciona el alcance y las relaciones previas entre equipos facilitan o dificultan la aceptación de una derivación. Algunas de esas condiciones pueden ser modificadas por el propio programa, como ocurre con la carga del receptor. Tratarlas como un fondo fijo impediría observar la retroalimentación que produce la intervención.

Una descripción útil distingue los elementos esenciales, definidos por su función, de las formas que pueden adaptarse. Hawe, Shiell y Riley (2004) propusieron estandarizar una intervención compleja según la función o el proceso de cambio que debe producir, aceptando que su forma concreta varíe entre sitios. En su ejemplo, distintos centros podían ajustar la manera de entregar información sobre depresión a la alfabetización, la lengua y la cultura locales, mientras se mantenía constante la función de educar a los pacientes. En el programa de continuidad, si la función es confirmar la comprensión y la viabilidad del plan, podría cumplirse mediante una llamada, un encuentro presencial u otro canal accesible acordado con la persona. Esa equivalencia sigue siendo una hipótesis y no autoriza a cambiar cualquier componente. Skivington y colaboradores (2021) admiten cierta flexibilidad en la implementación siempre que se mantengan las funciones clave del programa y que las adaptaciones se comprendan con claridad. Conviene definir de antemano qué evidencia permitiría considerar que una forma alternativa preserva la función y qué modificaciones exigirían una nueva evaluación.

464.3 Una teoría de programa observable

El programa hipotético tiene una población elegible definida antes de conocer quién responde. El equipo debe alcanzar a una fracción de esa población, lograr un acuerdo viable con quienes son contactados y contar con capacidad para ejecutarlo. La continuidad final se evalúa en todas las personas elegibles, con independencia de que hayan recibido o no los componentes. Ese denominador evita que el éxito aparente crezca simplemente porque se excluyeron los episodios más difíciles de contactar.

Cada vínculo de la tabla necesita una definición temporal. Un contacto realizado después del horizonte de evaluación puede ser útil, pero no corresponde al componente temprano previsto. Una cita aceptada sin fecha no equivale a capacidad asignada. La recuperación de un incumplimiento tiene que ocurrir antes de que pierda relevancia para el objetivo. Las ventanas temporales deben justificarse según la función asistencial estudiada y mantenerse constantes cuando se comparan alternativas.

La medición de proceso debe permitir distinguir la ausencia de acción de la ausencia de registro. Un sistema puede documentar mal un contacto realizado o generar automáticamente una marca aunque nadie haya conversado con la persona. Validar una muestra contra otras fuentes permite estimar esas discrepancias. Cuando la intervención incluye mejorar el registro, un aumento de actividad documentada puede deberse a ese componente sin que la actividad real haya crecido en la misma proporción.

La participación de quienes reciben atención puede revelar supuestos equivocados sobre la utilidad de cada acción. Un equipo puede creer que una llamada aclaratoria reduce la incertidumbre, mientras algunas personas ya comprenden el plan y lo que necesitan es resolver una barrera material. Otras preferirían que los servicios se coordinaran entre sí sin pedirles repetir la misma información. Incorporar esas perspectivas permite precisar el mecanismo y los resultados pertinentes. No garantiza consenso ni reemplaza la evaluación del programa.

La teoría inicial debe registrarse antes de observar los resultados principales. Revisarla cuando aparecen hallazgos es posible y deseable, siempre que se distinga una predicción previa de una explicación construida después. La guía del Medical Research Council sobre evaluación de procesos recomienda, cuando sea factible, analizar y comunicar los datos de proceso antes de conocer los resultados del ensayo, e informar si esos análisis se hicieron sin conocer los desenlaces o con posterioridad a ellos (Moore et al., 2015). Si cualquier resultado puede reinterpretarse como el éxito de algún mecanismo no especificado, la teoría deja de poder contrastarse. Documentar los cambios y sus razones conserva el aprendizaje sin presentar como anticipado lo que surgió después.

464.4 Formalización de un ejemplo sintético

Se supone que la probabilidad de continuidad sin programa es 0,40. El alcance efectivo se representa por r. La probabilidad de lograr un acuerdo útil entre quienes fueron contactados se representa por a; la probabilidad de disponer de capacidad para ejecutar un acuerdo ya logrado, por k. Como cada probabilidad está condicionada a la etapa anterior, la fracción de elegibles que completa la secuencia es el producto r·a·k. Para quienes la completan, el programa añade una diferencia absoluta de continuidad de 0,30. Todos los valores son inventados y las relaciones constituyen supuestos didácticos; ninguna cifra de este capítulo proviene de un estudio clínico.

La expresión exige que el resultado permanezca entre cero y uno. Supone además que el efecto adicional es homogéneo entre quienes completan la secuencia, que el programa no altera el resultado de quienes no la completan y que la probabilidad basal de 0,40 es la misma en ambos grupos. Este último supuesto rara vez se cumple en un servicio real, donde las personas fáciles de contactar suelen diferir de las demás; su importancia reaparece al discutir la atribución causal. También pueden existir efectos indirectos, como una reorganización general de la agenda o un desplazamiento de capacidad hacia otros pacientes. El modelo los excluye deliberadamente para que se vea con claridad qué información permite separar cada explicación del resultado.

En el escenario previsto, el alcance es 0,80, el acuerdo útil 0,75 y la disponibilidad de capacidad 0,90. La fracción que completa la secuencia es 0,54 y la probabilidad final de continuidad resulta 0,562. Para mil episodios elegibles se esperan ochocientos contactos, seiscientos acuerdos útiles, quinientas cuarenta secuencias completas y quinientos sesenta y dos episodios con continuidad. Este último número incluye la continuidad que habría ocurrido sin programa.

El beneficio absoluto esperado es de ciento sesenta y dos episodios adicionales con continuidad por cada mil elegibles. En el ejemplo, ese beneficio está fijado por la regla que genera los datos. En una evaluación real, observar quinientos sesenta y dos episodios con continuidad no revela cuántos habrían ocurrido sin la intervención. Hace falta estimar el resultado contrafactual mediante un diseño adecuado y tener en cuenta los cambios simultáneos de población, de servicios y de registro.

El producto secuencial también muestra una restricción práctica. Aumentar el alcance de 0,80 a uno, con los otros factores constantes, elevaría la probabilidad de continuidad a 0,6025, es decir, 0,0405 por encima del escenario previsto. Esa ganancia debe compararse con el trabajo necesario para contactar los casos restantes, que probablemente requieren más recursos por persona que los ya alcanzados. El modelo homogéneo no representa esa dificultad diferencial.

464.5 Resultados iguales con explicaciones distintas

Una ejecución insuficiente puede reducir el alcance a 0,20 sin modificar los demás parámetros. La probabilidad de continuidad baja entonces a 0,4405. El mecanismo conservaría su potencia hipotética, pero muy pocas personas llegarían a recibirlo. Lo razonable sería investigar por qué no se realiza el contacto y cuánto costaría mejorarlo. Concluir a partir de ese resultado que la hipótesis causal es errónea sería prematuro.

Un fallo de la hipótesis se representa fijando el efecto adicional en cero aunque la población prevista haya sido alcanzada y coordinada. El resultado vuelve a 0,40. Dentro del modelo, esa situación indica que la secuencia ejecutada no produce el beneficio esperado. En datos reales, sin embargo, el mismo patrón podría deberse a una medición poco sensible, a un horizonte inadecuado o a un beneficio contrarrestado por un daño no modelado. Observar buena ejecución con resultado nulo reduce el abanico de explicaciones, aunque no identifica de manera automática una causa única.

La restricción contextual se representa reduciendo la disponibilidad de capacidad a 0,30. Con alcance y acuerdo conservados, la continuidad resulta 0,454. El programa genera contactos y acuerdos que luego no pueden ejecutarse. Una respuesta centrada exclusivamente en capacitar al equipo de contacto actuaría sobre un factor que el ejemplo mantiene en un nivel adecuado. La teoría del programa dirige la indagación hacia el punto donde se interrumpe la secuencia y ayuda a identificar qué intervención complementaria tendría sentido.

El mismo valor de 0,454 se obtiene con un alcance de 0,80/3, aproximadamente 0,2667, con capacidad de 0,90, o con el alcance previsto y un efecto adicional de 0,10. En los tres casos el producto δ·r·a·k vale 0,054, que es lo único que el resultado final permite recuperar. Medir los procesos reduce esa indeterminación, aunque la interpretación causal de cada parámetro sigue requiriendo supuestos y un diseño adicional.

464.6 Evaluación de procesos y atribución

La guía de Moore y colaboradores (2015), elaborada a partir de revisiones de la literatura, estudios de caso y comentarios de actores académicos, de políticas públicas y de la práctica, organiza la evaluación de procesos en torno a tres componentes. La implementación se refiere a qué se entrega y cómo, examinado mediante la fidelidad, la dosis, las adaptaciones y el alcance. Los mecanismos de impacto abarcan las respuestas de los participantes a la intervención, los mediadores y las vías o consecuencias inesperadas. El contexto incluye los factores externos que facilitan u obstaculizan la implementación o los efectos; ese contexto puede a su vez verse modificado por la intervención. En el caso sintético, esas dimensiones se traducen en variables concretas de contacto, acuerdo y capacidad.

La misma guía sugiere integrar las medidas cuantitativas de proceso con los datos de resultado para examinar cómo influye la variación de la implementación. Ese análisis exige cautela. Comparar resultados entre quienes completaron el programa y quienes no lo hicieron puede ser engañoso, porque las personas localizables, con disponibilidad horaria o con mejor apoyo pueden tener mayor continuidad aun sin intervención. Si en el modelo sintético la probabilidad basal de quienes completan la secuencia fuera mayor que 0,40, una asociación entre cumplimiento y continuidad mezclaría el efecto del mecanismo con esa diferencia previa.

Si la oferta se asigna aleatoriamente, el efecto de ofrecer el programa puede estimarse aunque el cumplimiento sea incompleto. Ese efecto responde a la pregunta institucional de qué ocurre al implementar la oferta con sus dificultades reales. Estimar el efecto de recibir efectivamente los componentes requiere supuestos adicionales. En ese escenario, Angrist, Imbens y Rubin (1996) mostraron que la asignación puede tratarse como variable instrumental para estimar el efecto causal promedio en quienes cumplen con lo asignado, siempre que la asignación influya en el resultado solo a través de la recepción del tratamiento y que no haya personas cuya recepción del tratamiento disminuya por haber recibido la oferta. También se requiere que la oferta cambie efectivamente la recepción del tratamiento, que no haya interferencia entre participantes y que el tratamiento esté definido de forma consistente. En el ejemplo, si el grupo de comparación no recibe ningún componente, el efecto de la oferta es 0,162 y la fracción que completa la secuencia es 0,54. Su cociente devuelve 0,30, el efecto adicional supuesto. La coincidencia depende de que el modelo excluya efectos en quienes no completan la secuencia; si el contacto por sí solo modificara la continuidad, el cociente dejaría de estimar δ. El estimando corresponde, además, a un subgrupo que no puede identificarse persona a persona. La elección entre estas preguntas debe preceder al análisis y mantenerse visible al interpretar los resultados.

Los estudios cualitativos muestran cómo se entienden y ejecutan los componentes, pueden revelar barreras no previstas y a veces obligan a modificar la teoría del programa. Aun así, los relatos deben analizarse con un método explícito, sin seleccionar únicamente los testimonios compatibles con el mecanismo esperado.

La integración ocurre al relacionar patrones de proceso con predicciones y resultados. Si la capacidad se agota justo cuando aumenta el alcance, la secuencia sugiere una restricción que el modelo multiplicativo con k constante no representa y que debe incorporarse, como se hace en la sección siguiente. Si existen acuerdos documentados sin comprensión por parte de las personas, la medida de acuerdo necesita revisión. La teoría se refina a partir de discrepancias observables, registrando qué cambios surgieron de los datos y cuáles quedan como hipótesis.

464.7 Escala y saturación del servicio receptor

El producto anterior supone que la disponibilidad de capacidad permanece constante al crecer la población. Para examinar la escala se fija, en cambio, un número de quinientos cuarenta cupos efectivos durante el período. Con alcance de 0,80 y acuerdo de 0,75 se generan seis acuerdos por cada diez elegibles. El número de secuencias completas queda limitado por el menor de dos valores, los acuerdos generados y los cupos disponibles.

En esta formulación, k deja de ser un parámetro fijo y pasa a ser el cociente entre cupos y acuerdos, K/(r·a·N), con un tope de uno. La saturación comienza cuando los acuerdos igualan a los cupos, es decir, en N = K/(r·a) = 900 elegibles. Por debajo de ese umbral todos los acuerdos se ejecutan y la continuidad sería 0,58. Para mil elegibles el programa genera seiscientos acuerdos y completa quinientas cuarenta secuencias, de modo que k vale 0,90 y la continuidad es 0,562, igual que en el escenario previsto. Si la población se duplica a dos mil con los mismos cupos, la fracción de elegibles que completa la secuencia cae a 0,27 y la continuidad a 0,481. El número esperado de episodios adicionales con continuidad sigue siendo ciento sesenta y dos, porque la capacidad impide aumentar las secuencias completas. Bajo estos supuestos, la expansión genera más actividad de contacto sin ampliar el beneficio total, mientras el beneficio medio por persona elegible disminuye.

El ejercicio no implica que deba restringirse el contacto a quienes pueden recibir un cupo inmediato. El contacto puede identificar necesidades, mejorar la información o producir otros beneficios que el modelo omite. Sin embargo, si el programa se justifica por completar la secuencia definida, la capacidad posterior forma parte de su teoría. Una evaluación de escalabilidad necesita preguntar qué recursos crecen con la población y cuáles permanecen fijos, además de estimar los costos de coordinación y de adaptación.

La forma de asignar los cupos también importa. El modelo los distribuye sin especificar ningún criterio de selección. Si se otorgan a quienes responden primero, el beneficio puede concentrarse en personas con mayor facilidad de acceso. Si se priorizan necesidades, el efecto medio podría cambiar porque los grupos atendidos tendrían probabilidades contrafactuales distintas. Para evaluar equidad y eficiencia hay que describir la regla de asignación y medir los resultados de quienes quedan esperando, no solamente los de quienes completan el programa.

464.8 Código del ejemplo y comprobaciones

El código siguiente reproduce los escenarios, verifica que explicaciones distintas generan el mismo resultado agregado, recupera el efecto supuesto mediante el cociente de la sección 464.6 y localiza el umbral de saturación. Es determinista, ya que calcula los valores esperados del modelo sin simular personas ni ruido muestral.

import math

def outcome(r=.80, a=.75, k=.90, delta=.30, p0=.40):
    values = [r, a, k, delta, p0]
    assert all(0 <= x <= 1 for x in values)
    effective = r*a*k
    result = p0+delta*effective
    assert 0 <= result <= 1
    return effective, result

cases = {
    "previsto": outcome(),
    "ejecucion": outcome(r=.20),
    "hipotesis": outcome(delta=0),
    "contexto": outcome(k=.30),
    "igual_por_alcance": outcome(r=.80/3),
    "igual_por_mecanismo": outcome(delta=.10),
    "alcance_completo": outcome(r=1)
}
assert math.isclose(cases["previsto"][1], .562)
assert math.isclose(cases["ejecucion"][1], .4405)
assert math.isclose(cases["alcance_completo"][1], .6025)
for key in ["contexto", "igual_por_alcance", "igual_por_mecanismo"]:
    assert math.isclose(cases[key][1], .454)

# Oferta aleatorizada: efecto de la oferta (ITT) y cociente de Wald
p_control = .40                      # nadie completa la secuencia en el comparador
itt = cases["previsto"][1]-p_control
completion = cases["previsto"][0]    # fraccion que completa la secuencia
assert math.isclose(itt, .162)
assert math.isclose(itt/completion, .30)  # recupera delta solo bajo los supuestos del modelo

def scaled(n, slots=540, r=.80, a=.75, delta=.30, p0=.40):
    completed = min(r*a*n, slots)
    return completed, p0+delta*completed/n, delta*completed

threshold = 540/(.80*.75)
assert math.isclose(threshold, 900)
assert math.isclose(scaled(800)[1], .58)   # bajo el umbral se ejecutan todos los acuerdos
for n in [1000, 2000]:
    completed, result, additional = scaled(n)
    assert completed <= .80*.75*n
    assert math.isclose(additional, 162)
    print("escala", n, completed, round(result, 4), round(additional, 4))
assert math.isclose(scaled(2000)[1], .481)
for name, (eff, result) in cases.items():
    print(name, round(eff, 4), round(result, 4))

Que el código se ejecute sin errores no confirma que el efecto sea aditivo ni que toda la población comparta el mismo incremento de probabilidad. Un modelo con efectos heterogéneos, sustitución de atención o cambios de demanda puede producir relaciones distintas. La comprobación asegura que las consecuencias descritas corresponden a las ecuaciones presentadas.

Conviene revisar también las unidades del beneficio. Una diferencia absoluta de 0,162 equivale a 16,2 puntos porcentuales, mientras que el aumento relativo respecto de 0,40 es de 40,5 %. Ambas describen el mismo escenario e impresionan de modo muy distinto si se presentan sin denominador. Para decisiones de capacidad resulta especialmente útil traducir la diferencia absoluta a episodios adicionales por población elegible y período definido.

464.9 Elegir un diseño según la incertidumbre

Durante el desarrollo puede ser prioritario comprobar si el mecanismo es plausible y si los componentes pueden ejecutarse. Una evaluación de factibilidad debe fijar preguntas concretas, como la proporción alcanzable, el tiempo requerido por contacto, la disponibilidad de cupos y la aceptabilidad de los canales. La extensión de CONSORT para ensayos piloto y de factibilidad aleatorizados desaconseja el contraste formal de hipótesis sobre efectividad en ese tipo de estudios, pide informar cualquier estimación de efecto con su intervalo de incertidumbre y advierte contra el uso de esas estimaciones para extraer implicancias clínicas (Eldridge et al., 2016). Incorpora también criterios definidos de antemano para decidir si se avanza hacia un ensayo definitivo, que en el programa de continuidad podrían expresarse como umbrales mínimos de alcance, acuerdo y cupos confirmados. Declarar efectividad a partir de unos pocos casos favorables confunde una señal de viabilidad con una comparación causal suficientemente informativa.

Con el programa bien definido, la unidad de asignación debe ser compatible con su funcionamiento. Si la intervención modifica una agenda compartida, asignar individuos dentro de un mismo equipo puede afectar a quienes pertenecen al grupo de comparación. Una asignación por servicios reduce algunas de esas interferencias, aunque necesita un número suficiente de unidades y debe considerar las diferencias de contexto entre ellas.

La introducción escalonada puede ser útil cuando todos los servicios recibirán el programa en momentos distintos. En el ensayo aleatorizado por conglomerados con cuña escalonada, la proporción de conglomerados expuestos aumenta con el tiempo, de modo que las observaciones sin intervención provienen en promedio de un período calendario anterior al de las observaciones con intervención (Hemming et al., 2015). El tiempo actúa entonces como posible factor de confusión, por lo que el análisis debe ajustar por el período calendario y por la agrupación de los datos. Entre sus ejemplos figura el estudio Matching Michigan, en unidades de cuidados intensivos del Reino Unido, donde una intervención que al principio parecía exitosa mostró tendencias seculares y ninguna evidencia de efecto. Los autores recomiendan analizar cada conglomerado según el momento de cruce asignado por sorteo. Si el orden de entrada se decide según la preparación de los servicios en lugar de sortearse, esa selección puede relacionarse con los resultados y requiere atención explícita.

El horizonte de evaluación debe corresponder al mecanismo. Un contacto puede modificar el acceso en pocos días, mientras que los cambios de confianza o de organización requieren más tiempo. Medir demasiado pronto puede omitir beneficios tardíos, mientras que medir solo al final puede ocultar dificultades iniciales y costos de aprendizaje. Una serie temporal de procesos y resultados permite distinguir adopción, estabilización y deterioro.

Las decisiones de continuar o suspender el programa deben incorporar la incertidumbre y las consecuencias. Un resultado impreciso, compatible tanto con beneficio como con daño, no equivale a ausencia de efecto. Puede justificar más información, una modificación del diseño o una implementación limitada con seguimiento. El análisis debe exponer esas condiciones sin transformar un valor estadístico aislado en una regla institucional universal.

464.10 Economía, adaptaciones y efectos sobre terceros

El costo del programa incluye identificación, contacto, coordinación y atención posterior. Si se contabilizan solo las llamadas, se omite la capacidad necesaria para completar los acuerdos. Si se atribuyen todos los cupos al programa, puede ignorarse que algunos se habrían utilizado de todos modos. La comparación económica debe definir qué recursos cambian respecto del funcionamiento habitual y qué otros usos se sacrifican cuando se reservan para la intervención. Skivington y colaboradores (2021) recomiendan incluir las preguntas de implementación en las consideraciones económicas desde las etapas tempranas del desarrollo, antes de que el diseño de la evaluación quede fijado.

Un cupo protegido puede mejorar la continuidad de la población elegible y alargar la espera de otras personas. La evaluación debe medir actividad y demoras en los servicios afectados, con una delimitación que permita reconocer transferencias de carga entre ellos. Un beneficio local puede seguir siendo justificable, pero necesita una valoración explícita de los costos que se distribuyen hacia otros.

Las adaptaciones locales deben documentarse junto con su motivo y la función que afectan. Un servicio puede cambiar el canal de contacto para mejorar la accesibilidad y preservar la hipótesis original. Otro puede eliminar la confirmación de recepción para reducir trabajo, con lo cual altera un vínculo esencial de la secuencia. Distinguir ambos casos exige saber qué función se pretende mantener. Calificar toda modificación como incumplimiento, o toda flexibilidad como innovación, impide evaluar cómo afecta cada cambio al mecanismo.

La sostenibilidad depende de que los recursos y los acuerdos puedan mantenerse después del período de estudio. Personal adicional temporal, supervisión intensiva o incentivos excepcionales pueden mejorar la ejecución sin representar las condiciones futuras. Transferir un programa que funcionó con apoyo extraordinario exige presupuestar ese apoyo o desarrollar una forma de ejecución que no lo necesite.

La incertidumbre económica debe presentarse junto con la incertidumbre del efecto. Si el beneficio depende de un parámetro poco conocido, un cálculo muy preciso del costo por resultado adicional puede inducir a error. El análisis de sensibilidad identifica qué datos cambiarían la decisión, por ejemplo el costo de contactar a las personas más difíciles de ubicar, la capacidad adicional disponible o la magnitud del efecto entre quienes completan la secuencia. Esa información orienta la fase siguiente de investigación.

464.11 Del resultado a una revisión de la teoría

Supóngase que la evaluación observa muchos contactos, acuerdos frecuentes y pocas acciones completadas. El patrón es compatible con una restricción posterior, pero antes debe comprobarse si los acuerdos registrados eran realmente viables. Si una auditoría encuentra que se marcaban como acuerdo conversaciones sin aceptación explícita, el problema combina medición y ejecución. La teoría del programa ayuda a localizar la discrepancia, mientras que el análisis de proceso establece qué ocurrió en la práctica.

Si la secuencia se completa y la continuidad final no mejora, hay que examinar el resultado contrafactual y el alcance del mecanismo. Quizá el programa llega principalmente a personas que habrían mantenido la continuidad de todos modos, o el resultado elegido no capta el beneficio que se produce. También puede ocurrir que la hipótesis sea incorrecta. La evaluación debe mantener abierta esa posibilidad y evitar rescatar el programa mediante resultados secundarios seleccionados después de conocer el desenlace principal.

Una revisión defendible de la teoría formula predicciones nuevas. Si la dificultad es la capacidad, ampliar los contactos sin aumentar los cupos no debería incrementar el número total de secuencias completas una vez superado el umbral de saturación. Si la dificultad es la comprensión, un contacto que verifique y resuelva discrepancias debería modificar ese mediador antes de cambiar el resultado final. Esas predicciones orientan las comparaciones posteriores.

Los marcos metodológicos citados en este capítulo orientan la organización de las preguntas, mientras que las cifras pertenecen exclusivamente al ejemplo sintético. La evidencia publicada sirve para fundamentar mecanismos plausibles. Los datos locales permiten contrastar la ejecución, las condiciones y las consecuencias de la intervención que efectivamente se ofreció.

464.12 Qué información merece obtenerse antes de ampliar el programa

Una incertidumbre es relevante para decidir cuando conocerla puede cambiar la acción preferida. Supóngase que el incremento de continuidad por secuencia completa puede ser de 0,30 o de 0,10, mientras el resto de la ejecución se mantiene como en el escenario previsto. Se asignan cien unidades de valor institucional a cada episodio adicional con continuidad y un costo de doce unidades por persona elegible. Son valores ficticios para practicar una decisión, no una valoración económica de la salud ni precios de un servicio real.

Con el efecto alto, el programa añade 0,162 episodios con continuidad por persona, equivalentes a 16,2 unidades de valor. Al restar el costo, el beneficio neto incremental respecto del funcionamiento habitual es 4,2. Con el efecto bajo añade 0,054 episodios, equivalentes a 5,4 unidades, con un beneficio neto de −6,6. Si se asigna una probabilidad de 0,60 al efecto alto, el beneficio neto esperado de ampliar es de −0,12. Con este criterio y estas probabilidades, no ampliar sería la decisión de mayor valor esperado.

El valor esperado de la información perfecta se define como la diferencia entre el valor esperado que se obtendría si la incertidumbre se resolviera antes de decidir y el mejor valor esperado alcanzable con la información actual (Wilson, 2015). Con información perfecta se ampliaría solo en el escenario alto, lo que da un valor esperado de 0,60 × 4,2 = 2,52 unidades por persona; como la mejor decisión actual, no ampliar, vale cero, esa es también la cifra del valor de la información perfecta. Para obtener el valor poblacional, esa cifra se multiplica por la población que se beneficiaría de la decisión durante un horizonte temporal, descontando los casos futuros. Con mil elegibles por período durante cinco períodos y sin descuento, el resultado sería de 12.600 unidades, un techo para lo que convendría invertir en investigación bajo el modelo. Un estudio real aporta información imperfecta, de modo que su valor esperado de la información muestral no supera el de la información perfecta y solo justifica el estudio si supera su costo (Wilson, 2015).

La probabilidad del efecto alto que vuelve indiferentes ambas acciones es 6,6/10,8 = 11/18, aproximadamente 0,6111. Una creencia apenas superior a 0,60 bastaría para cambiar la decisión, lo que muestra su fragilidad frente a esta incertidumbre concreta. El análisis dirige la investigación hacia la magnitud del efecto o hacia los costos que podrían desplazar ese umbral, en lugar de reclamar más datos de cualquier tipo. El bloque siguiente reproduce estos cálculos.

import math

def net_benefit(delta, exposure=.54, value=100, cost=12):
    return delta*exposure*value-cost

high, low, p_high = net_benefit(.30), net_benefit(.10), .60
expected_expand = p_high*high+(1-p_high)*low
best_now = max(expected_expand, 0)            # 0 = mantener el funcionamiento habitual
with_perfect = p_high*max(high, 0)+(1-p_high)*max(low, 0)
evpi = with_perfect-best_now
threshold = -low/(high-low)
assert math.isclose(high, 4.2) and math.isclose(low, -6.6)
assert math.isclose(expected_expand, -.12)
assert math.isclose(evpi, 2.52)
assert math.isclose(threshold, 11/18)
print(round(high, 4), round(low, 4), round(expected_expand, 4),
      round(evpi, 4), round(threshold, 4), round(evpi*1000*5, 1))

El ejercicio depende de una función de valor lineal y de una actitud neutral frente al riesgo. Una institución puede tener restricciones que le impidan aceptar ciertos daños aunque el valor esperado sea favorable, o necesitar proteger capacidad para otras funciones. En esos casos la decisión debe incorporar límites explícitos y la distribución de las consecuencias. El cálculo económico ayuda a hacer visibles los supuestos, pero no reemplaza la deliberación sobre qué resultados se consideran aceptables ni sobre quién soporta sus costos.

La información también puede servir para rediseñar, además de decidir si ampliar. Si una medición demuestra que la capacidad receptora es el límite, puede justificar la evaluación de un paquete con cupos adicionales. Si muestra que el contacto consume mucho tiempo en intentos fallidos, puede orientar hacia un canal distinto. El valor de investigar incluye esas alternativas cuando son plausibles y realizables.

La interpretación del valor de la información depende, por último, del tiempo que demora obtenerla. Si la decisión se posterga mientras se investiga, quienes podrían haberse beneficiado de una intervención efectiva soportan un costo de oportunidad. A la inversa, si se adopta mientras se investiga y resulta perjudicial, el costo recae sobre quienes la reciben en ese intervalo (Wilson, 2015). Cuando además cambian las necesidades o los recursos, un resultado muy preciso sobre una configuración que ya dejó de existir puede servir menos que una comparación más temprana, con incertidumbre explícita y seguimiento posterior del programa.

Referencias

Angrist, J. D., Imbens, G. W., & Rubin, D. B. (1996). Identification of causal effects using instrumental variables. Journal of the American Statistical Association, 91(434), 444–455. https://doi.org/10.1080/01621459.1996.10476902

Eldridge, S. M., Chan, C. L., Campbell, M. J., et al. (2016). CONSORT 2010 statement: extension to randomised pilot and feasibility trials. BMJ, 355, i5239. https://doi.org/10.1136/bmj.i5239

Hawe, P., Shiell, A., & Riley, T. (2004). Complex interventions: how "out of control" can a randomised controlled trial be? BMJ, 328(7455), 1561–1563. https://doi.org/10.1136/bmj.328.7455.1561

Hemming, K., Haines, T. P., Chilton, P. J., Girling, A. J., & Lilford, R. J. (2015). The stepped wedge cluster randomised trial: rationale, design, analysis, and reporting. BMJ, 350, h391. https://doi.org/10.1136/bmj.h391

Moore, G. F., Audrey, S., Barker, M., et al. (2015). Process evaluation of complex interventions: Medical Research Council guidance. BMJ, 350, h1258. https://doi.org/10.1136/bmj.h1258

Skivington, K., Matthews, L., Simpson, S. A., et al. (2021). A new framework for developing and evaluating complex interventions: update of Medical Research Council guidance. BMJ, 374, n2061. https://doi.org/10.1136/bmj.n2061

Wilson, E. C. F. (2015). A practical guide to value of information analysis. PharmacoEconomics, 33(2), 105–121. https://doi.org/10.1007/s40273-014-0219-x