Desacuerdo entre fuentes y dependencia del evaluador

437.1. La discrepancia pertenece al problema de representación

Dos fuentes pueden describir de manera distinta a la misma persona sin que ninguna de ellas se haya equivocado. Quizá observaron periodos diferentes, aplicaron criterios distintos o presenciaron situaciones que la otra desconoce. También es posible que discrepen por errores, por expectativas o por intereses. Antes de convertir la discrepancia en una puntuación promedio, o de resolverla eligiendo automáticamente la fuente que parece más autorizada, conviene averiguar cuál de estas posibilidades está en juego.

Una persona puede referir que le cuesta un esfuerzo intenso mantener sus actividades mientras un compañero de trabajo describe resultados laborales intactos. Ambos registros son compatibles si el primero informa sobre el coste subjetivo y el segundo sobre el producto visible. La contradicción solo aparece cuando se los trata como indicadores intercambiables de una única cantidad. Distinto es el caso en que los dos afirman describir el número de ausencias durante la misma semana: ahí la discrepancia recae sobre un objeto delimitado, que puede contrastarse con registros de asistencia.

El evaluador forma parte del proceso de observación. La forma en que pregunta, el periodo que propone y los ejemplos que ofrece influyen en lo que queda escrito. Reconocer esta dependencia no vuelve arbitrario el conocimiento clínico; permite diseñar procedimientos que separen, al menos en parte, la variación que procede de la persona, del contexto y de la propia evaluación.

437.2. Un modelo explícito de observación

Considérese una variable registrada para la persona $i$, en el momento $t$, por el evaluador $j$, en el contexto $c$. Una primera descomposición aditiva es

El término $\mu_i$ representa un nivel individual relativamente estable dentro de la ventana estudiada, y $S_{it}$ las desviaciones temporales respecto de ese nivel. El efecto $B_j$ recoge diferencias sistemáticas entre evaluadores, $C_c$ diferencias asociadas al contexto, y el residuo $\varepsilon_{itjc}$ agrupa la variación que esos componentes no explican.

La ecuación no prueba que la realidad clínica se organice de forma aditiva. Es una propuesta de representación cuya utilidad principal consiste en obligar a preguntarse qué información permitiría distinguir sus términos. Para que esa pregunta tenga respuesta, el modelo necesita restricciones. Si se suma una constante a todos los niveles individuales y se resta la misma constante de todos los efectos de evaluador, las predicciones no cambian; lo mismo ocurre entre $\mu_i$ y $S_{it}$ si no se exige, por ejemplo, que las desviaciones temporales de cada persona promedien cero. Centrar los efectos de evaluador en cero o fijar un evaluador de referencia son convenciones que eliminan esa indeterminación.

El contexto plantea una dificultad adicional, porque puede modificar tanto el estado real como la manera de observarlo. Un ambiente exigente puede agravar una dificultad; uno silencioso puede facilitar que se la reconozca. El término contextual de una regresión no separa estos dos mecanismos. Llamarlo «sesgo de observación» exige evidencia independiente sobre qué representa el contraste estimado.

437.3. Qué significa identificar un efecto

Un parámetro es identificable cuando valores distintos del parámetro, dadas las restricciones del modelo, producen distribuciones observables distintas. Si dos valores generan la misma distribución de los datos, ninguna cantidad de observaciones permitirá elegir entre ellos. La identificación es, por tanto, previa a la precisión. Rothenberg (1971) formalizó esta noción para modelos paramétricos generales y mostró que, bajo condiciones de regularidad débiles, la identificabilidad local del vector de parámetros equivale a que la matriz de información sea no singular. En un modelo lineal con errores normales de varianza constante esa matriz es proporcional a $X^\top X$, de modo que la pérdida de rango de la matriz de diseño implica pérdida de identificación. Esta última afirmación es una deducción a partir del resultado general, no un enunciado que el artículo dedique a este caso.

Supóngase que una profesional evalúa siempre en consulta y otra siempre en domicilio. Si sus puntuaciones difieren, los datos no permiten atribuir la diferencia a la profesional ni al lugar. Añadir cien evaluaciones con la misma distribución de tareas estrecha el intervalo para la diferencia total, pero no la descompone. Para descomponerla hacen falta observaciones que rompan la coincidencia entre evaluador y contexto, o supuestos externos cuya justificación debe discutirse explícitamente.

En un diseño cruzado, varios evaluadores observan en varios contextos. La comparación dentro de un mismo contexto informa sobre las diferencias entre evaluadores, y la de un mismo evaluador en contextos distintos informa sobre las diferencias contextuales. Esa interpretación todavía depende de que las observaciones sean comparables y de que el fenómeno no haya cambiado, sin quedar registrado, entre una y otra.

El cruce completo suele ser imposible en la práctica clínica, lo que obliga a reconocer qué contrastes están apoyados por los datos y cuáles descansan en supuestos. Ningún modelo estadístico crea las comparaciones que el diseño nunca realizó.

437.4. Un experimento sintético completamente cruzado

Para aislar el problema matemático construiremos cuatro estados estipulados, tres evaluadores y dos contextos, y registraremos dos veces cada combinación. Los estados tienen niveles consecutivos de uno a cuatro. Los evaluadores añaden medio punto negativo, cero o medio punto positivo, y los contextos tres décimas negativas o positivas. Las dos repeticiones llevan errores opuestos de una décima.

Los valores no corresponden a ninguna escala clínica validada, y el estado verdadero se conoce solo porque se define en el generador. La simulación es un modelo didáctico que comprueba una propiedad del diseño y del estimador; nada demuestra acerca de la causa de una discrepancia concreta.

La matriz de diseño incluye un intercepto e indicadores con categorías de referencia. El primer estado, el primer evaluador y el primer contexto forman la combinación de referencia, cuyo valor esperado es de dos décimas ($1-0{,}5-0{,}3$). Los contrastes de estado valen uno, dos y tres puntos; los de evaluador, medio punto y un punto; el contextual, seis décimas.

La tabla expresa parámetros de esta codificación particular. Que el primer evaluador no tenga fila propia no significa que carezca de efecto, ya que su contribución está absorbida en el intercepto de referencia.

437.5. Código y recuperación de los parámetros

import numpy as np
rows, scores = [], []
for state in range(4):
    for evaluator in range(3):
        for context in range(2):
            for replicate in range(2):
                rows.append(
                    [1] + [int(state == i) for i in range(1, 4)]
                    + [int(evaluator == i) for i in range(1, 3)]
                    + [context]
                )
                scores.append(
                    1 + state + [-0.5, 0, 0.5][evaluator]
                    + [-0.3, 0.3][context] + [-0.1, 0.1][replicate]
                )
X = np.array(rows, dtype=float)
y = np.array(scores)
beta = np.linalg.lstsq(X, y, rcond=None)[0]
assert X.shape == (48, 7)
assert np.linalg.matrix_rank(X) == 7
assert np.allclose(beta, [0.2, 1, 2, 3, 0.5, 1, 0.6])
assert np.isclose(np.mean((y - X @ beta) ** 2), 0.01)
print('Parámetros:', np.round(beta, 3))

Z = np.array([
    [1] + [int(s == i) for i in range(1, 4)] + [j, j]
    for s in range(4) for j in range(2)
], dtype=float)
null_shift = np.array([0, 0, 0, 0, 0.4, -0.4])
assert np.linalg.matrix_rank(Z) == 5
assert np.allclose(Z @ null_shift, 0)
assert np.linalg.matrix_rank(Z.T @ Z) == 5
print('Diseño confundido:', Z.shape, 'rango', np.linalg.matrix_rank(Z))

a = np.arange(1, 5, dtype=float)
b = a + 2
assert np.isclose(np.corrcoef(a, b)[0, 1], 1)
assert np.isclose(np.mean(b - a), 2)

pair = np.column_stack([a, b])
n_s, k = pair.shape
grand = pair.mean()
ms_rows = k * np.sum((pair.mean(1) - grand) ** 2) / (n_s - 1)
ms_cols = n_s * np.sum((pair.mean(0) - grand) ** 2) / (k - 1)
resid = pair - pair.mean(1, keepdims=True) - pair.mean(0, keepdims=True) + grand
ms_err = np.sum(resid ** 2) / ((n_s - 1) * (k - 1))
icc_c = (ms_rows - ms_err) / (ms_rows + (k - 1) * ms_err)
icc_a = (ms_rows - ms_err) / (
    ms_rows + (k - 1) * ms_err + k * (ms_cols - ms_err) / n_s
)
assert np.isclose(icc_c, 1)
assert np.isclose(icc_a, 5 / 11)
print('CCI consistencia:', icc_c, 'CCI acuerdo absoluto:', round(icc_a, 3))

counts = np.array([[20, 10], [5, 65]], dtype=float)
n = counts.sum()
observed = np.trace(counts) / n
expected = np.sum(counts.sum(0) * counts.sum(1)) / n**2
kappa = (observed - expected) / (1 - expected)
assert np.isclose(kappa, 0.625)
pabak = 2 * observed - 1
assert np.isclose(pabak, 0.70)
print('Acuerdo observado:', observed, 'kappa:', kappa, 'PABAK:', pabak)

La estimación recupera exactamente los parámetros porque el diseño tiene rango completo y los errores se compensan dentro de cada combinación. El error cuadrático medio residual es de una centésima, que es el cuadrado del error de una décima incorporado en cada repetición. Esa exactitud es un artificio de la construcción: con errores aleatorios y un número finito de observaciones aparecería incertidumbre de estimación, aunque el diseño siguiera siendo identificable.

La segunda matriz, $Z$, conserva los cuatro estados pero emplea solo dos evaluadores y asigna a cada uno un contexto exclusivo. Sus dos últimas columnas son idénticas, de manera que, aunque tiene seis columnas, su rango es cinco, y lo mismo vale para $Z^\top Z$. El vector que el código comprueba aumenta el efecto de evaluador y reduce el contextual en la misma cantidad sin alterar ninguna predicción. Un algoritmo de mínimos cuadrados aplicado a ese diseño devolvería una entre infinitas soluciones igualmente compatibles con los datos (la rutina de NumPy entrega la de norma mínima). La dificultad está en el diseño y no en la capacidad numérica del programa. El resto del código prepara los ejemplos de las secciones 437.7 y 437.8.

437.6. Del resultado matemático a una hipótesis clínica

En la simulación sabemos que cada evaluador suma una constante a todas las observaciones. En una evaluación real, una diferencia de ese tipo podría deberse a una regla de puntuación más estricta, a preguntas formuladas de otro modo o a que un evaluador reciba sistemáticamente a las personas en momentos de mayor dificultad. Solo la primera explicación se parece al efecto aditivo estipulado; la tercera es, en rigor, un efecto del estado que el diseño ha confundido con el evaluador.

Que varios evaluadores puntúen la grabación de una misma entrevista permite estudiar la variación en la asignación de puntuaciones, pero deja fuera la variación que producen distintas maneras de entrevistar. Mokkink y colaboradores (2023) lo plantean en términos generales al señalar que repetir solo una parte del procedimiento de medición deja sin estimar el error de los componentes que no se repitieron. Comparar entrevistas independientes incluye ambos componentes, aunque introduce la posibilidad de que el estado haya cambiado entre un contacto y otro. Cada diseño responde a una pregunta diferente, y la elección debe anticipar el uso que se dará al resultado.

Una diferencia constante entre evaluadores puede corregirse mediante calibración si existe una referencia defendible y el desplazamiento se mantiene en todo el rango relevante. Si el desacuerdo crece con la intensidad del fenómeno o cambia de dirección según el contenido, una corrección constante resulta inadecuada, y un único coeficiente global puede ocultar ese patrón.

Pasar de «el modelo estima un contraste de evaluador» a «este profesional sobrevalora el síntoma» requiere una justificación que el coeficiente no contiene. La primera afirmación describe un resultado condicionado por el diseño. La segunda atribuye un mecanismo y presupone un criterio de corrección que habría que establecer por otra vía.

437.7. Correlación y acuerdo absoluto

Dos evaluadores pueden ordenar a las personas exactamente igual y asignarles puntuaciones sistemáticamente distintas. En el código, una serie contiene los valores de uno a cuatro y la otra suma dos puntos a cada uno. La correlación es perfecta y la diferencia media es de dos puntos. Si una decisión depende de superar un umbral fijo, esa diferencia puede cambiarla.

La correlación de Pearson mide covariación estandarizada y es insensible a desplazamientos y cambios de escala. Los coeficientes de correlación intraclase permiten incorporar esas diferencias, pero existen en varias formas. Shrout y Fleiss (1979) ofrecieron criterios para elegir entre seis de ellas según el modelo estadístico que describe el estudio de fiabilidad (evaluadores aleatorios o fijos, por ejemplo) y según el uso que se hará del resultado, que puede referirse a una sola puntuación o al promedio de varias. McGraw y Wong (1996) ampliaron la clasificación a diez formas e hicieron explícita una distinción que en la práctica pesa mucho: el coeficiente de consistencia ignora las diferencias sistemáticas entre evaluadores, mientras que el de acuerdo absoluto las incorpora al error.

Con las dos series del código la distinción se vuelve concreta. El coeficiente de consistencia para un evaluador vale uno, igual que la correlación, porque el desplazamiento de dos puntos no altera el orden ni las distancias relativas. El coeficiente de acuerdo absoluto vale cinco onceavos, algo menos de 0,46, porque ese desplazamiento es grande en relación con la dispersión de las personas evaluadas. Mokkink y colaboradores (2023) recomiendan, para muchas mediciones médicas, informar por defecto los parámetros de acuerdo, ya que las diferencias sistemáticas importan cada vez que se usa o interpreta el valor absoluto de la puntuación; los de consistencia bastan cuando lo único que interesa es el orden.

Informar «fiabilidad alta» sin indicar el diseño ni el objeto evaluado deja sin resolver estas decisiones. Una fiabilidad estimada para el promedio de varios evaluadores no describe la puntuación que obtiene uno solo.

Conviene, además, complementar cualquier índice agregado con la inspección de las diferencias a lo largo del rango de puntuaciones. Bland y Altman (1986) propusieron, para comparar dos métodos de medición clínica, representar la diferencia entre ambos frente a su promedio y resumirla mediante límites de acuerdo. Un gráfico de ese tipo permite ver si existe un desplazamiento constante, si la dispersión aumenta con el nivel o si el desacuerdo se concentra justamente en la zona donde se toman decisiones.

437.8. Acuerdo categórico y dependencia de los márgenes

Para una clasificación binaria, considérese la siguiente tabla sintética. Las filas corresponden al evaluador A y las columnas al evaluador B, y ninguno se utiliza como verdad de referencia.

El acuerdo observado es de ochenta y cinco casos sobre cien. A clasifica treinta casos como positivos y B veinticinco. Si se supone que ambos clasifican de manera independiente conservando esas frecuencias marginales, la proporción de acuerdo esperada es de seis décimas. El coeficiente kappa, propuesto por Cohen (1960), resulta

El término «esperado» designa aquí una construcción probabilística bajo independencia. No mide cuánto del acuerdo observado se produjo efectivamente por azar en cada caso.

Como $p_e$ se calcula a partir de los márgenes, kappa depende de ellos. Feinstein y Cicchetti (1990) llamaron la atención sobre dos paradojas derivadas de esa dependencia. Con márgenes muy desequilibrados, es decir, con una categoría mucho más frecuente que la otra, kappa puede ser bajo aunque el acuerdo observado sea alto. La segunda paradoja es que, a igual acuerdo observado, el desequilibrio asimétrico de los márgenes produce valores de kappa mayores que el desequilibrio simétrico. La tabla del ejemplo pertenece al caso simétrico, ya que ambos evaluadores consideran negativa la mayoría de los casos, y eso explica en parte la distancia entre un acuerdo de 0,85 y un kappa de 0,625. Byrt, Bishop y Carlin (1993) propusieron informar, junto a kappa, índices separados de prevalencia y de sesgo entre evaluadores, y un kappa ajustado por ambos (PABAK). En una tabla de dos por dos este último equivale a calcular kappa con un acuerdo esperado de un medio, de modo que aquí vale $2p_o-1=0{,}70$. Ninguno de estos números sustituye a la tabla: compararlos entre muestras con prevalencias distintas sin mostrar las frecuencias que los produjeron puede resultar engañoso.

La tabla tampoco permite decidir cuál de los quince desacuerdos corresponde a un error, aunque puede orientar la revisión de los casos discordantes. Convertir automáticamente al evaluador A en referencia transformaría los mismos números en aparentes falsos positivos y falsos negativos de B, sin aportar evidencia nueva sobre la condición investigada.

437.9. Qué aporta la investigación sobre múltiples informantes

Achenbach y colaboradores (2005) revisaron unos 51.000 artículos publicados durante diez años en 52 revistas y encontraron correlaciones entre autoinforme e informes de terceros en 108 de ellos. Según el resumen del trabajo, cuando ambos informes se obtenían con instrumentos paralelos, las correlaciones medias fueron de 0,681 para el consumo de sustancias, 0,428 para problemas internalizantes y 0,438 para externalizantes; con instrumentos distintos, la media descendió a 0,304. Los autores interpretan la magnitud moderada de estas correlaciones como un argumento para obtener sistemáticamente datos de varios informantes. El resultado muestra que la concordancia depende del dominio evaluado y del instrumento. No establece que una fuente sea superior a las demás, ni autoriza a leer cualquier discrepancia como información válida sobre otro contexto.

En psicopatología infantil y adolescente la literatura es más extensa y ha avanzado en la interpretación de las discrepancias. De Los Reyes y Kazdin (2005) señalaron que buena parte del trabajo previo carecía de un marco teórico y propusieron uno, el modelo de sesgo atribucional y contexto, para orientar la investigación sobre por qué difieren los informantes en el ámbito clínico. Diez años después, De Los Reyes y colaboradores (2015) metaanalizaron 341 estudios publicados entre 1989 y 2014 y obtuvieron una correspondencia media de 0,28, moderada por el par de informantes, el dominio y el método de medición. En la introducción de ese trabajo plantean la pregunta central de esta sección: la investigación se había ocupado casi exclusivamente de si las discrepancias reflejan error de medición o sesgos de los informantes, y quedaba sin establecer si capturan variaciones reales del comportamiento entre contextos. Su revisión examina la validez incremental y de constructo del enfoque con varios informantes en lugar de darla por supuesta. Estos hallazgos proceden de poblaciones infantojuveniles y no se trasladan sin más a la evaluación de adultos.

Una correlación agregada puede ser moderada porque las fuentes observan aspectos parcialmente distintos, porque cometen errores importantes o por ambas razones a la vez. Para distinguir estas explicaciones se necesita información cercana al proceso de observación: qué contenido se evaluó, durante qué periodo y con qué acceso a la conducta o la experiencia de la persona. Integrar fuentes no consiste en esperar que todas den la misma respuesta, y tampoco en celebrar cualquier discordancia como riqueza interpretativa. Algunas diferencias desaparecen al precisar las definiciones, otras revelan cambios contextuales y otras quedan sin explicar hasta que aparece evidencia suficiente.

437.10. Precisar el objeto antes de combinar respuestas

La integración empieza por comprobar si las fuentes hablan del mismo objeto. «Está mejor» puede referirse a menos sufrimiento, a menos episodios visibles, a más actividad o a una convivencia más tranquila. Si esas expresiones se convierten sin aclaración en una variable global, el desacuerdo aparente puede nacer de una equivalencia que ninguna de las fuentes sostuvo.

Supóngase que una persona refiere concentrarse mejor en tareas breves mientras su supervisor observa errores en una actividad prolongada. La duración modifica la demanda, y ambas fuentes pueden estar describiendo correctamente un funcionamiento que mejora al comienzo y se deteriora con el tiempo. Una representación adecuada distinguiría duración, tipo de tarea y condiciones de ejecución, en vez de promediar dos juicios sobre «la concentración».

Precisar el objeto no obliga a imponer una definición técnica antes de escuchar la experiencia. Bastan a menudo ejemplos concretos, la comparación de situaciones y la aclaración del periodo, que conservan el significado que la persona atribuye a su dificultad y permiten establecer correspondencias con observaciones externas. Una variable compartida se construye a partir de esas correspondencias; la coincidencia de una palabra no basta para suponerla.

Cuando las fuentes describen efectivamente objetos diferentes, puede ser mejor mantener dos variables relacionadas. El esfuerzo subjetivo y el rendimiento observable pueden evolucionar de manera distinta y ambos importar para la formulación. Reducirlos prematuramente a un indicador único impide estudiar cómo se relacionan.

437.11. Alinear ventanas temporales

Muchas discrepancias que parecen diferencias entre informantes son diferencias de periodo. La persona responde sobre la última semana y un familiar recuerda sobre todo un episodio del mes anterior; un registro laboral resume treinta días y la entrevista se concentra en el estado actual. Compararlos directamente mezcla la variación del fenómeno con la variación del intervalo observado.

Una estrategia útil es reconstruir una cronología con puntos de referencia compartidos. No hace falta que todas las fuentes aporten registros diarios. Suele bastar con situar los cambios alrededor de acontecimientos identificables y distinguir los recuerdos precisos de las estimaciones generales. El objetivo es saber qué intervalos se solapan y en cuáles cada fuente aporta información propia.

El recuerdo retrospectivo pondera los acontecimientos de forma desigual, y un episodio intenso puede dominar la valoración de todo un periodo aunque haya sido breve. Un diario conserva mejor la frecuencia de las situaciones corrientes, pero puede tener omisiones sistemáticas precisamente en los momentos más difíciles.

Si una discrepancia desaparece al alinear los periodos, no corresponde atribuirla a falta de fiabilidad de nadie. Si persiste en el mismo intervalo y sobre un contenido bien definido, merece una indagación específica. Documentar las ventanas temporales permite que una revisión posterior distinga ambos casos.

437.12. Acceso diferencial a la experiencia

Lo que cada fuente puede informar está limitado por su acceso. La persona tiene un acceso privilegiado a ciertas experiencias subjetivas, aunque puede ignorar patrones de conducta que otros observan con regularidad; un profesional dispone de procedimientos de entrevista y de comparación clínica, pero su contacto suele ser breve y situado.

Este acceso diferencial impide establecer una jerarquía universal de fuentes. Para describir una vivencia de culpa, el relato personal es central. Para reconstruir una ausencia registrada en una actividad, un documento contemporáneo puede ser lo más pertinente, aunque también los documentos contienen errores de fecha, categorías administrativas o inferencias añadidas por quien los redactó. La pertinencia de una fuente depende de la pregunta y del proceso que generó el dato.

Además, hay que separar lo observado de lo interpretado. Un informante puede haber visto que una persona permaneció en silencio durante una reunión y concluir que estaba desinteresada. El silencio es una observación situada; el desinterés, una de sus explicaciones posibles. La persona quizá describa una preocupación intensa o el esfuerzo que le costaba seguir la conversación. Una buena integración conserva ambos niveles y busca datos capaces de discriminar entre las interpretaciones.

La evaluación puede así enriquecer la descripción sin resolver de inmediato la discrepancia causal.

437.13. Interacciones y diferencias que no son constantes

El modelo aditivo supone que el efecto de un evaluador es el mismo en todos los estados y contextos. Ese supuesto falla si un evaluador interpreta con especial amplitud ciertos contenidos, o si la relación que establece en la entrevista facilita que aparezcan unas experiencias y dificulta otras.

Una extensión natural incorpora interacciones, por ejemplo un término específico para cada par de evaluador y contexto. Cada parámetro añadido aumenta las exigencias del diseño, porque estimar una interacción requiere observaciones suficientes de las combinaciones correspondientes. Si una combinación nunca se observó, el modelo puede ofrecer una predicción basada en sus restricciones, pero esa predicción no equivale a una comparación observada.

También la escala puede variar entre evaluadores. Uno puede usar todo el rango disponible y otro concentrar sus respuestas en valores intermedios. La diferencia media sería entonces pequeña aunque el desacuerdo aumentara en los extremos. Un modelo con pendientes distintas por evaluador puede representar este patrón, siempre que la variable admita la interpretación cuantitativa que el modelo le atribuye.

Estas extensiones deben responder a problemas visibles en los datos o a hipótesis justificadas, porque un modelo demasiado flexible puede ajustar discrepancias particulares sin mejorar la comprensión ni la predicción.

437.14. La dependencia entre fuentes

Tener muchas fuentes no garantiza que sean independientes. Dos profesionales pueden basarse en el mismo informe inicial, un familiar puede responder después de conversar largamente con otro y varios documentos pueden copiar una descripción anterior. Contar cada repetición como una confirmación independiente exagera la evidencia acumulada.

Por eso debe poder reconstruirse la procedencia de cada afirmación. Que tres personas hayan observado un episodio por separado es distinto de que una sola observación circule por tres documentos. En el segundo caso hay tres registros de una misma fuente primaria. La repetición demuestra que la información se transmitió, pero no multiplica las oportunidades de detectar un error.

La dependencia no siempre es perjudicial. Compartir información mejora la coordinación y permite aclaraciones relevantes. El problema surge cuando el acuerdo resultante se evalúa como si procediera de observaciones independientes. Si el objetivo es estudiar la fiabilidad entre evaluadores, que cada uno conozca las puntuaciones de los demás altera el objeto de estudio. Si el objetivo es alcanzar una formulación conjunta, la discusión es una parte legítima del procedimiento.

Un informe puede distinguir el acuerdo inicial, las diferencias que se discutieron y la conclusión posterior, con lo que conserva la evidencia sobre la variación entre evaluadores junto con el resultado de la deliberación clínica.

437.15. Por qué el promedio puede representar mal

Promediar puntuaciones reduce ciertas formas de error cuando las medidas representan la misma cantidad y sus errores tienen propiedades adecuadas, como ser independientes y no sistemáticos. Esas condiciones no se cumplen por el solo hecho de que varias fuentes usen una escala con los mismos números. Una fuente puede estar puntuando frecuencia, otra intensidad y otra interferencia funcional, aunque el formulario comparta una etiqueta general.

Incluso con un contenido común, el promedio puede ocultar una diferencia contextual relevante: si una dificultad es intensa en un ambiente y está ausente en otro, un valor intermedio describe mal ambos.

La ponderación según la supuesta credibilidad de cada fuente también necesita fundamento. Dar más peso al profesional, al informante más cercano o a quien tuvo más contactos puede ser razonable para unas preguntas y equivocado para otras, porque la cantidad de contactos no compensa la falta de acceso al fenómeno investigado. Una ponderación formal debe especificar qué error pretende reducir y con qué evidencia se estimaron los pesos.

Cuando falta esa base, puede ser preferible presentar estimaciones separadas acompañadas de una explicación de cómo se relacionan. La incertidumbre no desaparece, pero queda localizada.

437.16. Un caso de discrepancia resuelto por desagregación

En un caso ficticio, una persona afirma que durante dos semanas «no pudo hacer nada». Su pareja describe varias tareas domésticas realizadas en ese periodo y un registro laboral muestra asistencia completa. Leídos literalmente, los tres enunciados parecen contradictorios. Una entrevista posterior aclara que la persona se refería a las actividades que elegía por interés propio, y que había mantenido sus obligaciones a costa de un esfuerzo considerable.

La formulación inicial debe corregirse, porque no hubo una interrupción total de la actividad. Lo que se describe es una reducción de las actividades gratificantes, la conservación de algunas obligaciones y un aumento del esfuerzo subjetivo. La pareja aporta observaciones sobre tareas visibles, y el registro laboral informa la asistencia, pero no la calidad del trabajo, su coste subjetivo ni el desempeño completo. La discrepancia sirvió para separar dimensiones que la frase inicial había fundido.

No todas las diferencias se resuelven. La persona estima que necesitó el doble de tiempo para ciertas tareas, y su pareja no percibió ese cambio. Si el dato es relevante, puede observarse prospectivamente una tarea definida, cuidando que el seguimiento no se convierta en una prueba general de sinceridad. También cabe aceptar que el tiempo invertido en el pasado no puede estimarse con precisión suficiente.

La desagregación evita mantener una afirmación global que los ejemplos concretos refutan, y evita también descartar la dificultad subjetiva por el hecho de que algunas conductas se conservaron. Ninguna fuente prevalece sobre las demás; lo que se gana es una descripción más específica.

437.17. Fiabilidad y validez responden a preguntas distintas

Un grupo de evaluadores puede coincidir de forma estable y aun así representar mal el fenómeno que le interesa. Todos podrían, por ejemplo, inferir desinterés a partir de una conducta que también aparece por cansancio, por preocupación o por normas culturales de interacción. El acuerdo muestra que el procedimiento es consistente, pero no establece cuál de esas interpretaciones es la correcta.

Borsboom, Mellenbergh y van Heerden (2004) propusieron una concepción deliberadamente simple de la validez: un test es válido para medir un atributo si el atributo existe y sus variaciones producen causalmente variaciones en los resultados de la medición. Según su resumen, de ello se sigue que la investigación de validación debería dirigirse a los procesos que transmiten el efecto del atributo a las puntuaciones, más que a las correlaciones del atributo medido con otros atributos. Es una posición discutida dentro de la teoría de la medición, pero separa con nitidez una propiedad del registro, como su reproducibilidad, de una afirmación sobre lo que representa. Una evaluación muy fiable puede medir algo distinto de lo que su nombre sugiere.

A la inversa, el desacuerdo no invalida automáticamente todas las observaciones. Puede indicar que la variable agrupa experiencias heterogéneas o que las fuentes acceden a componentes diferentes. La revisión debe decidir si conviene mejorar el procedimiento, redefinir la variable o conservar varias dimensiones.

Que profesionales entrenados con el mismo criterio repitan la misma clasificación informa sobre reproducibilidad. Para justificar una interpretación, y más aún una decisión clínica, hace falta comprender cómo el proceso que interesa genera las respuestas observadas y contar con relaciones con acontecimientos y resultados que no estén incorporadas circularmente en la propia clasificación.

437.18. Cómo documentar una integración provisional

Un informe útil identifica, para cada afirmación, su fuente, el periodo al que se refiere y el grado de inferencia que contiene. Puede distinguir la observación directa, el relato retrospectivo, el registro contemporáneo y la interpretación clínica. Esa trazabilidad permite revisar una conclusión cuando aparece información nueva sin tener que reconstruir todo el proceso a partir de una etiqueta final.

Las discrepancias relevantes deben conservarse junto con una explicación de cómo se trataron. Algunas se resuelven mediante una aclaración semántica o temporal, otras se atribuyen provisionalmente a contextos distintos y otras quedan abiertas. La palabra «provisionalmente» debe ir acompañada de una razón concreta y, cuando sea posible, de la observación que podría cambiar la interpretación.

Conviene registrar también qué fuentes no estuvieron disponibles y qué limitaciones de acceso afectaron a las que sí lo estuvieron. La ausencia de un informante puede restringir la reconstrucción longitudinal sin impedir la descripción del estado actual. La falta de un documento puede afectar a una fecha sin invalidar el resto de los contenidos. Cada limitación debe vincularse a la afirmación que afecta.

Quien recibe el caso encuentra así una descripción que puede contrastar y ampliar. La dependencia del evaluador sigue existiendo, pero parte de sus decisiones queda a la vista y puede revisarse.

437.19. Alcance de la descomposición

La separación estadística entre persona, tiempo, evaluador y contexto depende de la cobertura del diseño y de la adecuación del modelo. En el ejemplo sintético, el cruce completo y los errores compensados permiten recuperar los contrastes definidos. En una situación clínica, la variación puede incluir interacciones, cambios en el significado de las preguntas y procesos de selección que esa demostración no contiene.

El valor del modelo está en que ayuda a localizar preguntas. Una confusión entre evaluador y contexto pide una comparación nueva; un contenido que difiere entre fuentes, una definición más precisa; varias observaciones que dependen de un mismo registro, la reconstrucción de su procedencia.

Una integración rigurosa puede terminar con acuerdos parciales y desacuerdos bien delimitados. La formulación clínica no necesita simular una verdad observacional completa para orientar el paso siguiente. Necesita saber qué afirmaciones están apoyadas, cuáles dependen de supuestos y qué incertidumbres podrían alterar las decisiones pendientes.

437.20. La composición de la muestra cambia la fiabilidad

Un coeficiente relativo de fiabilidad compara, bajo un modelo, la variación entre las unidades evaluadas con la variación total, que incluye la atribuida al error. Si las personas difieren mucho entre sí, un mismo error de puntuación representa una fracción pequeña de la variación total; en una muestra más homogénea, una fracción mayor. Mokkink y colaboradores (2023) señalan por ello que la fiabilidad depende de la heterogeneidad de la población estudiada. De ahí que recomienden reclutar la muestra en la población de interés y desaconsejen, por ejemplo, añadir participantes sanos para ampliar artificialmente el rango. Una fiabilidad estimada en una población no se transporta automáticamente a otra con un rango distinto.

Esto importa cuando un instrumento se usa para seguir los cambios de una sola persona, porque la capacidad de ordenar a individuos muy diferentes no informa sobre la precisión con que se detecta un cambio pequeño entre dos visitas. Los mismos autores distinguen la fiabilidad, entendida como capacidad de distinguir entre pacientes, del error de medición, que se refiere a la precisión de la puntuación de un paciente estable, y proponen el error estándar de medición y, para las puntuaciones de cambio, el cambio mínimo detectable. Un coeficiente agregado alto no sustituye ese análisis.

El diseño del estudio de fiabilidad debe corresponder al uso previsto. Si las visitas de seguimiento las realizarán profesionales distintos, la variación entre evaluadores forma parte del problema y debe variar también en el estudio. Si siempre evalúa la misma persona, algunas diferencias constantes se cancelan, aunque persistan los cambios de criterio a lo largo del tiempo y los efectos del contexto. La elección del índice requiere describir esas condiciones antes de calcularlo.

En consecuencia, cualquier dato sobre acuerdo debe ir acompañado de la población en que se obtuvo, el procedimiento empleado y la unidad de decisión a la que se aplicará, para no atribuirle una generalidad que el estudio no examinó.

Referencias

Achenbach, T. M., Krukowski, R. A., Dumenci, L., e Ivanova, M. Y. (2005). Assessment of adult psychopathology: Meta-analyses and implications of cross-informant correlations. Psychological Bulletin, 131(3), 361–382. DOI.

Bland, J. M., y Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310. DOI.

Borsboom, D., Mellenbergh, G. J., y van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061–1071. DOI.

Byrt, T., Bishop, J., y Carlin, J. B. (1993). Bias, prevalence and kappa. Journal of Clinical Epidemiology, 46(5), 423–429. DOI.

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. DOI.

De Los Reyes, A., Augenstein, T. M., Wang, M., et al. (2015). The validity of the multi-informant approach to assessing child and adolescent mental health. Psychological Bulletin, 141(4), 858–900. DOI.

De Los Reyes, A., y Kazdin, A. E. (2005). Informant discrepancies in the assessment of childhood psychopathology: A critical review, theoretical framework, and recommendations for further study. Psychological Bulletin, 131(4), 483–509. DOI.

Feinstein, A. R., y Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543–549. DOI.

McGraw, K. O., y Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46. DOI. Corrección: DOI.

Mokkink, L. B., Eekhout, I., Boers, M., van der Vleuten, C. P. M., y de Vet, H. C. W. (2023). Studies on reliability and measurement error of measurements in medicine: From design to statistics explained for medical researchers. Patient Related Outcome Measures, 14, 193–212. DOI.

Rothenberg, T. J. (1971). Identification in parametric models. Econometrica, 39(3), 577–591. DOI.

Shrout, P. E., y Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. DOI.