COMPLEXA · Ciencias de la Complejidad y Teoría del Caos
Módulo 22. Información temporal, multivariada y entre escalas
215.1. Dos observaciones no siempre aportan el doble
Si disponemos de dos observaciones sobre un mismo objetivo, su utilidad conjunta no se obtiene necesariamente sumando la de cada una por separado. Las dos pueden repetir la misma información o revelar algo que ninguna permite identificar individualmente.
Pensemos en dos copias exactas de una respuesta binaria. Cada copia identifica la respuesta, pero recibir ambas no duplica la cantidad de incertidumbre resuelta. Pensemos ahora en una respuesta que depende de la paridad de dos bits, es decir, de si coinciden o difieren. Cada bit aislado puede ser completamente inútil, mientras que la pareja puede resolver la respuesta.
Llamaremos redundancia a la información sobre el objetivo disponible de manera compartida en las fuentes y sinergia a la información sobre el objetivo que aparece al considerar conjuntamente varias fuentes. Estas descripciones orientan la pregunta, pero todavía no determinan una única fórmula general.
La información exclusiva de una fuente es otro componente; bajo una definición especificada, corresponde a la información que esa fuente tiene y la otra no. El análisis multivariado intenta distinguir esos papeles sin contar varias veces la misma incertidumbre del objetivo.
La elección del objetivo es indispensable. Dos sensores pueden compartir ruido que no informa sobre la variable que queremos predecir; esa dependencia entre sensores no equivale a redundancia relevante para nuestra tarea.
La sinergia tampoco implica necesariamente cooperación causal. Una distribución puede mostrar información conjunta aunque no conozcamos cómo se generaron sus variables. Una regla causal de combinación y una medida estadística de sinergia requieren argumentos distintos.
Desarrollaremos primero ejemplos donde la estructura se ve directamente y después examinaremos las identidades que conectan información individual, conjunta y condicional, para ver por qué una sola cantidad con signo puede ocultar que coexisten redundancia y sinergia.
La descomposición parcial de información, iniciada por Williams y Beer, es un marco para formular estas preguntas. Sus alternativas requieren decisiones adicionales que estudiaremos en el capítulo siguiente. Aquí construiremos la intuición y los cálculos necesarios para reconocer qué queda determinado y qué sigue abierto.
215.2. Información individual y conjunta
Sea T el objetivo y sean las fuentes dos variables. Podemos calcular tres cantidades
La información conjunta no puede ser menor que ninguna de las individuales, porque conocer ambas fuentes permite, como mínimo, ignorar una de ellas. Para un objetivo discreto de entropía finita, la información conjunta tampoco puede superar esa entropía.
No existe, en cambio, una igualdad general entre la información conjunta y la suma de informaciones individuales. La suma puede exceder el total por duplicación o quedar por debajo porque parte de la información solo aparece conjuntamente.
La regla de la cadena expresa el total de dos maneras
Cada orden asigna primero una contribución individual y después una contribución adicional condicionada a la fuente ya conocida. El total no cambia, pero las contribuciones intermedias pueden ser diferentes.
La información condicional no equivale necesariamente a información exclusiva, porque puede incluir información que necesita a ambas fuentes para aparecer.
Si ya compramos un sensor y queremos saber cuánto ayuda adquirir otro, la información condicional responde a esa decisión incremental. Para saber qué parte de la evidencia es exclusiva, compartida o conjunta, necesitamos una pregunta más detallada.
El orden de adquisición tampoco define una propiedad única de las fuentes. En dos copias idénticas, la primera resuelve todo y la segunda no añade nada; si invertimos el orden, intercambiamos las contribuciones. La distribución sigue siendo la misma y solo cambia la contabilidad secuencial.
Para evitar ambigüedad, conviene presentar las cantidades que realmente calculamos antes de interpretarlas. Una ganancia incremental, una información individual y una estimación de redundancia pueden tener valores distintos sin que ninguna esté mal calculada.
Todas deben derivarse, además, de la misma distribución. Combinar informaciones obtenidas con discretizaciones o poblaciones diferentes puede producir una comparación sin significado conjunto.
Si el objetivo queda determinado por la pareja, la información conjunta coincide con la entropía del objetivo. Si hay ruido adicional independiente que modifica el objetivo, queda una incertidumbre residual. Esa comprobación permite distinguir información ausente de información presente que todavía no hemos atribuido a un componente.
215.3. El ejemplo de la copia redundante
Sea el objetivo un bit equiprobable y sean ambas fuentes copias exactas de ese bit. Cada fuente tiene un bit de información sobre el objetivo. La pareja también tiene un bit, porque únicamente puede mostrar cero-cero o uno-uno.
La suma de informaciones individuales es dos bits, pero la incertidumbre del objetivo solo era un bit. Esa suma cuenta dos veces la misma distinción. Recibir la segunda copia después de la primera no reduce incertidumbre adicional.
La interpretación natural es un bit redundante, sin información exclusiva ni sinergia. En una descomposición no negativa que respete las identidades habituales de dos fuentes, este caso fuerza precisamente esa asignación.
La redundancia informacional no implica que la segunda copia carezca de toda utilidad práctica. Podría proteger frente a la pérdida de un instrumento o facilitar una operación bajo restricciones distintas. Esas ventajas, sin embargo, requieren modelar fallos, disponibilidad y costos; no aparecen en la distribución ideal de copias perfectas que hemos definido.
Añadamos ahora ruido independiente a cada sensor. La redundancia y la ganancia conjunta pueden entonces coexistir, porque ambos sensores pueden seguir compartiendo información sobre el objetivo mientras la segunda observación corrige incertidumbre que la primera no resolvió.
La tasa de error marginal de cada sensor no determina la información conjunta, que cambia según cómo dependen los errores entre sí. Si los errores son idénticos, el segundo sensor repite también las equivocaciones del primero; si son independientes condicionados al objetivo, la pareja puede mejorar la descripción probabilística.
También debemos distinguir entre redundancia sobre un objetivo y dependencia entre fuentes. Construyamos dos fuentes que contienen un bit común R y, además, bits privados A y B, todos independientes y equiprobables. El objetivo será la pareja formada por A y B.
Las fuentes comparten un bit entre sí, porque ambas incluyen R, pero ese bit no informa sobre el objetivo. Cada fuente identifica un componente distinto del objetivo y juntas identifican los dos.
Eliminar R de ambas fuentes no cambia ninguna de esas informaciones sobre el objetivo, aunque reduce la dependencia mutua de las fuentes. La correlación entre sensores podía provenir de una variación compartida irrelevante para la tarea.
Por eso una medida de redundancia relevante debe examinar la relación con el objetivo, además del parecido entre las fuentes. Dos señales muy correlacionadas pueden repetir ruido; dos señales poco correlacionadas pueden compartir aspectos relevantes de una variable más compleja.
215.4. El ejemplo de la paridad sinérgica
Sean las fuentes dos bits independientes y equiprobables. Definamos el objetivo como su XOR, que vale uno si los bits difieren y cero si coinciden.
| Primera fuente | Segunda fuente | Objetivo XOR |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
Cada fila tiene probabilidad una cuarta parte. El objetivo es equiprobable y tiene un bit de entropía. Si conocemos solo la primera fuente, el objetivo sigue siendo equiprobable porque la segunda permanece desconocida. Lo mismo ocurre al intercambiar las fuentes.
Por tanto, ambas informaciones individuales son cero. Conocer la pareja sí determina exactamente el objetivo y aporta un bit de información sobre él. Ese bit es el ejemplo elemental de información sinérgica.
Combinar las fuentes no crea información. Las fuentes individuales no contenían información sobre este objetivo en aislamiento, pero su distribución conjunta sí distinguía las dos clases de paridad; la relación era una propiedad de la pareja.
Según la regla de la cadena, la información de la primera fuente sola es cero y la segunda añade un bit después de conocer la primera. Si invertimos el orden, intercambiamos ese papel. La información condicional de cualquiera de las fuentes, dada la otra, es un bit.
Sumar ambas informaciones condicionales daría dos bits, aunque el objetivo solo tiene uno. La suma cuenta dos veces una misma relación conjunta. Por eso la información adicional y la exclusiva no pueden identificarse sin examinar la estructura.
Añadamos una inversión independiente del objetivo con probabilidad una décima. Las informaciones individuales continúan siendo cero por simetría. La información conjunta disminuye a aproximadamente 0,531004 bits, porque conocer las entradas deja incertidumbre sobre el error.
En una descomposición no negativa que respete las identidades de dos fuentes, toda esa información conjunta debe ser sinérgica, porque ninguna fuente individual tiene información que pueda asignarse como redundante o exclusiva.
El ejemplo también ayuda a interpretar una representación aprendida. Si un algoritmo transforma la pareja en su paridad, puede convertir una relación difícil para cierto predictor en una característica directamente útil. La transformación conserva la información sobre el objetivo que ya estaba en la pareja y solo cambia cómo se presenta.
En cambio, si un procedimiento recibe únicamente una de las fuentes, no puede recuperar ese bit sin otra información. La diferencia entre transformar una entrada y añadir otra debe permanecer visible al evaluar cualquier mejora.
215.5. La distribución cambia la forma de la información
Mantengamos la regla XOR, pero hagamos que cada fuente produzca unos con probabilidad una décima, todavía de manera independiente. El objetivo vale uno cuando ocurre exactamente un uno entre las entradas, de modo que su probabilidad es 0,18.
Su entropía es aproximadamente 0,680077 bits. Conocer una fuente deja la incertidumbre de la otra, porque la relación XOR es invertible cuando fijamos una entrada. Esa incertidumbre es aproximadamente 0,468996 bits.
La información individual de cada fuente es entonces de aproximadamente 0,211081 bits. La pareja sigue determinando exactamente el objetivo y su información es de aproximadamente 0,680077 bits.
La misma regla lógica ya no presenta el patrón de informaciones individuales nulas del caso equilibrado. Cuando la segunda fuente suele ser cero, la primera se parece con frecuencia al objetivo y resulta informativa por sí sola.
La información conjunta excede la suma de las individuales en aproximadamente 0,257914 bits. Esa diferencia demuestra que la suma individual no agota lo disponible en la pareja, aunque, sin otro criterio, no determina una descomposición completa entre redundancia y sinergia.
Este ejemplo muestra que una medida informacional depende de la distribución de uso, además de la función de combinación. No podemos atribuir a una compuerta lógica una cifra única de sinergia sin declarar cómo se distribuyen sus entradas y qué objetivo medimos.
Cambiemos ahora la función a AND con entradas equilibradas. El objetivo vale uno solo cuando ambas fuentes valen uno; su probabilidad es una cuarta parte y su entropía ronda 0,811278 bits.
Si sabemos que la primera fuente es cero, el objetivo queda determinado. Si es uno, todavía depende de la segunda fuente equiprobable. La entropía condicional promedio es medio bit y la información individual de cada fuente es aproximadamente 0,311278 bits.
La información conjunta es 0,811278 bits y la suma individual, aproximadamente 0,622556. La diferencia, de 0,188722 bits, es una ganancia conjunta que no podemos reconstruir sumando las contribuciones aisladas.
La decisión de clasificación permite otra lectura. Sin observar ninguna fuente, predecir siempre cero acierta tres cuartas partes de las veces. Con una sola fuente, si observamos cero sabemos la respuesta; si observamos uno, quedan dos respuestas equiprobables. El mejor porcentaje promedio de aciertos sigue siendo tres cuartas partes, cualquiera que sea la forma de resolver ese empate.
Así, una fuente tiene información probabilística positiva sin mejorar aquí la exactitud óptima bajo pérdida de cero o uno. La pareja sí eleva la exactitud a uno porque determina la tabla completa. Este contraste impide leer cada bit como una mejora proporcional de cualquier decisión. La información usa la distribución completa; una acción óptima depende además de la función de pérdida y puede permanecer igual ante cambios de confianza.
Sin embargo, AND no es idéntico a XOR desde el punto de vista informacional. Cada entrada ya tiene información por separado y esas informaciones pueden compartir contenido sobre ciertos resultados. Para precisar cuánto es compartido necesitamos una definición de redundancia.
La tabla de verdad especifica la regla y la distribución determina qué filas se usan y con qué peso; una interpretación informacional completa necesita ambas.
215.6. Una diferencia con signo no separa dos componentes
Una cantidad habitual combina las informaciones individuales y la conjunta
Aquí usaremos esta convención de signo. En la literatura aparecen nombres y convenciones distintos para la información de interacción y la coinformación; algunas expresiones cambian de signo. Para comparar resultados hay que comprobar la fórmula que corresponde a cada nombre.
En la copia redundante la cantidad vale un bit; en XOR equilibrado, menos un bit. Esa diferencia resulta intuitiva, pero sería precipitado identificar valores positivos con toda la redundancia y negativos con toda la sinergia.
Supongamos una descomposición en redundancia, dos informaciones exclusivas y sinergia. Las identidades serían
Al sustituirlas, la cantidad con signo es
En ese marco, la cantidad mide una diferencia entre dos componentes. Un valor cero puede significar que ambos son cero o que son iguales y positivos. El signo indica cuál de los dos predomina, pero deja sin determinar cuánto hay de cada uno.
Construyamos un ejemplo donde ambas estructuras aparecen de manera visible. Sean independientes cinco bits equiprobables llamados R, A, B, C y D. El objetivo tiene cuatro componentes, que son R, A, B y la paridad de C y D.
La primera fuente contiene R, A y C; la segunda, R, B y D. Cada fuente tiene dos bits de información sobre el objetivo, que corresponden al componente común R y a uno de los componentes privados. La pareja tiene cuatro, porque también determina la paridad.
La coinformación es cero (dos más dos menos cuatro). Aun así, el mecanismo contiene una copia redundante de R y una relación de paridad que solo se resuelve conjuntamente.
La lectura por componentes identifica un bit compartido, un bit privado de cada fuente y un bit de paridad conjunta. Esa descripción se apoya en la construcción explícita; una fórmula general de descomposición necesitaría propiedades adicionales para recuperar esa interpretación en distribuciones arbitrarias.
El ejemplo demuestra por qué una sola medida con signo puede ocultar organización. Si solo reportamos el cero, no distinguimos este sistema de otro en el que ambas fuentes contienen componentes completamente separados y no existe una relación conjunta adicional.
215.7. Lo que las identidades permiten y lo que falta
Las tres informaciones observables dan tres ecuaciones para cuatro componentes. Sin otra condición, la descomposición no queda determinada. Podemos elegir una redundancia admisible y derivar los demás términos, pero diferentes elecciones pueden satisfacer las mismas identidades.
Si exigimos que todos los componentes sean no negativos, obtenemos cotas. La redundancia no puede superar la menor información individual ni ser tan pequeña que obligue a una sinergia negativa.
El intervalo permitido para la redundancia es, entonces,
Una vez elegida la redundancia, cada exclusiva es su información individual menos esa redundancia. La sinergia es la información conjunta menos las dos individuales, más la redundancia. Las identidades no explican qué elección se ajusta mejor a la idea de contenido compartido.
En XOR equilibrado, ambas informaciones individuales son cero, por lo que el intervalo obliga a redundancia cero y la sinergia queda fijada en un bit. En la copia perfecta, las cotas obligan a redundancia de un bit y sinergia cero.
En AND equilibrado, el intervalo permite redundancias entre cero y aproximadamente 0,311278 bits. La sinergia correspondiente va desde aproximadamente 0,188722 hasta medio bit. Las cantidades de Shannon por sí solas no seleccionan un punto.
El ejemplo de cuatro componentes permite ver la indeterminación con números enteros. Sus informaciones individuales son dos bits y la conjunta cuatro. Las asignaciones de la tabla siguiente satisfacen las mismas tres ecuaciones y son no negativas.
| Redundancia | Exclusiva de la primera | Exclusiva de la segunda | Sinergia |
|---|---|---|---|
| 0 | 2 | 2 | 0 |
| 1 | 1 | 1 | 1 |
| 2 | 0 | 0 | 2 |
La construcción por componentes favorece la fila intermedia como descripción de los bits compartidos, privados y de paridad, aunque las igualdades numéricas no la seleccionan. Que las otras filas sumen correctamente no las justifica como interpretaciones del mecanismo; solo muestran que falta una condición.
Una definición puede añadir, por ejemplo, exigencias sobre copias de componentes independientes o sobre problemas de decisión que una fuente permite resolver. Esas exigencias restringen el reparto. La discusión científica debe examinar su justificación y sus consecuencias sin confundir consistencia aritmética con identificación completa.
Por tanto, llamar sinergia completa a la diferencia entre información conjunta y suma individual es una elección adicional que, en general, equivale a fijar la redundancia en cero cuando esa diferencia es positiva.
Williams y Beer propusieron organizar las aportaciones de conjuntos de fuentes mediante una estructura de redundancia y derivar componentes parciales. Ese marco hizo explícita una pregunta que las medidas con signo mezclaban. Otras propuestas adoptan criterios diferentes para precisar información compartida o exclusiva.
La existencia de alternativas no significa que cualquier número sea igualmente aceptable. Una definición puede satisfacer o incumplir propiedades deseables, tener una interpretación operacional o responder a una tarea particular. Esas razones deben quedar explícitas, de modo que la elección no se oculte bajo la apariencia de una fórmula única.
Al interpretar un resultado aplicado, conviene preguntar qué descomposición se usó, qué propiedades la justifican y si la conclusión cambia con otras opciones pertinentes. El siguiente capítulo desarrollará esa comparación con ejemplos donde las definiciones discrepan.
215.8. Otras medidas multivariadas responden otras preguntas
La dependencia conjunta de varias variables puede medirse sin distinguir un objetivo. Una cantidad clásica, propuesta por Watanabe, es la correlación total
También puede expresarse como divergencia entre la distribución conjunta y el producto de sus marginales. Es no negativa y se anula en la independencia conjunta. Por su definición, no separa redundancia y sinergia sobre un objetivo.
Para tres copias del mismo bit equiprobable, la suma de entropías individuales es tres bits y la entropía conjunta es uno, de modo que la correlación total vale dos bits. Esto no significa que haya dos bits distintos de contenido compartido, porque toda la distribución depende de un único bit.
Para dos bits independientes y su XOR, cada marginal tiene un bit y la entropía conjunta es dos. La correlación total vale un bit, aunque todas las parejas sean independientes; la cantidad detecta una dependencia conjunta que las comparaciones bivariadas no muestran.
Ambos ejemplos son informativos, pero no autorizan a interpretar la correlación total como cantidad de redundancia o de sinergia en cualquier distribución. Su objeto es la desviación de independencia entre todas las variables.
Los dibujos de regiones superpuestas pueden ayudar con identidades sencillas, pero también inducir una lectura incorrecta. En XOR, una región que corresponde a la información de interacción tiene signo negativo bajo cierta representación algebraica. Como ninguna intersección puede almacenar una cantidad física negativa, ese signo muestra que el dibujo de conjuntos ordinarios es insuficiente para representar todas las relaciones multivariadas. Para interpretar un diagrama debemos conocer qué expresión corresponde a cada región y si sus valores están obligados a ser no negativos.
La coinformación, por su parte, es simétrica en sus tres variables bajo la formulación completa de entropías, mientras que una descomposición parcial distingue fuentes y objetivo. Cambiar qué variable tratamos como objetivo puede alterar la pregunta interpretativa aunque algunas cantidades simétricas permanezcan iguales.
Otra posibilidad es asignar a cada fuente su ganancia promedio al introducirla en distintos órdenes. Para dos fuentes, promediamos su información individual y su contribución condicionada a la otra. Esa regla reparte exactamente la información conjunta.
El reparto, sin embargo, no identifica la forma de la información. Asignaría medio bit a cada fuente tanto en dos copias perfectas como en XOR equilibrado; una regla de distribución de crédito puede dar el mismo resultado en un caso redundante y en otro sinérgico.
Preguntar cuánto crédito asignar a cada participante es distinto de preguntar qué estructura hace posible el resultado conjunto. Ambas preguntas pueden ser útiles, siempre que se mantengan separadas.
En un análisis de sistemas complejos, elegir una medida exige identificar su objeto (dependencia global, información sobre un objetivo, ganancia incremental, reparto de crédito o contenido conjunto). Los nombres semejantes no garantizan que las cantidades sean intercambiables.
215.9. Consecuencias para sensores y predictores
Por la sinergia, seleccionar variables solo por su información individual puede descartar una combinación decisiva. En XOR equilibrado, cualquier criterio que elimine ambas fuentes por aportar cero información aislada pierde la posibilidad de predecir el objetivo.
De ello no se sigue que debamos conservar todas las combinaciones posibles, porque el número de grupos crece rápidamente y la muestra puede ser insuficiente. Toda estrategia de selección introduce supuestos sobre qué tipos de dependencia considera relevantes.
Con redundancia aparece el problema contrario, porque elegir varias fuentes muy informativas por separado puede producir un conjunto que repita casi lo mismo. La ganancia condicional permite evaluar cuánto añade una fuente al conjunto ya seleccionado, aunque no identifica todos los componentes parciales.
La utilidad también depende del predictor. Una transformación que explicita la paridad puede facilitar una tarea a un modelo restringido, mientras que un modelo capaz de representar la regla conjunta ya podía usar las entradas originales. La información disponible y la capacidad de extraerla son propiedades diferentes.
Una mejora por ingeniería de variables no viola el procesamiento de datos. Si la nueva representación es función de las entradas completas, no puede contener más información sobre el objetivo que esas entradas, aunque puede hacerla más accesible a un algoritmo particular.
En señales temporales, las fuentes pueden ser observaciones de diferentes componentes o diferentes retardos de un mismo componente. Una dependencia sinérgica entre retardos puede explicar por qué un contexto corto falla aunque cada retardo aislado parezca poco útil.
Al aumentar las dimensiones, la estimación se vuelve difícil. Las tablas conjuntas contienen combinaciones raras y una aparente sinergia puede reflejar sobreajuste o sesgos diferentes entre entropías. La validación necesita evaluar la combinación en datos que no se usaron para seleccionarla.
La interpretación causal requiere otro paso. En nuestro ejemplo, la regla XOR es conocida y define una combinación causal. Una distribución observada con el mismo patrón informacional, en cambio, deja abiertos los mecanismos que la produjeron, porque causas comunes, selección y transformaciones de medida pueden modificar la estructura.
También debemos fijar el objetivo con cuidado. Una combinación puede ser sinérgica para predecir un resultado y redundante para otro. No existe una etiqueta universal de sensor sinérgico independiente de qué intentamos conocer.
Por último, el costo puede justificar conservar redundancia. Dos fuentes que repiten información en condiciones ideales pueden dar tolerancia a fallos, disponibilidad en distintos momentos o acceso por distintas vías. Esos beneficios no se reflejan en la información conjunta, que no aumenta; para evaluarlos debemos ampliar el modelo de observación y decisión.
215.10. Interpretar conjuntos sin reducirlos a parejas
La información multivariada obliga a examinar relaciones que no se reconstruyen sumando comparaciones individuales. Una pareja puede duplicar contenido o revelar una distinción que ninguna fuente sostiene por separado.
Los ejemplos de copia y paridad son extremos claros. En el primero, la suma individual cuenta dos veces una misma respuesta; en el segundo, las informaciones individuales son cero y la pareja resuelve un bit. Ambos respetan la regla de la cadena.
La información condicional describe una ganancia después de conocer otra fuente. Puede incluir sinergia y, por ello, no equivale necesariamente a información exclusiva. La misma cantidad puede cambiar cuando modificamos el contexto disponible.
La coinformación reúne redundancia y sinergia mediante una diferencia, de modo que un valor nulo no demuestra ausencia de ambas. El ejemplo con componentes compartidos, privados y de paridad mostró cómo pueden cancelarse en una medida con signo.
Las identidades de Shannon establecen restricciones fuertes, pero no determinan cuatro componentes parciales a partir de tres cantidades. Una descomposición necesita un criterio adicional y debe justificarse según sus propiedades y su propósito.
El perfil informacional depende también de la distribución, como mostró la regla XOR con entradas desequilibradas. Atribuir una cifra al mecanismo sin declarar la población de entradas puede ocultar esa dependencia.
En aplicaciones, conviene combinar cálculos transparentes con pruebas de predicción y controles de estimación. La existencia matemática de sinergia no garantiza que podamos estimarla con precisión; tampoco una mejora predictiva identifica necesariamente una causa.
El siguiente capítulo comparará propuestas de descomposición parcial. La pregunta será cómo definir de forma precisa que dos fuentes comparten información sobre un objetivo y qué decisiones diferentes conducen a respuestas distintas. Esa comparación permitirá usar las medidas con una interpretación más clara de lo que conservan y de lo que dejan abierto.
Referencias
- McGill, W. J. (1954). Multivariate Information Transmission. Psychometrika, 19(2), 97–116. https://doi.org/10.1007/BF02289159.
- Watanabe, S. (1960). Information Theoretical Analysis of Multivariate Correlation. IBM Journal of Research and Development, 4(1), 66–82. https://doi.org/10.1147/rd.41.0066.
- Williams, P. L., y Beer, R. D. (2010). Nonnegative Decomposition of Multivariate Information. Prepublicación, arXiv:1004.2515. https://arxiv.org/abs/1004.2515.
- Bertschinger, N., Rauh, J., Olbrich, E., Jost, J., y Ay, N. (2014). Quantifying Unique Information. Entropy, 16(4), 2161–2183. https://doi.org/10.3390/e16042161.