Entropías de Rényi y dimensiones generalizadas

COMPLEXA · Ciencias de la Complejidad y Teoría del Caos
Módulo 22. Información temporal, multivariada y entre escalas

217.1. Una familia de preguntas sobre la distribución

Una distribución puede contener muchos resultados posibles y concentrar casi toda su probabilidad en unos pocos. Contar posibilidades, medir incertidumbre media y estudiar coincidencias entre observaciones son preguntas diferentes. Las entropías de Rényi permiten relacionarlas dentro de una familia parametrizada.

Imaginemos cuatro categorías. Si son equiprobables, conocer el número de categorías describe bastante bien la incertidumbre. Si una domina y las otras apenas aparecen, el mismo número de categorías deja de ser una descripción suficiente.

La entropía de Shannon pondera la sorpresa de cada resultado por su probabilidad. Otros órdenes de entropía modifican la sensibilidad hacia concentraciones y probabilidades pequeñas. Cambiar de orden equivale a cambiar la pregunta que hacemos a la distribución; ningún orden es preferible en todos los casos.

El parámetro de orden suele escribirse como una letra griega alfa o como la letra q. Aquí usaremos q para reservar alfa a los exponentes locales que aparecerán al estudiar medidas multifractales.

La familia introducida por Rényi tiene una conexión con la geometría. Si dividimos un espacio en celdas cada vez más pequeñas y observamos cómo crecen estas entropías, podemos definir dimensiones generalizadas de una medida de probabilidad.

Una dimensión describe entonces una tasa de crecimiento frente a la resolución espacial. Para obtenerla hay que comparar escalas y especificar un límite o, en datos reales, un intervalo donde se evalúa un comportamiento aproximado.

Desarrollaremos ambos niveles por separado. Primero estudiaremos distribuciones finitas y operaciones exactas. Después construiremos una medida mediante divisiones sucesivas de un intervalo, de modo que sus dimensiones puedan calcularse sin depender de ajustes visuales.

La construcción permitirá distinguir el soporte geométrico de la distribución de masa. Dos medidas pueden ocupar el mismo intervalo y tener dimensiones informativas distintas porque reparten su probabilidad de maneras diferentes.

Obtendremos un conjunto de preguntas coordinadas sobre diversidad, concentración y escalamiento, junto con las condiciones necesarias para interpretar sus respuestas. La complejidad de una medida no quedará resumida en un índice único.

217.2. Definición y casos límite

Para una distribución finita con probabilidades positivas en su soporte, la entropía de Rényi de orden positivo distinto de uno se define como

Las categorías de probabilidad cero no contribuyen para órdenes positivos. El caso de orden cero se define mediante el límite por valores positivos y cuenta únicamente las categorías del soporte.

Si hay K categorías con probabilidad positiva, obtenemos

Cuando el orden tiende a uno, la expresión presenta una indeterminación. Al derivar numerador y denominador se recupera la entropía de Shannon

El orden dos tiene una interpretación especialmente directa. Su entropía es

La suma de cuadrados es la probabilidad de que dos observaciones independientes de esa distribución pertenezcan a la misma categoría. Por ello se habla de entropía de colisión.

En el límite de órdenes arbitrariamente grandes domina la categoría más probable y se obtiene

Esta cantidad se denomina minentropía. El nombre alude a su posición como extremo inferior de la familia para una distribución fija, sin que intervenga ninguna minimización libre sobre otras distribuciones.

Para órdenes no negativos, las entropías son no crecientes respecto del orden. En particular, el conteo del soporte, Shannon, colisión y minentropía se ordenan de mayor a menor o coinciden.

Si todas las categorías son equiprobables, todos los órdenes dan el logaritmo del número de categorías. La diversidad de valores aparece cuando las probabilidades son desiguales.

Tomemos probabilidades de un medio, un cuarto y dos octavos. El soporte contiene cuatro categorías, por lo que el orden cero da dos bits. La entropía de Shannon vale 1,75 bits.

La suma de cuadrados es once treintaidosavos, de modo que la entropía de colisión vale aproximadamente 1,540568 bits. La categoría más probable tiene probabilidad de un medio, por lo que la minentropía vale un bit.

Estos cuatro números describen la misma distribución sin contradecirse. El soporte contiene cuatro posibilidades; la incertidumbre media y la concentración asignan distintos pesos a la desigualdad entre ellas.

217.3. Diversidad efectiva, independencia y precauciones algebraicas

Podemos transformar una entropía en un número efectivo de categorías elevando dos a su valor. El resultado indica cuántas categorías equiprobables producirían la misma entropía para ese orden.

En el ejemplo anterior, los números efectivos son cuatro para el orden cero, aproximadamente 3,364 para Shannon, 2,909 para el orden dos y dos para el límite de orden infinito.

El número efectivo no necesita ser entero. El valor 2,909 resume una distribución desigual mediante su equivalencia con el caso uniforme, sin afirmar que existan físicamente 2,909 categorías.

Para el orden dos, el número efectivo es el inverso de la probabilidad de coincidencia. Una distribución muy concentrada produce muchas coincidencias y un número efectivo pequeño; una distribución uniforme sobre muchas categorías produce pocas.

La independencia tiene una consecuencia útil. Si dos variables son independientes, sus probabilidades conjuntas se multiplican y la suma de las potencias de esas probabilidades se factoriza, de modo que $H_q(X,Y)=H_q(X)+H_q(Y).$

Esta aditividad permite calcular entropías de construcciones repetidas. Si observamos n elecciones independientes con la misma distribución, la entropía de orden q del bloque es n veces la entropía de una elección.

Sin embargo, no debemos trasladar automáticamente todas las identidades de Shannon sustituyendo un símbolo por otro. Las generalizaciones de Rényi de la información condicional y de la información mutua requieren definiciones propias; hay varias alternativas con propiedades diferentes.

En particular, escribir una diferencia de tres entropías de orden q y llamarla información mutua no garantiza que herede las propiedades operacionales de la información mutua de Shannon. Hay que justificar la construcción usada.

Las transformaciones reversibles de etiquetas preservan las probabilidades y, por tanto, todas estas entropías. Agrupar categorías, en cambio, modifica la distribución. En órdenes no negativos, fusionar resultados reduce o conserva la entropía de la variable resultante.

Por ejemplo, si agrupamos las dos categorías de un octavo, obtenemos probabilidades de un medio y dos cuartos. El soporte pierde una categoría y la distribución se vuelve una descripción más gruesa. La comparación debe reconocer esa pérdida de resolución.

La sensibilidad a probabilidades pequeñas también depende del orden. Para órdenes menores que uno, las categorías poco probables tienen más influencia relativa que en órdenes altos. No obstante, esa influencia relativa no significa que una categoría aislada de probabilidad minúscula determine siempre el resultado.

Una cola con muchas categorías raras puede acumular una contribución relevante aunque ninguna tenga gran probabilidad individual. La familia permite explorar esa combinación de abundancia y peso.

El orden entre dos distribuciones también puede cambiar al variar q. Consideremos una distribución sobre dos categorías con probabilidades de seis y cuatro décimos. Otra, sobre tres categorías, tiene probabilidades de ocho décimos y dos décimos repartidos por igual.

El orden cero considera más diversa a la segunda, porque tiene tres categorías posibles frente a dos. En cambio, la entropía de Shannon de la primera vale aproximadamente 0,970951 bits, mientras que la de la segunda vale 0,921928. La mayor concentración de la segunda compensa su categoría adicional.

Esto no contradice la monotonicidad respecto del orden, que describe el recorrido de la familia para una distribución fija y no garantiza que dos distribuciones mantengan siempre la misma posición relativa.

Por eso un ranking basado en un solo orden debe interpretarse respecto de la sensibilidad elegida. Si una conclusión requiere afirmar mayor diversidad en todos los sentidos considerados, conviene comparar los perfiles completos dentro del intervalo de órdenes pertinente.

217.4. De las probabilidades en celdas a una dimensión

Ahora supongamos que la probabilidad está distribuida en un espacio. Dividimos ese espacio mediante una malla de celdas de tamaño lineal epsilon y asignamos a cada celda su masa de probabilidad.

La entropía de esa distribución depende de la resolución. Una malla gruesa reúne posibilidades que una malla más fina distingue. Para estudiar la geometría de la medida examinamos cómo cambia la entropía al reducir el tamaño de celda.

Usaremos el cociente entre la entropía y el logaritmo de la resolución inversa para definir

cuando el límite existe, bajo la convención de particiones especificada. El tamaño de celda se entiende relativo a una escala de referencia, de modo que el argumento del logaritmo sea adimensional.

Para órdenes distintos de uno podemos escribir la misma definición mediante la suma de potencias de masas. La dimensión es una tasa de crecimiento, mientras que la entropía a una escala concreta es una cantidad de información.

El orden cero mide la tasa de crecimiento del número de celdas ocupadas del soporte. El orden uno define la dimensión de información. El orden dos conduce, bajo las condiciones apropiadas de la construcción geométrica, a la dimensión de correlación.

La expresión mediante celdas y la expresión mediante distancias entre puntos no deben tratarse como idénticas sin revisar las convenciones geométricas y los límites que usa cada una.

Para una distribución uniforme en un intervalo de longitud uno, una malla de celdas iguales produce aproximadamente el inverso de epsilon celdas, cada una con masa epsilon. La entropía crece como el logaritmo de la resolución inversa y las dimensiones valen uno.

En un cuadrado uniforme, el número de celdas crece como el inverso del cuadrado de epsilon. Las entropías crecen el doble y las dimensiones correspondientes valen dos.

Una distribución concentrada en un número finito de puntos da otro resultado. Al refinar suficientemente la malla, cada punto queda separado y la entropía deja de crecer. El denominador continúa aumentando, por lo que las dimensiones son cero.

La entropía finita de esa distribución conserva su sentido, porque puede haber incertidumbre sobre cuál de muchos puntos se observará. La dimensión solo pregunta por el crecimiento de esa incertidumbre ante un refinamiento ilimitado.

No debemos confundir la dimensión de una medida con el número de variables registradas. Un conjunto de observaciones puede estar representado por muchas coordenadas y concentrarse en una estructura de menor dimensión. A la inversa, una serie escalar puede usarse para construir vectores temporales de varias coordenadas.

La existencia del límite tampoco está garantizada. Una construcción puede alternar regímenes de ocupación al refinar la escala y producir cocientes que no convergen. En esos casos pueden definirse dimensiones superiores e inferiores mediante límites superior e inferior, indicando expresamente que difieren.

Un único exponente ajustado no elimina esa posibilidad matemática. En una aplicación con un intervalo finito de escalas, es más preciso hablar de una pendiente efectiva observada que afirmar sin condiciones una dimensión asintótica.

217.5. Una cascada binomial calculable

Construyamos una medida de probabilidad sobre el intervalo unidad. En cada división, partimos cada intervalo en dos mitades. Asignamos una fracción p de su masa a la mitad izquierda y la fracción restante a la derecha.

Repetimos la regla en todos los niveles, con el mismo valor de p, estrictamente entre cero y uno. Después de n divisiones hay dos elevado a n intervalos, cada uno de longitud dos elevado a menos n.

Una trayectoria de divisiones que elige k veces la izquierda recibe la masa $p^k(1-p)^{n-k}.$

Hay un número combinatorio de intervalos con esa misma masa. La suma de las potencias de todas las masas puede calcularse sin enumerarlos individualmente y vale

Al introducir esta expresión en la entropía de Rényi obtenemos una dependencia exactamente lineal con el número de niveles, $H_q(n)=nH_q(p,1-p).$

Como el logaritmo de la resolución inversa también vale n, las dimensiones de esta medida coinciden con las entropías de la distribución de pesos de una división, $D_q=H_q(p,1-p).$

La igualdad numérica usa una subdivisión binaria del espacio y logaritmos de base dos. Es una consecuencia de esta geometría concreta y de la repetición exacta de sus pesos; en general, dimensión y entropía son cantidades distintas.

Elijamos p igual a tres cuartos. El soporte ocupa todo el intervalo, porque cualquier celda diádica de longitud positiva conserva masa positiva. Sin embargo, esa masa es muy desigual.

La dimensión del soporte vale uno. La dimensión de información es aproximadamente 0,811278; la de orden dos, 0,678072; la de orden cuatro, 0,547483; y el límite de órdenes altos, 0,415037.

Con pesos iguales, la misma geometría de soporte da una medida uniforme cuyas dimensiones valen todas uno. Cambiar los pesos modifica el reparto de masa sin eliminar intervalos del soporte.

Para visualizar la concentración basta comparar dos intervalos extremos de profundidad n. El que siempre recibe la fracción mayor tiene masa tres cuartos elevada a n; el que siempre recibe la menor, un cuarto elevado a n.

El cociente de sus masas es tres elevado a n, de modo que la desigualdad aumenta sistemáticamente a medida que refinamos la resolución. La familia de dimensiones registra distintos aspectos de esa desigualdad persistente entre escalas.

También podemos colocar los mismos pesos sobre los dos tercios externos de cada intervalo y eliminar siempre el tercio central. Entonces la longitud característica es tres elevado a menos n y la fórmula de dimensiones se divide por el logaritmo en base dos de tres.

Esta modificación conserva la estructura de pesos y cambia la geometría del soporte. Distinguir ambas operaciones evita atribuir toda diferencia dimensional a una supuesta transformación dinámica.

El límite de pesos extremos merece otra advertencia. Mientras p permanezca estrictamente entre cero y uno, ninguna celda diádica está vacía y la dimensión del soporte sigue valiendo uno. Sin embargo, la dimensión de información se aproxima a cero cuando casi toda la masa se asigna a una sola rama.

Si p llega exactamente a uno, la construcción concentra toda la masa en un punto y la dimensión del soporte pasa a cero. La distinción entre una probabilidad diminuta y una probabilidad exactamente nula tiene consecuencias geométricas que una muestra finita puede no resolver.

En una interpretación física necesitamos decidir si esas ramas de masa pequeña son posibles, si quedan bajo el umbral de detección o si están realmente prohibidas. Las tres situaciones pueden producir registros parecidos y corresponder a modelos diferentes.

217.6. Exponentes locales y espectro multifractal

La cascada permite preguntar cómo se concentra la masa alrededor de diferentes tipos de trayectorias. Supongamos que la proporción de elecciones izquierdas tiende a un valor r.

La masa de un intervalo de ese tipo decrece aproximadamente como una potencia de su longitud, con exponente

Para pesos de tres cuartos y un cuarto, el exponente varía entre aproximadamente 0,415037 y dos. Un exponente pequeño indica que la masa decrece más lentamente al reducir el intervalo, es decir, una concentración local mayor.

No todas las trayectorias de un tipo son igualmente abundantes como conjunto. El número de secuencias con una proporción dada de elecciones se obtiene mediante coeficientes binomiales.

En el límite de muchos niveles, esa multiplicidad conduce al espectro $f(\alpha(r))=h_2(r),$ donde la función de la derecha es la entropía binaria. Esta expresión describe el ejemplo binomial; no debemos imponerla a una medida arbitraria.

El conjunto más abundante según conteo geométrico corresponde a una proporción de un medio. Su dimensión vale uno y su exponente local es aproximadamente 1,207519 para los pesos elegidos.

En cambio, una trayectoria elegida según la propia medida de probabilidad tendrá típicamente una proporción de tres cuartos de elecciones izquierdas. Para ese valor, tanto el exponente local como la dimensión del conjunto típico valen aproximadamente 0,811278.

Elegir una celda con igual probabilidad entre todas no equivale a elegir un punto según la masa de la cascada. El primer procedimiento pondera geometría; el segundo pondera probabilidad.

La mayor parte de la masa puede concentrarse en un conjunto cuya dimensión es menor que la del soporte completo. No hay contradicción, porque el soporte incluye regiones de masa muy pequeña que siguen teniendo presencia geométrica.

Una formulación relacionada define el exponente de la suma de potencias mediante

Cuando el formalismo multifractal correspondiente es válido y la función es diferenciable, pueden relacionarse los exponentes mediante una transformación de Legendre. En la cascada binomial estas relaciones se comprueban directamente.

En medidas generales, obtener una curva mediante esa transformación no garantiza que sea exactamente el espectro geométrico de todas las singularidades. Hay condiciones de regularidad que la notación compacta no sustituye y casos donde solo recupera una envolvente adecuada.

Halsey y colaboradores desarrollaron una formulación influyente de este análisis. Su publicación incluye una corrección histórica que reconoce trabajos anteriores. Aquí usamos el ejemplo explícito para evitar atribuir validez universal a una relación demostrada en una construcción particular.

217.7. Órdenes negativos y probabilidades muy pequeñas

Aunque muchas aplicaciones trabajan con órdenes no negativos, algunos análisis multifractales usan órdenes negativos. En ese caso, las masas pequeñas reciben un peso especialmente grande al elevarlas a una potencia negativa.

Las celdas vacías se vuelven entonces problemáticas, porque una masa nula elevada a una potencia negativa no produce una contribución finita. Hay que especificar el soporte y justificar el tratamiento de los ceros.

Además, un cero observado puede corresponder a una probabilidad positiva que la muestra no alcanzó. Confundir ausencia de observaciones con ausencia de masa altera especialmente los órdenes que destacan regiones poco frecuentes.

En la cascada binomial ideal todas las celdas diádicas tienen masa positiva, de modo que podemos calcular órdenes negativos con la misma fórmula. El límite hacia órdenes negativos de gran magnitud está dominado por las celdas de menor masa.

Con pesos de tres cuartos y un cuarto, ese extremo da una dimensión generalizada de dos, mayor que la dimensión uno del intervalo soporte. Esto es posible para ese orden y esa definición porque la cantidad describe cómo se debilitan las masas más pequeñas.

Por tanto, no debemos aplicar indiscriminadamente a todos los órdenes una cota geométrica pensada para dimensiones del soporte o para órdenes no negativos. El nombre de dimensión generalizada agrupa cantidades con sensibilidades distintas.

La estimación es mucho más difícil que el cálculo ideal. A profundidad ocho, la celda de masa mínima en nuestro ejemplo tiene probabilidad de uno entre 65.536. En una muestra independiente de diez mil puntos, su número esperado de observaciones es aproximadamente 0,153.

La probabilidad de no observarla ninguna vez es aproximadamente 0,858. No podemos esperar una estimación precisa de su masa con esa muestra. El problema aparece aunque sepamos que la celda existe y aunque la construcción sea perfectamente regular.

Aumentar el número de niveles sin aumentar los datos agrava esa escasez. Una curva que parece extenderse hacia órdenes negativos puede estar dominada por decisiones sobre ceros, seudoconteos o umbrales de ocupación.

El suavizado asigna masas positivas a celdas vacías, pero introduce supuestos. Su utilidad debe evaluarse mediante análisis de sensibilidad y conocimiento del problema. No recupera automáticamente probabilidades que los datos no permiten identificar.

217.8. El límite geométrico y el tamaño de muestra

Con una muestra finita, la distribución empírica concentra toda su masa en un número finito de puntos. Si refinamos ilimitadamente la malla manteniendo fija esa muestra, acabaremos separando todos los puntos distintos.

Desde ese momento la entropía empírica deja de aumentar y su cociente con el logaritmo de la resolución inversa tiende a cero. La dimensión de esa medida empírica finita es cero, aunque la distribución que generó los datos tenga una dimensión positiva.

Así, el orden de los límites cambia el resultado. El límite de resolución aplicado a una muestra fija no representa automáticamente el límite de la población.

En la práctica buscamos un intervalo de escalas donde la muestra todavía cubra la estructura relevante y donde otros efectos no dominen. El extremo grueso puede estar condicionado por el tamaño total del soporte; el extremo fino, por escasez de datos y ruido.

Un ajuste lineal debe acompañarse del intervalo usado, el número de escalas y un análisis de sensibilidad. Elegir retrospectivamente las pocas escalas que producen la recta más atractiva puede generar una evidencia aparente de escalamiento.

La base del logaritmo no cambia una dimensión si se usa de manera consistente en numerador y denominador. Sí puede cambiarla un error de unidades o una normalización aplicada solamente a una de las dos partes.

El ruido de medición añade otro límite. Una estructura delgada puede aparecer ensanchada por el ruido en escalas pequeñas, donde el régimen observado puede pasar a reflejar la dimensión del espacio de ruido o una combinación de efectos instrumentales.

La falta de resolución también produce agrupamientos artificiales. Si muchas observaciones distintas se registran con el mismo valor redondeado, las masas de ciertas celdas aumentan. Ese agrupamiento puede parecer una concentración propia del sistema.

Una auditoría debe incluir el proceso de medición. La dimensión estimada pertenece a una distribución observada bajo una representación y una escala. Separar ese resultado de la geometría subyacente requiere argumentos adicionales.

También conviene variar el origen de la malla dentro de desplazamientos razonables. A escalas finitas, una concentración situada junto al borde de una celda puede repartirse de manera distinta al trasladar la malla. Una pendiente muy sensible a ese desplazamiento requiere una interpretación cautelosa.

Seleccionar la malla que maximiza el resultado desvirtúa el análisis de sensibilidad, cuyo objetivo es comprobar si la conclusión persiste bajo decisiones geométricas que deberían ser equivalentes para la pregunta científica. Si no persiste, esa dependencia debe formar parte del resultado comunicado.

217.9. Qué cambia al analizar una serie temporal

Una serie temporal puede analizarse mediante su distribución de amplitudes, mediante bloques simbólicos o mediante vectores de retardos. Estas representaciones producen distribuciones distintas y, por tanto, entropías y dimensiones distintas.

La entropía de Rényi del histograma de amplitudes ignora el orden temporal; una permutación de todas las observaciones conserva exactamente ese histograma. No podemos usar su valor aislado para demostrar memoria o dependencia dinámica.

Si construimos bloques de símbolos, las probabilidades sí dependen de secuencias, aunque el crecimiento del alfabeto aumenta las exigencias de muestra. Una entropía de bloque no debe confundirse con una tasa sin estudiar cómo cambia con la longitud.

En vectores de retardos, cada observación del espacio reconstruido contiene valores separados por intervalos temporales especificados. La geometría puede informar sobre restricciones entre esos valores, pero las observaciones consecutivas suelen compartir componentes.

Al calcular coincidencias o distancias, esas dependencias temporales pueden aumentar artificialmente la proximidad entre puntos. Debe examinarse la exclusión de vecinos temporales y su efecto sobre el régimen estimado, según el método usado.

Un espectro de dimensiones es insuficiente para demostrar caos determinista, porque distribuciones estocásticas, mezclas, cambios de régimen y procedimientos de medición pueden producir heterogeneidad entre escalas. La interpretación requiere hipótesis comparativas.

Tampoco una dimensión menor implica necesariamente un sistema más simple para cualquier tarea. Puede reflejar concentración fuerte, restricciones dinámicas o una representación que descartó información. La dificultad de predecir y la geometría de la medida no son la misma cantidad.

Un análisis útil declara qué aspecto desea contrastar. Si la pregunta trata de la ocupación del espacio, las dimensiones son pertinentes. Si trata de la incertidumbre futura dada la historia, debemos incorporar cantidades temporales apropiadas.

217.10. Un protocolo conceptual para interpretar el espectro

El primer paso es definir la distribución y su soporte. Debemos saber si las probabilidades corresponden a categorías, celdas espaciales, palabras temporales o estados reconstruidos. Sin esa identificación, un valor de entropía queda desligado de su significado.

Después elegimos los órdenes por una razón explícita. Los órdenes altos enfatizan concentración y los bajos son más sensibles a la diversidad de masas pequeñas. Explorar varios órdenes puede ser útil, siempre que no se seleccione únicamente el que confirma una expectativa.

La presentación puede incluir las masas originales junto con unas pocas entropías representativas. Esa combinación permite comprobar qué rasgo sostiene cada diferencia. En distribuciones pequeñas, el cálculo transparente suele ser más claro que una curva extensa de órdenes cuya interpretación no se ha explicado. En distribuciones grandes, la curva sigue siendo útil si se acompaña de ejemplos y límites de estimación.

Para hablar de dimensiones necesitamos además definir la familia de particiones y el comportamiento entre escalas. Una única entropía alta no prueba una dimensión alta; una única pendiente ajustada tampoco garantiza la existencia del límite matemático.

La cascada binomial es una referencia exacta para revisar estos pasos. Podemos calcular sus masas, entropías, dimensiones y exponentes locales. También podemos anticipar dónde una muestra finita dejará de observar las celdas raras.

En datos reales, la incertidumbre del resultado debe abarcar tanto el muestreo como las decisiones de escala y representación. Mostrar la sensibilidad permite distinguir una característica estable de un número que depende principalmente del procedimiento.

La familia de Rényi da así una descripción articulada de la concentración probabilística. Su conexión con las dimensiones generalizadas permite preguntar cómo cambia esa concentración al aumentar la resolución. Mantener visibles ambas preguntas evita reducir la complejidad de una medida a una etiqueta o a un único exponente.

Referencias

• Rényi, A. (1961). On Measures of Entropy and Information. Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability, volumen 1, 547–561. Registro original de Berkeley.
• Hentschel, H. G. E., y Procaccia, I. (1983). The infinite number of generalized dimensions of fractals and strange attractors. Physica D, 8(3), 435–444. DOI: 10.1016/0167-2789(83)90235-X.
• Halsey, T. C., Jensen, M. H., Kadanoff, L. P., Procaccia, I., y Shraiman, B. I. (1986). Fractal measures and their singularities: The characterization of strange sets. Physical Review A, 33, 1141–1151. DOI: 10.1103/PhysRevA.33.1141. Corrección histórica en Physical Review A, 34, 1601: DOI: 10.1103/PhysRevA.34.1601.