TEORIA ERGODICA

Eleonora Catsigeras

Apuntes para el curso de Maestría en Matemática. Noviembre de 1997.

CAPITULO 7 ENTROPIA.

Sea (x, A, μ) un espacio de probabilidad y sea T : X ↦ X una transformación medible. Veamos primero una introducción intuitiva de lo que se entiende por cantidad de información. Sea A ∈ A tal que μ(A) > 0. La cantidad de información i de la sentencia “x ∈ A” es, dicho

en lenguaje corriente, el espacio que merecería ocupar la noticia “x ∈ A”en un informativo. Pediremos lo siguiente:

1. La cantidad de información es nula si A ocurre casi siempre, es mayor cuanto menos probable es A y siempre es un número real ≥ 0, que depende solo de la probabilidad μ(A) de A. Es decir,

i : (0, 1] ↦ IR^{+}  i(p) decreciente con p  i(1) = 0

2. Si dos sucesos A y B son independientes, entonces la cantidad de información de la sentencia conjunta “x ∈ A y x ∈ B” es igual a la suma de las cantidades de información de “x ∈ A” y de “x ∈ B”. Es decir,

i(pq) = i(p) + i(q) para todos p y q ∈ (0, 1]

Derivando la condición (2) respecto a p, y multiplicando por p, se obtiene pqi′(pq) = pi′(p), para todos p y q en (0, 1]. Luego pi′(p) = −k constante para todo p en (0, 1]. Integrando esta ecuación, y considerando la condición (1) se obtiene

i(p) = −k log p para k constante > 0

Elegir diferentes valores para la constante k, equivale a elegir diferentes unidades para medir la cantidad de información, y equivale también a elegir diferentes bases para el logaritmo. En Teoría Ergódica se utiliza k = 1. En Ingeniería se utiliza k = 1/ log 2, o lo que es lo mismo, se calculan los logaritmos en base 2. La unidad de medida así obtenida se llama “bit ”.

Definición 0.1 La cantidad de información de un suceso con probabilidad p > 0 es

i(p) = − log p

La cantidad de bits es i(p)/ log 2 = − log_{2}(p).

La palabra bit proviene del siguiente ejemplo:

Ejemplo: Sea el shift de Bernoulli de dos símbolos equiprobables Σ(1/2, 1/2). Sea A el cilindro que se obtiene al fijar los primeros N símbolos: A = C(a_{1}, a_{2}, …, a_{N}). La probabilidad de A es μ(A) = \frac{1}{2^{N}}. La cantidad de información de la sentencia “x ∈ A”es

i(\frac{1}{2^{N}}) = − log(\frac{1}{2^{N}}) = N log 2 = N bits

Sean A y B dos sucesos con probabilidad positiva. La probabilidad condicional de B dado A se define como

μ(B|A) = \frac{μ(A ∩ B)}{μ(A)}

La cantidad de información del suceso B dado A, se define como

i(μ(B|A)) = − log μ(B|A) = − log μ(A ∩ B) + log μ(A)

Luego

i(μ(A ∩ B)) = i(μ(A)) + i(μ(B|A))

Interpretación: El espacio necesario para trasmitir la información “x ∈ A y x ∈ B”es la suma del espacio necesario para trasmitir “x ∈ A”más el necesario para trasmitir “x ∈ B dado que ya se sabe x ∈ A”.

1 Entropía de particiones

Definición 1.1 Una partición P de (X, A, μ) es una colección de conjuntos P ∈ A, dos a dos disjuntos, con μ(P) > 0 y μ(⋃ P) = 1.

Los conjuntos P de P se llaman átomos de la partición. Todos tienen medida positiva y son dos a dos disjuntos. Entonces la partición P es una colección finita o infinita numerable de átomos.

Se llama entropía de la partición P al promedio ponderado con la medida de cada átomo, de la cantidad de información de los átomos de P. Es decir:

Definición 1.2 Entropía de la partición P es

H(P) = − ∑_{P ∈P} μ(P) log μ(P)

Obsérvese que es un número mayor o igual que cero, o infinito. Además H(P) = 0 si y solo si P tiene un único átomo, luego, con medida uno.

La entropía de la partición es el valor esperado, (es decir la integral respecto a μ), de la función que a casi todo punto x ∈ X le asigna la cantidad de información del átomo P_{x} ∈ P que contiene a x. Más precisamente:

f(x) = − log μ(P_{x}), H(P) = ∫ f dμ

Definición 1.3 Dadas dos particiones P y Q se define la partición producto P ⋀ Q como la formada por todas las intersecciones P ⋂ Q, con medida no nula, de P ∈ P y Q ∈ Q.

Notamos que el producto de particiones es una operación conmutativa, asociativa y que tiene como neutro la partición {X} ( o también cualquier partición con entropía nula).

Se llama entropía condicional de la partición Q dada la partición P al promedio, ponderado con la probabilidad μ(P ∩ Q), de la cantidad de información de Q dado P, para P ∈ P y Q ∈ Q, tales que μ(P ∩ Q) ≠ 0. Es decir:

Definición 1.4 La entropía condicional de Q dada P es

H(Q|P) = − ∑_{P ∈P,Q∈Q,μ(P ∩Q)≠0} μ(P ∩ Q) log \frac{μ(P ∩ Q)}{μ(P)}

Nótese que es siempre mayor o igual que cero, o infinito.

Para simplificar la notación convenimos en que la letra imprenta indica un átomo de la partición denotada con la misma letra, pero caligráfica. También convenimos en que, si aparece indicado 0 · log 0, entonces el término correspondiente en la suma es nulo. Con esta notación se tiene:

H(Q|P) = − ∑_{P} ∑_{Q} μ(P ∩ Q) log \frac{μ(P ∩ Q)}{μ(P)}  (1)
H(Q ∧ P) = − ∑_{P} ∑_{Q} μ(P ∩ Q) log μ(P ∩ Q)  (2)

Proposición 1.5 Sean P, Q y R particiones. Se cumple:

1. H(Q|P) ≤ H(Q)

2. H(P ∧ Q) = H(P) + H(Q|P)

3. H(Q|P ∧ R) ≤ H(Q|R)

Para probar la proposición anterior precisaremos del siguiente lema:

Lema 1.6 (Desigualdad de Jensen) Sea ϕ : [0, 1] ↦ IR una función continua, derivable hasta segundo orden en (0, 1) y con derivada segunda negativa.

Sea λ_{i} una sucesión de números reales ≥ 0, tales que ∑_{i=1}^{∞} λ_{i} = 1, y sea x_{i} una sucesión de puntos en [0, 1].

Se cumple:

ϕ (∑_{i=1}^{∞} λ_{i}x_{i}) ≥ ∑_{i=1}^{∞} λ_{i}ϕ(x_{i})

Prueba: Las series en el enunciado son absolutamente convergentes porque sus términos i-ésimos son menores o iguales, en valor absoluto, que una constante por λ_{i}, y la serie de los λ_{i} converge por hipótesis.

Probemos primero que, para todo n ≥ 1, si ∑_{i=1}^{n} ρ_{i} = 1, con ρ_{i} dados ≥ 0, entonces se cumple:

ϕ (∑_{i=1}^{n} ρ_{i}x_{i}) ≥ ∑_{i=1}^{n} ρ_{i}ϕ(x_{i})  (3)

Para n = 1 es trivial, porque, en ese caso, ρ_{1} = 1.

Para n = 2: sean x_{1} y x_{2} ∈ [0.1]. Como la concavidad de la gráfica de la función ϕ es negativa, porque la derivada segunda es negativa, entonces la gráfica entre x_{1} y x_{2} está por arriba de la cuerda, es decir, del segmento que tiene por extremos los puntos (x_{1}, ϕ(x_{1})) y (x_{2}, ϕ(x_{2})). Esto significa que, para todo 0 ≤ ρ ≤ 1 se cumple:

ϕ(ρx_{1} + (1 − ρ)x_{2}) ≥ ρϕ(x_{1}) + (1 − ρ)ϕ(x_{2})  (4)

Por lo tanto se sumple la desigualdad (3) cuando n = 2.

Supongamos cierta la desigualdad (3) para n. Demostrémosla para n+1. Se tiene ∑_{i=1}^{n+1} ρ_{i} = 1. Sea ρ = ∑_{i=1}^{n} ρ_{i}. Entonces se tiene ρ_{n+1} = 1 − ρ. Sea X = ∑_{i=1}^{n} ρ_{i}x_{i}/ρ. Se cumple

∑_{i=1}^{n+1} ρ_{i}x_{i} = ρX + (1 − ρ)x_{n+1}

Aplicando la desigualdad (4), y luego la hipótesis de inducción, se tiene

ϕ (∑_{i=1}^{n+1} ρ_{i}x_{i}) = ϕ(ρX + (1 − ρ)x_{n+1}) ≥ ρϕ(X) + (1 − ρ)ϕ(x_{n+1})

= ρϕ (∑_{i=1}^{n} \frac{ρ_{i}x_{i}}{ρ} ) + ρ_{n+1}ϕ(x_{n+1}) ≥ ρ ∑_{i=1}^{n} \frac{ρ_{i}ϕ(x_{i})}{ρ} + ρ_{n+1}ϕ(x_{n+1}) = ∑_{i=1}^{n+1} ρ_{i}ϕ(x_{i})

Por lo tanto vale (3) para todo n natural.

Ahora terminemos la demostración. Como las series son convergentes, son el límite de sus reducidas n-ésimas. Siendo ϕ continua:

ϕ (∑_{i=1}^{∞} λ_{i}x_{i}) = lim_{n→∞} ϕ (\frac{∑_{i=1}^{n} λ_{i}x_{i}}{∑_{i=1}^{n} λ_{i}} ) ≥ lim \frac{∑_{i=1}^{n} λ_{i}ϕ(x_{i})}{∑_{i=1}^{n} λ_{i}} = ∑_{i=1}^{∞} λ_{i}ϕ(x_{i})

Ahora estamos en condiciones de demostrar la proposición 1.5 Prueba de la proposición 1.5: La afirmación 1 es consecuencia inmediata de la afirmación 3 tomando R = {X}. Veamos la afirmación 2:

H(Q ∧ P) = − ∑_{P} ∑_{Q} μ(P ∩ Q) log μ(P ∩ Q)

= − ∑_{P} ∑_{Q} μ(P ∩ Q) log \frac{μ(P ∩ Q)}{μ(P)} − ∑_{P} ∑_{Q} μ(P ∩ Q) log μ(P) =

= H(Q|P) − ∑_{P} μ(P) log μ(P) = H(Q|P) + H(P)

Ahora probemos la afirmación 3: Sea

ϕ_{(}x) = −x log x si x ∈ (0, 1] y ϕ(0) = 0

Es una función continua en [0,1], y tiene derivada segunda negativa en (0,1). Luego, ϕ cumple la desigualdad de Jensen, probada en el lema anterior.

Usando como convenio de notación que son nulos los términos denotados como 0 log 0 , o 0 log(0/0), se tiene:

H(Q|P ∧ R) = − ∑_{R} ∑_{Q} ∑_{P} μ(P ∩ Q ∩ R) log \frac{μ(P ∩ Q ∩ R)}{μ(P ∩ R)}

= ∑_{R} μ(R) ∑_{Q} ∑_{P} \frac{μ(P ∩ R)}{μ(R)}ϕ (\frac{μ(P ∩ Q ∩ R)}{μ(P ∩ R)})

Tomemos Q ∈ Q y R ∈ R fijos. Enumeremos con subíndice i ≥ 1 todos los conjuntos P_{i} ∈ P, tales que μ(P_{i}∩R) ≠ 0. Definamos los números λ_{i} = μ(P_{i}∩R)/μ(R) y x_{i} = μ(P_{i}∩Q∩R)/μ(P_{i}∩R).

Se cumple que x_{i} ∈ [0, 1], que λ_{i} ≥ 0 y que ∑_{i=1}^{∞} λ_{i} = 1. Luego, aplicando la desigualdad de Jensen, se tiene:

H(Q|P ∧ R) = ∑_{R} μ(R) ∑_{Q} ∑_{i≥1} λ_{i}ϕ(x_{i}) ≤ ∑_{R} μ(R) ∑_{Q} ϕ (∑_{i≥1} λ_{i}x_{i})

Observando que ∑_{i≥1} λ_{i}x_{i} = μ(Q ∩ R)/μ(R) se concluye:

H(Q|P ∧ R) ≤ − ∑_{R} μ(R) ∑_{Q} \frac{μ(Q ∩ R)}{μ(R)} log (\frac{μ(Q ∩ R)}{μ(R)}) = H(Q|R)

Corolario 1.7 (Entropía del producto de particiones)

H(P) ≤ H(P ∧ Q) ≤ H(P) + H(Q)

Prueba: Basta recordar que H(Q|P) ≥ 0, y usar la igualdad 2) y la desigualdad 1) de la proposición 1.5.

Corolario 1.8 (Entropía del producto condicionada) Si H(R) < ∞ entonces:

i) H(P ∧ Q|R) = H(P|R) + H(Q|P ∧ R)

ii) H(P|R) ≤ H(P ∧ Q|R) ≤ H(P|R) + H(Q|R)

Prueba: i) Aplicando tres veces la igualdad (2) de 1.5:

H(R ∧ (P ∧ Q)) = H(R) + H(P ∧ Q|R)

H((P ∧ R) ∧ Q) = H(P ∧ R) + H(Q|P ∧ R) = H(R) + H(P|R) + H(Q|P ∧ R)

Como R ∧ P ∧ Q = P ∧ R ∧ Q, igualando las expresiones de los últimos miembros, se tiene el resultado enunciado.

ii) De i), siendo siempre H(Q|P ∧ R) ≥ 0, se tiene H(P ∧ Q|R) ≥ H(P|R).

Aplicando la desigualdad (3) de la proposición 1.5, a (i), se tiene H(P ∧ Q|R) ≤ H(P|R) + H(Q|R).

Nota: Las partes i) y ii) del corolario 1.8 son también ciertas aunque H(R) = ∞, pero para probarlas hay que remitirse a las definiciones.

Corolario 1.9 (Diferencia de entropías) Si H(P) < ∞ , entonces, para cualquier otra partición Q se cumple

H(Q) − H(P) ≤ H(Q|P)

Prueba: Por el corolario 1.7 y la igualdad (2) de la proposición 1.5, se tiene:

H(Q) ≤ H(P ∧ Q) = H(P) + H(Q|P)

Restando H(P) se obtiene la tesis.

2 Refinamiento de particiones

Definición 2.1 Sean P y Q dos particiones. Se dice que Q es más fina que P, o P más gruesa que Q , si todo átomo de P coincide μ-c.t.p. con una unión de átomos de Q.

El producto de dos particiones es, obviamente, más fino que cada una de las particiones.

Dos particiones coinciden μ- c.t.p. si cada átomo de una de ellas es igual μ-c.t.p. a algún átomo de la otra.

Nótese que Q es más fina que P si y solo si P ∧ Q coincide μ-c.t.p. con Q. Como el valor de la entropía depende solo de la medida de los átomos, en todo cálculo de entropías, donde aparezca la partición Q, podemos poner P ∧ Q.

Cuando Q es más fina que P, se cumple H(Q ∧ P) = H(Q). Luego, aplicando la propiedad 2) de la proposición 1.5,

H(Q) = H(Q ∧ P) = H(Q) + H(P|Q)

se concluye que si Q tiene entropía finita y es más fina que P, entonces H(P|Q) = 0. (Aplicando la definición directamente, se puede demostrar que el resultado también vale aunque H(Q) = ∞).

Veamos ahora que la entropía crece cuanto más fina es la partición. Si se condiciona, la entropía crece cuanto mas fina es la partición condicionada, y decrece cuanto más fina es la partición condicionante:

Proposición 2.2 Sean P, Q, R tres particiones. Si la partición Q es más fina que P, entonces:

1. H(Q) ≥ H(P)

2. H(Q|R) ≥ H(P|R)

3. H(R|Q) ≤ H(R|P)

Prueba: Para demostrar 1) apliquemos el corolario 1.7:

H(P) ≤ H(P ∧ Q) = H(Q)

Para demostrar 2) usemos la desigualdad ii) del corolario 1.8:

H(Q|R) = H(Q ∧ P|R) ≥ H(P|R)

Para demostrar 3) usemos la parte 3) de la proposición 1.5:

H(R|Q) = H(R|P ∧ Q) ≤ H(R|P)

Definición 2.3 Sea {P_{n}}_{n≥1} una sucesión de particiones. Indicamos con

⋁_{n≥1} P_{n}

a la mínima σ-álgebra que contiene a todos los átomos de todas las particiones de la sucesión. Es decir contiene a ⋃_{n≥1} P_{n}.

Por lo tanto, una partición P está contenida en ⋁_{n≥1} P_{n}, si todos sus átomos pertenecen a esa σ-álgebra.

Decimos que una partición está contenida μ-c.t.p. en ⋁_{n≥1} P_{n}, si todos sus átomos son iguales μ-c.t.p. a algún subconjunto miembro de esa σ-álgebra.

Ahora probemos un lema para demostrar el teorema de Kolmogorov-Sinai que veremos en las próximas secciones:

Lema 2.4 Sea {P_{n}}_{n≥1} una sucesión de particiones tales que, para todo n ≥ 1 la partición P_{n+1} es mas fina que P_{n}.

Sea P una partición finita contenida μ-c.t.p. en ⋁_{n≥1} P_{n}. Entonces

lim_{n→∞} H(P|P_{n}) = 0

Prueba: Todas las particiones consideradas lo son del espacio de probabilidad (X, A, μ). Definamos la familia F = {A ∈ A : Para todo ϵ > 0 existen N ≥ 1 y alguna unión B de

átomos de P_{N} que cumple μ(AΔB) < ϵ}.

Nótese que, si A ∈ F, entonces, para todo n ≥ N, existe alguna unión B^{(n)} de átomos de P_{n} que cumple μ(AΔB^{(n)}) < ϵ. Esto se debe a que la partición P_{n} es mas fina que P_{N}. Por lo tanto, si N es adecuado, cualquier natural mayor que N también lo es.

Es inmediato ver que la familia F contiene a P_{N}, para todo N ≥ 1.

Afirmamos que F es una σ-álgebra. En efecto, para probar que el complemento de A está en F, basta usar los mismos N y B que para A, y comparar A^{c} con la unión de los átomos de la partición P_{N} que no están en B.

Ahora, probemos que la unión numerable de conjuntos A_{i} ∈ F también pertence a F:

Sea ϵ > 0 dado. Para cada i ≥ 1 sean N_{i} ≥ 1 y B_{i}, unión de átomos de P_{N_{i}}, que cumple μ(A_{i}ΔB_{i}) < ϵ/2^{i+1} Sea B = ⋃_{i≥1} B_{i}. Se tiene:

μ(AΔB) ≤ ∑_{i=1}^{∞} μ(A_{i}ΔB_{i}) < ∑_{i=1}^{∞} ϵ/2^{i+1} = ϵ/2  (5)

Para todo k ≥ 1 defínase C_{k} = ⋃_{i=1}^{k} B_{i}. Se cumple C_{1} ⊂ C_{2} ⊂ … ⊂ C_{k} ⊂ … ⋃_{i≥1} C_{i} = B. Luego μ(B) = lim μ(C_{k}), y existe K ≥ 1 tal que μ(B) − μ(C_{K}) < ϵ/2. Como C_{K} ⊂ B, se tiene:

μ(BΔC_{K}) < ϵ/2  (6)

Sea N = max_{1≤i≤K} N_{i}. Como B_{i} es una unión de átomos de P_{N_{i}}, coincide μ-c.t.p. con una unión de átomos de P_{N}. Luego C_{K} = ⋃_{i=1}^{K} B_{i} también coincide μ-c.t.p. con una unión H de átomos de P_{N}.

Por (5) y (6):

μ(AΔH) = μ(AΔC_{K}) ≤ μ(AΔB) + μ(BΔC_{k}) < ϵ

Luego A ∈ F y F es una σ-álgebra.

Por lo tanto la familia F contiene a la σ-álgebra ⋁_{n≥1} P_{n}. Esta, por hipótesis, contiene μ-c.t.p. a la partición P. Si A ∈ F, entonces cualquier otro conjunto que coincida μ- c.t.p. con A también pertence a F. Luego, todos los átomos de P pertenecen a la familia F.

Siendo P una partición finita, se tiene P = {P_{1}, P_{2}, … P_{r}}, con P_{i} ∈ F, para todo i = 1, 2, …, r. Dado ϵ existe N = N(ϵ) ≥ 1 (el mismo para todo i = 1, 2, …, r) y existe, para cada i = 1, 2, …, , r, alguna unión Q_{i} de átomos de P_{N}, tal que

μ(P_{i}ΔQ_{i}) < ϵ

Los conjuntos Q_{i} no forman necesariamente una partición, porque pueden intersectarse, aunque los P_{i} no lo hacen. Pero aproximan a los átomos de la partición P y son uniones de átomos de P_{N}.

Construyamos, usando los Q_{i}, una partición S = S(ϵ) cuyos átomos continúen aproximando a los P_{i} y sigan siendo μ-c.t.p. uniones de átomos de P_{N}. Entonces S será mas gruesa que P_{N}, y por la proposición 2.2 se cumple:

0 ≤ H(P|P_{n}) ≤ H(P|P_{N}) ≤ H(P|S(ϵ)) ∀ n ≥ N = N(ϵ)

Para demostrar la tesis H(P|P_{N}) → 0, bastará entonces probar que H(P|S(ϵ))_{ϵ→∞} → 0 Pasemos a la construcción de S(ϵ), definiendo

S_{1} = Q_{1}, S_{i} = Q_{i} − ⋃_{j=1}^{i−1} Q_{j}, para 2 ≤ i ≤ r − 1, S_{r} = (⋃_{j=1}^{r−1} Q_{j})^{c}

S(ϵ) = {S_{i} : 1 ≤ i ≤ r, μ(S_{i}) ≠ 0}

Por construcción S(ϵ) es una partición, y sus átomos son μ-c.t.p. uniones de átomos de P_{N}, porque los Q_{i} lo eran.

Afirmamos que para todo i = 1, 2, …, r se cumple

μ(P_{i}ΔS_{i}) < rϵ

En efecto, para i = 1 : S_{1} = Q_{1} y μ(P_{1}ΔQ_{1}) < ϵ.

Para 2 ≤ i ≤ r − 1, si 1 ≤ j ≤ i − 1 se tiene:

S_{i} ⊂ Q_{i}, S_{i}^{c} = Q_{i}^{c} ⋃ ⋃_{j=1}^{i−1} Q_{j}, P_{i} ⊂ P_{j}^{c}

Luego μ(P_{i}ΔS_{i}) = μ(P_{i}^{c} ∩ S_{i}) + μ(P_{i} ∩ S_{i}^{c}) ≤ μ(P_{i}^{c} ∩ Q_{i}) + μ(P_{i} ∩ Q_{i}^{c}) + ∑_{j=1}^{i−1} μ(P_{j}^{c} ∩ Q_{j}) ≤ ∑_{j=1}^{i} μ(P_{j}ΔQ_{j}) < rϵ.

Finalmente, para i = r, si 1 ≤ j ≤ r − 1, se tiene

S_{r} ⊂ Q_{j}^{c}, S_{r}^{c} = ⋃_{j=1}^{r−1} Q_{j}, P_{i} ⊂ P_{j}^{c}, P_{r}^{c} = ⋃_{j=1}^{r−1} P_{j} μ-c.t.p.

Luego μ(P_{r}ΔS_{r}) = μ(P_{r}^{c} ∩ S_{r}) + μ(P_{r} ∩ S_{r}^{c}) ≤ ∑_{j=1}^{r−1} μ(P_{j} ∩ Q_{j}^{c}) + ∑_{j=1}^{r−1} μ(P_{j}^{c} ∩ Q_{j}) ≤ ∑_{j=1}^{r−1} μ(P_{j}ΔQ_{j}) < rϵ. Con esto acabamos de demostrar que los átomos de la partición S(ϵ) aproximan a los átomos de la partición dada P.

Para terminar, falta probar que H(P|S(ϵ)) → 0 cuando ϵ → 0.

H(P|S(ϵ)) = − ∑_{i} ∑_{j} μ(P_{j} ∩ S_{i}) log (\frac{μ(P_{j} ∩ S_{i})}{μ(S_{i})}) = ∑_{i} μ(S_{i}) ∑_{j} ϕ (\frac{μ(P_{j} ∩ S_{i})}{μ(S_{i})})

donde ϕ(x) = −x log x, la primera suma es para aquellos i ∈ {1, 2, …, r} tales que μ(S_{i}) ≠ 0, y la segunda suma para aquellos j ∈ {1, 2, …, r} tales que μ(P_{j} ∩ S_{i}) ≠ 0.

Como hay una cantidad finita acotada de sumandos, basta probar que cada uno converge a cero cuando ϵ → 0.

Primero veamos que μ(S_{i}) → μ(P_{i}) > 0. En efecto, |μ(S_{i}) − μ(P_{i})| ≤ μ(S_{i}ΔP_{i}) < rϵ → 0. Por un lado, si j = i: μ(P_{i} ∩ S_{i}) = μ(S_{i}) − μ(P_{i}^{c} ∩ S_{i}),

0 ≤ μ(P_{i}^{c} ∩ S_{i}) ≤ μ(P_{i}ΔS_{i}) < rϵ → 0

Entonces

lim_{ϵ→0} ϕ (\frac{μ(P_{i} ∩ S_{i})}{μ(S_{i})}) = ϕ(1) = 0

Por otro lado, si j ≠ i, entonces P_{j} ⊂ P_{i}^{c}, y

0 ≤ μ(P_{j} ∩ S_{i}) ≤ μ(P_{i}^{c} ∩ S_{i}) ≤ μ(P_{i}ΔS_{i}) < rϵ → 0

Luego,

lim_{ϵ→0} ϕ (\frac{μ(P_{j} ∩ S_{i})}{μ(S_{i})}) = lim_{x→0} ϕ(x) = 0

3 Entropía de una transformación respecto a una partición

Sea T : X ↦ X medible que preserva una medida de probabilidad μ. Sea P una partición de X con entropía H(P) finita. Es fácil ver que la familia formada por las preimágenes por T de los átomos de P forman una nueva partición, que denotamos como T^{−1}P, que tiene la misma entropía que P.

H(T^{−1}P) = H(P)

Si se tienen dos particiones P y Q, se cumple:

H(T^{−1}P|T^{−1}Q) = H(P|Q)

Considérese para cada n ≥ 1, la partición producto:

P_{n} = P ∧ T^{−1}P ∧ … ∧ T^{−(n−1)}P

Al aumentar n se tienen particiones cada vez mas finas, luego H(P_{n}) es creciente con n.

Además, por el corolario 1.7

H(P_{n}) ≤ H(P) + H(T^{−1}P) + … + H(T^{−(n−1)}P) = nH(P)

Luego:

\frac{H(P_{n})}{n} ≤ H(P) < ∞ ∀n ≥ 1

Proposición 3.1 La sucesión {H(P_{n})}_{n≥1} es subaditiva, esto es:

H(P_{n+m}) ≤ H(P_{n}) + H(P_{m}) ∀ n, m ≥ 1

Prueba:

H(P_{n+m}) = H ((∧_{j=0}^{n−1}T^{−j}P) ∧ (∧_{j=n}^{n+m−1}T^{−j}P))
≤ H(P_{n}) + H(T^{−n}P_{m}) = H(P_{n}) + H(P_{m}) ∀ n, m ≥ 1

Teorema 3.2

lim_{n→∞} \frac{H(P_{n})}{n} = inf_{n≥1} \frac{H(P_{n})}{n} ≤ H(P)

Prueba: Basta demostrar que toda sucesión {a_{n}}_{n≥1} de reales, subaditiva (es decir a_{n+m} ≤ a_{n} + a_{m} para todos n y m ≥ 1), con a_{n}/n acotada inferiormente, cumple

lim_{n→∞} \frac{a_{n}}{n} = inf_{n≥1} \frac{a_{n}}{n}

Sea c = inf_{n≥1}a_{n}/n. Sea, dado ϵ > 0, un natural n_{0} ≥ 1 tal que a_{n_{0}}/n_{0} < c + ϵ.

Si n ≥ n_{0}, haciendo la división entera n = qn_{0}+r, con 0 ≤ r < n_{0}, y aplicando la subaditividad, se obtiene:

\frac{a_{n}}{n} = \frac{a_{qn_{0}+r}}{n} ≤ \frac{qa_{n_{0}}}{qn_{0} + r} + \frac{a_{r}}{n} ≤ \frac{q}{qn_{0}} a_{n_{0}} + \frac{max_{0≤i<n_{0}} a_{i}}{n} < c + 2ϵ ∀ n ≥ N

si N es suficientemente grande.

Luego

c ≤ \frac{a_{n}}{n} < c + 2ϵ ∀ n ≥ N

Es decir

\frac{a_{n}}{n}_{n→∞} → c

Definición 3.3 Si T es medible y P es una partición con entropía finita, se llama entropía de la transformación T respecto a la partición P al número real

h(T, P) = lim_{n→∞} \frac{H(P_{n})}{n} = inf_{n≥1} \frac{H(P_{n})}{n}

Interpretación:

T : X ↦ X define un sistema dinámico determinístico: Da una ley conocida, que en función de cada estado inicial x ∈ X, determina la sucesión de estados futuros: T (x), T^{2}(x), …, T^{j}(x), … (la órbita por x). Supongamos que la transformación T se aplica a cada segundo : T^{j}(x) es el estado al comienzo del segundo j-ésimo.

El físico o el ingeniero quiere informar sobre el estado del sistema en cada segundo futuro, a partir de su estado inicial x, por lo menos para casi todo punto x. Modestamente, no requiere determinar exactamente el punto T^{j}(x) del espacio, sino que dispone de una cierta partición P del espacio, predeterminada, y solo requiere saber en cuál átomo A_{j} de la partición está el punto T^{j}(x), para cada instante futuro j ≥ 0. (Por ejemplo si X es un subconjunto de IR^{2}, quiere tener el dato de qué cuadrante contiene a T^{j}(x) para cada j ≥ 0.) La sucesión de átomos A_{j}, se llama itinerario de x. También modestamente, puede tolerar atrasos muy grandes en trasmitir la información, con tal de que, cada tanto, puedan darse los datos acumulados.

El valor esperado de la cantidad de información inicial es H(P), según la interpretación que dimos al definir entropía de una partición, en 1.1.

Al cabo de n − 1 segundos tendrá la información acumulada:

x ∈ A_{0}, T (x) ∈ A_{1}, T^{2}(x) ∈ A_{2}, …, T^{n−1}(x) ∈ A_{n−1}

Esto es lo mismo que el dato de qué átomo de la partición P_{n} contiene al punto x. Luego, el valor esperado de la cantidad de información acumulada al cabo de n − 1 segundos, será H(P_{n}).

Tuvo n segundos para trasmitir esa información acumulada. Entonces debió hacerlo con una velocidad promedio H(P_{n})/n. Como puede tolerar atrasos tan grandes como necesite, puede acercarse tanto al límite de H(P_{n})/n como desee. Este límite es un ínfimo, y es, por definición la entropía de T respecto a la partición P.

Luego, la entropía de T respecto a la partición P, es el límite inferior teórico de la velocidad de transmisión de datos requerida para informar sobre el itinerario del sistema.

Cantidad de bits/segundo = h(t, P)/ log 2

Si la entropía es positiva, quiere decir que se requiere de una velocidad promedio positiva, para ir trasmitiendo los datos, a medida que se acumulan. Usando mayor velocidad pueden adelantarse algunos datos. Pero no se pueden trasmitir en tiempo acotado los datos para todo el futuro. Si la entropía es positiva, entonces no se pueden hacer previsiones en el estado asintótico futuro, trasmitiendo solo una cantidad finita de datos en tiempo acotado N (porque, si así fuera, la velocidad promedio tendería a cero cuando n tiende a infinito, n ≥ N).

En este sentido, cuando tiene entropía positiva el sistema es imprevisible, aunque sea determinístico.

También podemos dar la siguiente interpretación: si la entropía h = h(T, P) es positiva el sistema es caótico, esto es, sensible a las condiciones iniciales, aunque en un sentido débil: hay itinerarios asintóticamente diferentes. En efecto, si el itinerario a partir de cierto instante N no dependiera más del estado inicial x, entonces las particiones P_{n}, para n ≥ N coincidirían con P_{N}. Al dividir su entropía H(P_{n}) entre n, y hacer n tender a infinito, la entropía h de la transformación sería nula.

También podemos dar la siguiente interpretación a la entropía h = h(T, P) de la transformación: Es el grado de desorden que provoca la transformación T en el espacio. En efecto, nótese que H(P_{n}) es creciente con n, y h es la velocidad con la que crece en relación a n. Si h es positivo, entonces la partición inicial P debe sufrir más y más subatomizaciones al aplicarle T sucesivas veces (pues de lo contrario, las particiones P_{n} serían todas iguales a P_{N} para n ≥ N y luego h sería cero).

Proposición 3.4 Cualesquiera sean las particiones P y Q con entropías finitas, se cumple:

1. h(T, Q) − h(T, P) ≤ H(Q|P)

2. Si Q es mas fina que P entonces 0 ≤ h(T, Q) − h(T, P).

Prueba: 1) Según el corolario 1.9 que acota la diferencia de entropías de particiones, se tiene

H(∧_{j=0}^{n−1}T^{−j}Q) − H(∧_{j=0}^{n−1}T^{−j}P) ≤ H(∧_{j=0}^{n−1}T^{−j}Q)| ∧_{j=0}^{n−1} T^{−j}P)

Aplicando la parte 2) del corolario 1.8, sobre la entropía del producto condicionada:

H(∧_{j=0}^{n−1}T^{−j}Q)| ∧_{j=0}^{n−1} T^{−j}P) ≤ ∑_{j=0}^{n−1} H(T^{−j}Q| ∧_{i=0}^{n−1} T^{−i}P)

Como al condicionar con una partición mas fina disminuye la entropía, según la afirmación 3) de la proposición 2.2:

∑_{j=0}^{n−1} H(T^{−j}Q| ∧_{i=0}^{n−1} T^{−i}P) ≤ ∑_{j=0}^{n−1} H(T^{−j}Q|T^{−j}P) = ∑_{j=0}^{n−1} H(Q|P) = nH(Q|P)

Luego:

\frac{1}{n}H(∧_{j=0}^{n−1}T^{−j}Q) − \frac{1}{n}H(∧_{j=0}^{n−1}T^{−j}P) ≤ H(Q|P)

y haciendo n tender a infinito, se tiene

h(T, Q) − h(T, P) ≤ H(Q|P)

2) Si Q es mas fina que P, entonces ∧_{j=0}^{n−1}T^{−j}Q es mas fina que ∧_{j=0}^{n−1}T^{−j}P, y entonces por la proposición 2.2

0 ≤ H(∧_{j=0}^{n−1}T^{−j}Q) − H(∧_{j=0}^{n−1}T^{−j}P)

Dividiendo entre n y haciendo n tender a infinito se tiene: 0 ≤ h(T, Q) − h(T, P).

Proposición 3.5 1. h(T, P) = h(T, T^{−1}P) = h(T, T^{−n}P) para todo n ≥ 0

2. h(T, P) = h(T, ∧_{j=0}^{m}T^{−j}P) para todo m ≥ 0.

3. Si T es invertible con inversa medible: h(T, P) = h(T, T P) = h(T, T^{n}P) para todo n ∈ ZZ.

Prueba:

1)H(∧_{j=0}^{n−1}T^{−j}P) = H(T^{−1} ∧_{j=0}^{n−1} T^{−j}P) = H(∧_{j=0}^{n−1}T^{−j}(T^{−1}P))

Dividiendo entre n y haciendo n tender a infinito se tiene h(T, P) = h(T, T^{−1}P). La otra igualdad se obtiene aplicando n veces la primera.

2) ∧_{i=0}^{n−1}T^{−i}(∧_{j=0}^{m}T^{−j}P) = ∧_{i=0}^{n+m−1}T^{−i}P.

Calculando su entropía H, dividiendo entre n y haciendo n tender a infinito, con m fijo, se tiene la igualdad 2).

3) Si T es invertible y preserva μ, entonces T^{−1} también preserva μ. Luego, para toda partición P se cumple H(T P) = H(P). La prueba sigue análogamente a la de 1), tomando la imagen por T de P en lugar de su preimagen.

4 Entropía métrica de una transformación

Definición 4.1 Sea T : X ↦ X medible que preserva la medida de probabilidad μ. Se llama entropía métrica de T para la medida μ a

h_{μ}(T) = sup{h(T, P) : P partición tal que H(P) < ∞} ∈ [0, ∞]

Teorema 4.2

h_{μ}(T) = sup{h(T, P) : P partición finita }

Prueba: Como toda partición finita tiene entropía finita, se cumple

h_{μ}(T) ≥ sup{h(T, P) : P partición finita }

Para probar la desigualdad contraria, basta demostrar que dada una partición P con H(P) < ∞, existe una sucesión P_{n} de particiones finitas tales que h(T, P_{n}) → h(T, P).

Dada P = {P_{i}}_{i≥1} sea P_{n} = {P_{1}, …, P_{n−1}, ⋃_{i≥n} P_{i}}.

P es mas fina que P_{n}. Luego vale la proposición 3.4:

0 ≤ h(T, P) − h(T, P_{n}) ≤ H(P|P_{n})

y basta probar que H(P|P_{n}) → 0.

Aplicando la definición de entropía condicionada, y observando que para i = 1, 2, …, n − 1, los átomos P_{i} de las particiones P y P_{n} coinciden, se tiene:

H(P|P_{n}) = − ∑_{i≥n} μ(P_{i}) log \frac{μ(P_{i})}{μ(⋃_{j≥1} P_{j})} = ∑_{i≥n} ϕ(μ(P_{i})) − ϕ (∑_{j≥n} μ(P_{j}))

donde ϕ(x) = −x log x.

Como H(P) = ∑_{i≥1} ϕ(μ(P_{i})) < ∞, la cola de la serie ∑_{i≥n} ϕ(μ(P_{i})) converge a cero cuando n tiende a infinito.

Por otro lado, como ∑_{j≥1} μ(P_{j}) = 1, la cola de la serie ∑_{j≥n} μ(P_{j}) converge a cero cuando n tiende a infinito. Siendo lim_{x→0} ϕ(x) = 0, se tiene que ϕ (∑_{j≥n} μ(P_{j})) converge a cero cuando n tiende a infinito.

Teorema 4.3 Sean T_{1} : X_{1} ↦ X_{1} que preserva la medida μ_{1}, y T_{2} : X_{2} ↦ X_{2} que preserva la medida μ_{2}.

Si T_{1} y T_{2} son equivalentes por isomorfismo de espacios de medida, entonces las entropías métricas son iguales:

h_{μ_{1}}(T_{1}) = h_{μ_{2}}(T_{2})

Prueba: Sea f : X_{1} ↦ X_{2} el isomorfismo de espacios de medida tal que f ∘ T_{1} = T_{2} ∘ f. Para toda partición P_{2} = {P_{i}}_{i≥1} de X_{2}, la partición f^{−1}P_{2} = {f^{−1}(P_{i})}_{i≥1} de X_{1}, cumple H(f^{−1}P_{2}) = H(P_{2}), porque f preserva medidas.

Además, como f ∘ T_{1}^{j} = T_{2}^{j} ∘ f para todo j ≥ 0, se cumple

f^{−1} ∧_{j=0}^{n−1} T_{2}^{−j}P_{2} = ∧_{j=0}^{n−1}T_{1}^{−j}f^{−1}P_{2}

de donde se obtiene que

H(∧_{j=0}^{n−1}T_{2}^{−j}P_{2}) = H(∧_{j=0}^{n−1}T_{1}^{−j}f^{−1}P_{2})

Dividiendo entre n y haciendo n tender a infinito se obtiene h(T_{2}, P_{2}) = h(T_{1}, f^{−1}P_{2}). Como vale para cualquier partición P_{2} de X_{2}, se tiene:

h_{μ_{2}}(T_{2}) = sup{h(T_{2}, P_{2}) : H(P_{2}) < ∞} ≤ sup{h(T_{1}, P_{1}) : H(P_{1}) < ∞} = h_{μ_{1}}(T_{1})

Como la relación de ser equivalentes por isomorfismo de espacios de medida es simétrica, usando f^{−1} en lugar de f, se obtiene la desigualdad contraria.

La entropía métrica de una transformación es un supremo de las entropías de la transformación respecto a particiones. Para calcularla puede ser muy útil saber cuando es un máximo, y para que partición se alcanza ese máximo. Condiciones que aseguran eso estarán dadas en el teorema de Kolmogorov-Sinai, para el cual necesitamos la siguiente definición:

Definición 4.4 Sea T medible en un espacio de medida (X, A, μ). Una partición P se llama generadora si se cumple alguna de las siguientes condiciones:

i) o bien ⋁_{j=0}^{∞} T^{−j}P = A μ-c.t.p.

ii) o bien ⋁_{j=0}^{∞} T^{−j}P ≠ A μ-c.t.p., pero T es invertible con inversa medible y ⋁_{j=−∞}^{∞} T^{−j}P = A μ-c.t.p.

Se aclara que cuando T es invertible, tanto son particiones generadoras las que cumplen i) como las que cumplen ii).

Teorema 4.5 (Kolmogorov-Sinai) Si P es una partición generadora con H(P) < ∞, entonces

h_{μ}(T) = h(T, P)

Prueba: Consideraremos los dos casos i) y ii) de la definción de partición generadora Caso i): Sea P_{n} = ∧_{j=0}^{n−1}T^{−j}P. Tenemos una sucesión de particiones cada vez mas finas, y que

generan la σ-álgebra, porque P es partición generadora.

Aplicando la proposición 3.4 y el lema 2.4, para toda partición finita Q se cumple:

h(T, Q) − h(T, P_{n}) ≤ H(Q|P_{n}) → 0

Por otro lado, usando la proposición 3.5 se tiene h(T, P_{n}) = h(T, P) para todo n ≥ 1. Luego, para toda partición finita Q se tiene

h(T, Q) ≤ h(T, P)

Finalmente

h_{μ}(T) = sup{h(T, Q) : Q partición finita } ≤ h(T, P) ≤ sup{h(T, R) : H(R) < ∞} = h_{μ}(T)

Caso ii): Sea P_{n} = ∧_{j=−n}^{n}T^{−j}P = T^{n} (∧_{j=0}^{2n}T^{−j}P). Usando la proposición 3.5 se tiene h(T, P_{n}) = h(T, P) para todo n ≥ 1.

La prueba continúa como en el caso anterior, sin mas cambios.

Ejemplos: Entropía métrica del shift de Bernoulli.

Sea σ : B(m) ↦ B(m) el shift unilateral de m símbolos.

Tomemos la partición formada por los m cilindros de radio 1:

P = {C(1), C(2), …, C(m)}

Obsérvese que para todo n ≥ 1 la partición P_{n} = ∧_{j=0}^{n−1}T^{−j}P es la de los cilindros de radio n. Como la σ-álgebra de Borel es la generada por los cilindros, la partición P es generadora.

Luego, para cualquier medida μ que sea invariante por el shift, la entropía métrica h_{μ}(T) es igual a h(T, P).

Si la medida μ es de Bernoulli, con vector de probabilidad p = (p(1), p(2), …, p(m)), entonces

H(P_{n}) = − ∑_{i_{1}=1}^{m} ∑_{i_{2}=1}^{m} … ∑_{i_{n}=1}^{m} μ(C(i_{1}, i_{2}, …, i_{n})) log μ(C(i_{1}, i_{2}, …, i_{n}))

= − ∑_{i_{1}=1}^{m} ∑_{i_{2}=1}^{m} … ∑_{i_{n}=1}^{m} p(i_{1})p(i_{2}) … p(i_{n}) log p(i_{1})p(i_{2}) … p(i_{n}) =

= − ∑_{j=1}^{n} ∑_{i_{1}=1}^{m} … ∑_{i_{j}=1}^{m} … ∑_{i_{n}=1}^{m} p(i_{1}) … p(i_{j}) … p(i_{n}) log p(i_{j})

Como ∑_{i=1}^{m} p(i) = 1, se tiene:

H(P_{n}) = − ∑_{j=1}^{n} ∑_{i_{j}=1}^{m} p(i_{j}) log p(i_{j}) = −n ∑_{i=1}^{m} p(i) log p(i)

Dividiendo entre n y haciendo n tender a infinito, se tiene

h_{μ}(T) = h(T, P) = − ∑_{i=1}^{m} p(i) log p(i)

Veamos que, entre las medidas que son de Bernoulli, la que da mayor entropía métrica es la que tiene vector de probabilidad p = (1/m, 1/m, …, 1/m), y que el shift con esa medida de Bernoulli equidistribuida tiene entropía métrica igual a log m.

En efecto, para el vector de probabilidad (1/m, 1/m, …, 1/m), la entropía métrica es

−m\frac{1}{m} log \frac{1}{m} = log m

Para cualquier otro vector de probabilidad, usando la función ϕ(x) = −x log x, y la desigualdad de Jensen, se tiene

h_{μ}(T) = ∑_{i=1}^{m} ϕ(p_{i}) = m ∑_{i=1}^{m} ϕ(p_{i})/m ≤ mϕ (∑_{i=1}^{m} p_{i}/m) = mϕ(1/m) = log m

Ejercicio:

Probar que la entropía métrica del shift de Bernoulli bilateral es − ∑_{i=1}^{m} p_{i} log p_{i} Ejercicio: Probar que la emtropía métrica del shift de Markov de vector p = (p_{1}, p_{2}, …, p_{n}) y matriz

P = (P_{ij}) es − ∑_{i=1}^{m} ∑_{j=1}^{m} p_{i}P_{ij} log P_{ij}.

Ejemplo: La entropía métrica de la transformación T (z) = z^{k}, con k natural mayor o igual que 2, en el círculo S^{1} = {z ∈ I C : |z| = 1}, para la medida de Lebesgue, es log k. En efecto, vimos que T es equivalente por isomorfismo de espacios de medida al shift de Bernoulli con k símbolos, y con vector de probabilidad (1/k, …, 1/k).

Ejemplo: La herradura de Smale tiene entropía métrica, respecto a la medida de Bernoulli de vector de probabilidad (1/2, 1/2), igual a log 2. En efecto, es conjugada al shift bilateral de 2 símbolos.

5 Entropía topológica.

En lo que sigue, T : X ↦ X será una transformación continua en un espacio métrico compacto X.

Definición 5.1 Sean n natural ≥ 1 y ϵ > 0 real, dados.

Dos puntos x e y de X se (ϵ, n)- acompañan si d(T^{j}(x), T^{j}(y)) < ϵ para todo j = 0, 1, …, n−1. Dos puntos x e y de X se (ϵ, n)-separan si no se (ϵ, n)-acompañan. Es decir, existe algún

j = 0, 1, …, n − 1 tal que d(T^{j}(x), T^{j}(y)) ≥ ϵ.

Un subconjunto E de X es un (ϵ, n)- generador si dado x ∈ X existe algún y ∈ E tal que x e y se (ϵ, n)-acompañan.

Un subconjunto no vacío S de X es un (ϵ, n)-separador si dos puntos x e y de S, diferentes, se (ϵ, n)-separan

Usaremos la siguiente notación: ♯A = cantidad de elementos del conjunto A ∈ [0, ∞].

Proposición 5.2 Dado ϵ > 0 existe M = M(ϵ) ≥ 1 tal que para todo n ≥ 1 existe un (ϵ, n)- generador E con ♯E ≤ M^{n}.

Prueba: Sea V un cubrimiento finito de X con bolas abiertas de radio ϵ/2, formado por, digamos, M bolas.

Dada una n-upla (V_{0}, V_{1}, …, V_{n−1}) de bolas de V, elijamos, cuando no es vacío, un y solo un punto en el conjunto ∩_{j=0}^{n−1}T^{−j}V_{j}. Sea E el conjunto de los puntos así elegidos. Se tiene ♯E ≤ M^{n}.

Veamos que E es un (ϵ, n)-generador. En efecto, dado x ∈ X, existe para cada j = 0, 1, …, n− 1, algún V_{j} del cubrimiento V que contiene al punto T^{j}(x). Luego x ∈ ∩_{j=0}^{n−1}T^{−j}V_{j} ≠ ∅, y existe y ∈ E en el mismo conjunto intersección. Entonces, d(T^{j}(x), T^{j}(y)) < diamV_{j} = ϵ para todo j = 0, 1, …, n − 1.

Definición 5.3 Como consecuencia de la proposición anterior, existe, para todo ϵ > 0 y todo n ≥ 1, el número natural

r(ϵ, n) = min{♯E : E es un (ϵ, n)-generador } ≤ M(ϵ)^{n}

Además

r(ϵ, n) ≥ 1

Consecuencias:

Existe, para todo ϵ > 0, el número real

lim sup_{n→∞} \frac{log r(ϵ, n)}{n} ≥ 0

Esta expresión decrece cuando ϵ crece. En efecto, si ϵ′ < ϵ, todo (ϵ′, n)-generador es un (ϵ, n)- generador. Entonces r(ϵ′, n) ≥ r(ϵ, n). Calculando el logaritmo, dividiendo entre n, y tomando el límite superior cuando n tiende a infinito, se mantiene la desigualdad.

Luego,

lim_{ϵ→0} lim sup_{n→∞} \frac{log r(ϵ, n)}{n} = sup_{ϵ>0} lim sup_{n→∞} \frac{log r(ϵ, n)}{n} ∈ [0, ∞]

Proposición 5.4 Si S es un (ϵ, n)-separador y E es un (ϵ/2, n)-generador, entonces ♯S ≤ ♯E.

Prueba: Veamos que puede establecerse una correspondencia inyectiva que va de S a E. Dado x ∈ S, como E es un (ϵ/2, n)-generador, existe y ∈ E tal que x e y se (ϵ/2, n)-acompañan. La correspondencia así establecida de S a E es inyectiva, pues si no lo fuera, existirían x ≠ z

en S que son (ϵ/2, n)- aompañados por el mismo x ∈ E. Entonces, por la propiedad triangular de la distancia, los puntos x y z se (ϵ, n) acompañan entre sí. Esto contradice la hipótesis de que S es un (ϵ, n)- separador.

Definición 5.5 Como consecuencia de la proposición anterior, existe para todo ϵ > 0 y todo n ≥ 1 el número natural

s(ϵ, n) = max{♯S : S es un (ϵ, n)-separador } ≤ r(ϵ/2, n) ≤ M(ϵ/2)^{n}

Además

s(ϵ, n) ≥ 1

Consecuencias:

Existe, para todo ϵ > 0, el número real

lim sup_{n→∞} \frac{log s(ϵ, n)}{n} ≥ 0

Esta expresión decrece cuando ϵ crece. En efecto, si ϵ > ϵ′, todo (ϵ, n)-separador es un (ϵ′, n)- separador. Entonces s(ϵ, n) ≤ s(ϵ′, n). Calculando el logaritmo, dividiendo entre n, y tomando el límite superior cuando n tiende a infinito, se mantiene la desigualdad.

Luego,

lim_{ϵ→0} lim sup_{n→∞} \frac{log s(ϵ, n)}{n} = sup_{ϵ>0} lim sup_{n→∞} \frac{log s(ϵ, n)}{n} ∈ [0, ∞]

Proposición 5.6 Si S es un (ϵ, n)-separador con la cantidad máxima de elementos, entonces también es un (ϵ, n)-generador.

Prueba: Por absurdo, supongamos que existe x ∈ X tal que para todo y ∈ S, los puntos x e y no se (ϵ, n)-acompañan. Entonces agregando el punto x al conjunto S se tiene otro (ϵ, n)-separador, con más elementos que S.

Consecuencias:

r(ϵ, n) ≤ s(ϵ, n) ≤ r(ϵ/2, n)

lim_{ϵ→0} lim sup_{n→∞} \frac{log s(ϵ, n)}{n} = lim_{ϵ→0} lim sup_{n→∞} \frac{log r(ϵ, n)}{n} ∈ [0, ∞]

Definición 5.7 Se llama entropía topológica de la transformación T a

h(T) = lim_{ϵ→0} lim sup_{n→∞} \frac{log s(ϵ, n)}{n} = sup_{ϵ>0} lim sup_{n→∞} \frac{log s(ϵ, n)}{n}

= lim_{ϵ→0} lim sup_{n→∞} \frac{log r(ϵ, n)}{n} = sup_{ϵ>0} lim sup_{n→∞} \frac{log r(ϵ, n)}{n} ∈ [0, ∞]

El siguiente teorema, cuya demostración no incluiremos, pero puede encontrarse en R. Mañé: Teoría Ergódica, vincula la entropía métrica con la entropía topológica:

Teorema 5.8 (Principio variacional de la entropía) La entropía topológica de la transformación T continua, del espacio métrico compacto X, es el supremo de las entropías métricas de T para las medidas de probabilidad en los borelianos de X que son T invariantes.

h(T) = sup{h_{μ}(T) : μ ∈ M_{T} (X)}

Interpretación de la entropía topológica

Por un lado, h(T) > 0 si y solo si para alguna medida μ que sea T -invariante, la entropía métrica h_{μ}(T) > 0. Ya dimos un significado heurístico a la entropía métrica, como el grado de desorden que provoca T en el espacio.

Demos ahora otra interpretación: Decimos que estudiamos la dinámica con error ϵ > 0 si no distinguimos puntos del espacio que distan menos que ϵ. Así, si x e y se (ϵ, n) acompañan, no distinguiremos la órbita de x de la de y, por lo menos hasta tiempo n.

Luego s(ϵ, n) es el número máximo de órbitas distinguibles hasta tiempo n con error ϵ. Es el número de datos necesarios para describir la dinámica del sistema hasta tiempo n con error ϵ.

La entropía topológica positiva, quiere decir que el número de datos necesarios para describir la dinámica con error pequeño, crece exponencialmente con el tiempo n.

Veamos que la entropía topológica es invariante por conjugaciones. Es entonces un invariante topológico.

Definición 5.9 Sean T_{1} : X_{1} ↦ X_{1} y T_{2} : X_{2} ↦ X_{2} transformaciones continuas en espacios métricos compactos.

Se dice que T_{1} es semiconjugada con T_{2} si existe f : X_{1} ↦ X_{2} continua y sobreyectiva que cumple f ∘ T_{1} = T_{2} ∘ f.

Se dice que T_{1} es conjugada con T_{2} si existe f : X_{1} ↦ X_{2} homeomorfismo que cumple f ∘ T_{1} = T_{2} ∘ f.

Se observa que cuando dos transformaciones son conjugadas, cada una de ellas es semiconjugada con la otra.

Nótese que f ∘ T_{1} = T_{2} ∘ f implica f ∘ T_{1}^{j} = T_{2}^{j} ∘ f , para todo j ≥ 0.

Teorema 5.10 Si T_{1} es semiconjugada con T_{2} entonces h(T_{1}) ≥ h(T_{2}).

Si T_{1} es conjugada con T_{2} entonces h(T_{1}) = h(T_{2}).

Prueba: La primera afirmación implica la segunda. Sea f : X_{1} ↦ X_{2} continua y sobreyectiva, según la definición de semiconjugación. Como f es sobreyectiva, existe g : X_{2} ↦ X_{1}, inversa a la derecha de f. Luego g es inyectiva. Como f es continua, dado ϵ > 0, existe δ > 0 tal que d(x, y) < δ en X_{1} implica d(f(x), f(y)) <

ϵ en X_{2}.

Como f ∘ T_{1}^{j} = T_{2}^{j} ∘ f , para todo j ≥ 0, todo (ϵ, n)-separador en X_{2} para T_{2}, es transformado por g en un (δ, n)-separador en X_{1} para T_{1}. Luego:

s_{2}(ϵ, n) = max{♯S : S es un (ϵ, n)-separador en X_{2} para T_{2}}
≤ max{♯S : S es un (δ, n)-separador en X_{1} para T_{1}} = s_{1}(δ, n)

Entonces, para todo ϵ > 0:

lim sup_{n→∞} \frac{log s_{2}(ϵ, n)}{n} ≤ lim sup_{n→∞} \frac{log s_{1}(δ, n)}{n} ≤ sup_{ρ>0} lim sup_{n→∞} \frac{log s_{1}(ρ, n)}{n} = h(T_{1})

Haciendo ϵ tender a cero:

h(T_{2}) ≤ h(T_{1})

Proposición 5.11 Si A ⊂ X es compacto e invariante para adelante (esto es T (A) ⊂ A), entonces

h(T) ≥ h(T |_{A})

Prueba: Todo (ϵ, n) separador para T |_{A} es un (ϵ, n) separador para T. Entonces

s_{A}(ϵ, n) = max{♯S : S es un (ϵ, n)-separador para T |_{A}}
≤ max{♯S : S es un (ϵ, n)-separador para T } = s(ϵ, n)

Por definición de entropía topológica, lo anterior implica la tesis. Veamos una condición muy utilizada para demostrar que una transformación tiene entropía

topológica positiva:

Definición 5.12 Un transformación T : X ↦ X contiene una herradura si existe un compacto A invariante hacia adelante tal que T |_{A} es semiconjugada con la herradura de Smale.

Corolario 5.13 Si una transformación contiene una herradura, entonces tiene entropía topológica mayor o igual que log 2.

Prueba: Para la medida de Bernoulli con vector de probabilidad (1/2, 1/2), la herradura de Smale σ tiene entropía métrica igual a log 2. Por el principio variacional de la entropía, la entropía topológica de la herradura de Smale es mayor o igual que log 2.(Mas adelante veremos que es igual a log 2).

Luego

h(T) ≥ h(T |_{A}) ≥ h(σ) ≥ log 2

El siguiente teorema muestra como la entropía topológica crece al iterar T:

Teorema 5.14 Sea T continua en un espacio métrico compacto. Se cumple:

1. h(T^{m}) = mh(T) para todo m ≥ 1.

2. Si T es un homeomorfismo, entonces h(T^{−1}) = h(T) y h(T^{−m}) = mh(T) para todo m ≥ 1.

Prueba:

1) Todo (ϵ, n)-separador de T^{m} es un (ϵ, mn)-separador de T. Entonces:

s_{m}(ϵ, n) = max{♯S : S es un (ϵ, n)-separador para T^{m}}
≤ max{♯S : S es un (ϵ, mn)-separador para T } = s(ϵ, mn)

Luego:

lim sup_{n→∞} \frac{log s_{m}(ϵ, n)}{n} ≤ lim sup_{n→∞} \frac{m log s(ϵ, mn)}{mn} ≤ m lim sup_{k→∞} \frac{log s(ϵ, k)}{k}

Tomando ϵ → 0, se obtiene:

h(T^{m}) ≤ mh(T)

Para probar la desigualdad contraria, usemos la definición de entropía topológica basada en los generadores.

Dado ϵ > 0, por la continuidad de T, sea δ > 0 tal que, si d(x, y) < δ, entonces, para j = 0, 1, …, m − 1, se cumple d(T^{j}(x), T^{j}(y)) < ϵ.

Todo (δ, n)-generador para T^{m} será un (ϵ, mn + j)-generador para T. Luego

r_{m}(δ, n) = min{♯E : E es un (δ, n)-generador para T^{m}}
≥ min{♯E : E es un (ϵ, mn + j)-generador para T } = r(ϵ, mn + j)

r_{m}(δ, n) ≥ max_{0≤j≤m−1} r(ϵ, mn + j)

Luego, para todo ϵ > 0, se cumple:

h(T^{m}) = sup_{ρ>0} lim sup_{n→∞} \frac{log r_{m}(ρ, n)}{n} ≥ lim sup_{n→∞} \frac{log r_{m}(δ, n)}{n}

≥ lim sup_{n→∞} \frac{log (max\{r(ϵ, mn + j) : 0 ≤ j ≤ m − 1\})}{n}

≥ lim sup_{N→∞} \frac{log r(ϵ, N)}{ent (N/m)} = m lim sup_{N→∞} \frac{log r(ϵ, N)}{N}

Haciendo ϵ → 0, se tiene

h(T^{m}) ≥ mh(T)

2) Todo (ϵ, n)-generador de T es transformado por T^{n−1} en un (ϵ, n)- generador de T^{−1}, con la misma cantidad de elementos. Y recíprocamente, todo (ϵ, n)-generador de T^{−1}, es transformado por T^{−(n−1)} en un (ϵ, n)-generador de T.

Luego la cantidad mínima de elementos de los (ϵ, n)-generadores de T y de T^{−1} son iguales. Por definición de entropía topológica, h(T^{−1}) = h(T).

La última igualdad es una consecuencia inmediata de las anteriores.

6 Ejemplos de cálculo de la entropía topológica

1: La entropía topológica del shift de m símbolos es log m.

Demostrémoslo para el shift unilateral σ. Se deja como ejercicio, adaptar la prueba, para verificar que lo mismo vale para el shift bilateral.

1a. parte) h(σ) ≥ log m. Usando la entropía métrica del shift de Bernoulli y el principio variacional de la entropía, se deduce esta desigualdad. Pero, ya que no demostramos este principio, probemos la desigualdad directamente a partir de la definición de entropía topológica.

Elijamos para cada n ≥ 1 un conjunto S formado por un y solo un punto en cada cilindro C(a_{0}, a_{1}, …, a_{n−1}). Se tiene ♯S = m^{n}, y S es un (ϵ, n)-separador, para todo ϵ > 0, ϵ < 1. En efecto: x ≠ y ∈ S implica que existe j = 0, 1, …, n − 1 tal que x_{j} ≠ y_{j}. Luego:

d(σ^{j}x, σ^{j}y) = ∑_{i=1}^{∞} \frac{|x_{i+j} − y_{i+j}|}{λ^{i}} ≥ |x_{j} − y_{j}| ≥ 1 > ϵ

Entonces s(ϵ, n) ≥ m^{n} para todo ϵ < 1, de donde h(σ) ≥ log m. 2a. parte) h(σ) ≤ log m. Dado ϵ > 0 sea N tal que todos los cilindros de radio N tienen diámetro menor que ϵ. Elijamos para cada n > N un conjunto E formado por un y solo un punto en cada cilindro C(a_{0}, a_{1}, …, a_{n−1}). Se tiene ♯E = m^{n}, y E es un (ϵ, n − N)-generador, para todo ϵ > 0. En efecto: dado x ∈ B(m), existe y ∈ E en el cilindro C(x_{0}, x_{1}, …, x_{n−1}). Luego, para todo j = 0, 1, …, n − N, los puntos σ^{j}x y σ^{j}y están en el cilindro C(x_{j}, …, x_{n−1}) de radio n − j ≥ N. Entonces están en el mismo cilindro de radio N, y distan menos que ϵ. Los puntos x e y se (ϵ, n − N)-acompañan. Concluimos que r(ϵ, n − N) ≤ m^{n}, de donde

lim sup_{n→∞} \frac{log r(ϵ, n − N)}{n − N} ≤ lim_{n→∞} \frac{n}{n − N} log m = log m

Luego h(σ) ≤ log m.

2: La entropía topológica de la herradura de Smale (con 2 patas) es log 2. La herradura de Smale (con dos patas) es conjugada al shift bilateral de dos símbolos, que tiene entropía topológica log 2. La entropía topológica es invariante por conjugaciones.

3: La entropía topológica de la transformación T (z) = z^{k} en el círculo S^{1}, es log k. La entropía métrica para la medida de Lebesgue es log k, porque T es equivalente, por isomorfismo de espacios de medida, al shift de Bernoulli con vector de probabilidad (1/k, …, 1/k). Luego h(T) ≥ log k, por el principio variacional de la entropía. Pero veámoslo directamente, usando separadores: Dado n ≥ 1, sea S el conjunto de puntos extremos de 2k^{n} intervalos iguales en S^{1}, de longitud 1/2k^{n} cada uno. Se tiene ♯S = 2k^{n}, y S es un (ϵ, n) separador para todo ϵ < 1/2k. En efecto, dos puntos x ≠ y ∈ S, distan por lo menos 1/2k^{n}. Aplicando T, la distancia, mientras sea menor que 1/2k, se multiplica por k. Luego, para algún j = 0, 1, …, n − 2 se cumple d(T^{j}x, T^{j}y) ≥ 1/2k, o de lo contrario

d(T^{n−1}x, T^{n−1}y) = k^{n−1} d(x, y) ≥ \frac{k^{n−1}}{2k^{n}} = \frac{1}{2k} > ϵ

Luego s(ϵ, n) ≥ 2k^{n}, y aplicando la definición de entropía topológica, se tiene h(T) ≥ log k. Ahora demostremos que h(T) ≤ log k. Dado ϵ > 0, dividamos S^{1} en M = M(ϵ) intervalos iguales de longitud 1/M < ϵ. Dado n ≥ 1, dividamos cada intervalo en k^{n} intervalitos iguales de longitud < ϵ/k^{n}. Sea E el conjunto de puntos extremos de esos intervalitos. Se tiene ♯E = Mk^{n}. Afirmamos que E es un (ϵ, n)-generador. En efecto, dado x ∈ S^{1}, sea y ∈ E el punto mas próximo a x. Para todo j = 0, 1, …, n − 1 se cumple:

d(T^{j}x, T^{j}y) ≤ k^{j} d(x, y) ≤ \frac{k^{j}ϵ}{k^{n}} < ϵ

Luego, r(ϵ, n) ≤ Mk^{n}. Aplicando la definición de entropía topológica, se deduce h(T) ≤ log k.

4: La entropía topológica de cualquier traslación en el toro es nula. La traslación T en el toro conserva la distancia. Dado ϵ sea V un cubrimiento del toro con M = M(ϵ) bolas de radio ϵ. Sea E el conjunto de centros de las bolas de V. Se tiene ♯E = M. Además E es un (ϵ, n)- generador, para todo n ≥ 1. En efecto, dado x en el toro, existe alguna bola de V que contiene a x. Luego, existe algún y ∈ E, tal que d(x, y) < ϵ. Pero como al aplicar T no se modifica la distancia, se tiene d(T^{j}x, T^{j}y) < ϵ para todo j ≥ 0. De lo anterior se deduce que 1 ≤ r(ϵ, n) ≤ M independiente de n. Luego, tomando logaritmo, y dividiendo entre n, su límite es cero, para todo ϵ > 0. Luego h(T) = 0. Nótese que lo anterior demuestra que la entropía topológica de cualquier isometría en un espacio métrico compacto es nula.

5: La entropía topológica de cualquier homeomorfismo T del círculo S^{1} es nula. Consideraremos el círculo S^{1} como el cociente IR/ ∼, con x ∼ y en IR si y − x es entero. Orientaremos el círculo, según valores crecientes de x en IR. Basta demostrar la tesis asumiendo que T preserva la orientación del círculo. En efecto, como h(T^{2}) = 2h(T), si T no preserva la orientación de S^{1}, podemos sustituirlo por T^{2} que preserva la orientación. Sea dado ϵ positivo, ϵ < 1/2. Sea F el conjunto de puntos extremos de M = M(ϵ) intervalos iguales en S^{1}, de longitud 1/M < ϵ cada uno. Tenemos que F es un (ϵ, 1) generador tal que, dado x ∈ S^{1}, existe y ≥ x, y ∈ F tal que y − x < ϵ. Demostremos que para todo n ≥ 1 existe un (ϵ, n)-generador con a lo sumo nM elementos, y tal que dado x ∈ S^{1}, existe y ≥ x, y ∈ E tal que para todo j = 0, 1, …, n − 1 se cumple 0 ≤ T^{j}y − T^{j}x < ϵ. La demostración se hará por inducción en n:

Sea E un (ϵ, n) -generador que cumple lo anterior.

Afirmamos que E∪T^{n}F es un (ϵ, n+1)-generador que también cumple lo anterior. En efecto, dado x ∈ S^{1}, sea y ≥ x, y ∈ E tal que, para j = 0, 1, …, n − 1 se cumple T^{j}y − T^{j}x < ϵ. Ahora, hay dos posibilidades:

1) o bien T^{n}y − T^{n}x < ϵ, en cuyo caso, x e y se (ϵ, n + 1)-acompañan,

2) o bien T^{n}y − T^{n}x ≥ ϵ. En este caso, existe z ∈ F tal que T^{n}x ≤ z < T^{n}y y z − T^{n}x < ϵ. Como T preserva la orientación, para todo i = 0, 1, …, n se cumple T^{n−i}x ≤ T^{−i}z < T^{n−i}y; luego T^{−i}z−T^{n−i}x < T^{n−1}y−T^{n−i}x < ϵ. Entonces, el punto T^{n}z ∈ T^{n}F (ϵ, n+1)-acompaña a x.

Como ♯(E ∪ T^{n}F) ≤ ♯E + M ≤ (n + 1)M, se tiene demostrada la afirmación.

Entonces r(ϵ, n) ≤ nM. Tomando logaritmo y dividiendo entre n, su límite, cuando n → ∞ es cero. Luego h(T) = 0.

6: La entropía topológica del [ \begin{matrix}2 & 1 \\ 1 & 1 \end{matrix} ] en el toro es log (\frac{3+\sqrt{5}}{2}).

El toro T^{2} es el cociente R^{2}/ ∼ con la relación de equivalencia x ∼ y si x − y ∈ ZZ^{2}. Denotamos como π(x) o como \overline{x} al punto del toro que es la clase de equivalencia de x ∈ IR^{2}.

La distancia entre dos puntos \overline{x} y \overline{y} en el toro es igual a la mínima distancia en IR^{2} de sus representantes x e y. Luego d(\overline{x}, \overline{y}) ≤ d(x, y), para todos x e y en IR^{2}. Pero además, si d(x, y) < 1/2 entonces d(\overline{x}, \overline{y}) = d(x, y).

Llamando A a la matriz [ \begin{matrix}2 & 1 \\ 1 & 1 \end{matrix} ], se tiene T (\overline{x}) = π(Ax).

Sean λ = (3 + \sqrt{5})/2 > 1 y μ = (3 − \sqrt{5}/2) < 1 los dos valores propios de A. Sean u y v dos vectores propios de A de valores propios respectivos λ y μ. En IR^{2}, la dirección de u, que se dilata con factor λ > 1, se llama inestable, y la dirección de v, que se contrae con factor μ < 1, se llama estable.

Para comprender la prueba que sigue, por favor vaya dibujando en IR^{2} los conjuntos que se definen:

1a. parte: Prueba de h(T) ≥ log λ.

Dado ϵ > 0, ϵ < 1/2λ, sea I un segmento en IR^{2}, según la dirección inestable, con longitud igual a ϵ. Como su longitud es menor que 1/2, se proyecta inyectivamente en el toro. Dado n ≥ 1 se partirá I en s partes iguales, donde s = ent(λ^{n}). La longitud de cada subintervalo obtenido es ϵ/s ≥ ϵ/λ^{n}. Sea S el subconjunto formado por los s + 1 puntos extremos de los subintervalos construidos en I. Se tiene ♯S = ent(λ^{n}) + 1 ≥ λ^{n}. Afirmamos que π(S) es un (ϵ, n + 1)-separador en el toro. En efecto, aplicando A a dos puntos x e y diferentes de S, como son extremos de un segmento con la dirección inestable, se alejarán multiplicando su distancia por λ > 1. Luego d(A^{n}x, A^{n}y) = λ^{n} d(x, y) ≥ ϵ. Pero esa distancia es en IR^{2} y no en el toro. Para ver que se distancian por lo menos ϵ al aplicar T en el toro, tomemos el primer J ≥ 0 tal que en el plano d(A^{J}x, A^{J}y) ≥ ϵ. Se tiene 0 ≤ J ≤ n. Si J = 0, entonces d(x, y) = ϵ < 1/2, porque la longitud de I es ϵ. Entonces, en el toro d(\overline{x}, \overline{y}) = d(x, y) = ϵ. Si J ≥ 1, entonces d(A^{J−1}x, A^{J−1}y) < ϵ < 1/2λ. Al aplicar A una vez más, la distancia se multiplica por λ, luego d(A^{J}x, A^{J}y) < 1/2, y se tiene:

d(T^{J} \overline{x}, T^{J} \overline{y}) = d(A^{J}x, A^{J}y) ≥ ϵ

Esto prueba que π(S) es un (ϵ, n + 1) separador en el toro. Entonces s(ϵ, n + 1) ≥ ♯π(S) = ♯S ≥ λ^{n}. Tomando logaritmo, dividiendo entre n y haciendo tender n a infinito, se tiene h(T) ≥ log λ.

2a. parte: Prueba de h(T) ≤ log λ. Sea dado ϵ > 0, ϵ < 1/2. Sea en IR^{2} un cuadriculado formado por infinitas rectas paralelas a la dirección inestable, e infinitas rectas paralelas a la dirección estable, tales que los lados de los rombitos que forman sean exactamente ϵ/2. Sea Q el conjunto (finito) de los vértices del cuadriculado que están en el rectángulo [−2, 3]^{2}. Sea q = ♯Q. Dado n ≥ 1 dividamos cada lado inestable de los rombitos en r segmentos iguales con r = ent(λ^{n}) + 1. Los lados estables no los dividimos. Cada subintervalo inestable así obtenido tiene longitud ϵ/2r < ϵ/2λ^{n}.

Sea E el conjunto finito de los puntos extremos de los intervalos así construidos, que están en el rectángulo [−1, 2]^{2}. Se tiene ♯E ≤ rq ≤ (λ^{n} + 1)q. El conjunto π(E) en el toro tiene a lo sumo (λ^{n} + 1)q puntos, con q independiente de n. Afirmamos que π(E) es un (ϵ, n)-generador. En efecto, dado \overline{x} ∈ T^{2}, sea x ∈ IR^{2} su único representante en [0, 1)^{2}. Sea y ∈ E el punto mas próximo de x. Tracemos la recta estable por x y la inestable por y, que se cortan en z. Por construcción, el segmento [x, z] es estable y su longitud es menor que ϵ/2. Análogamente el segmento [z, y] es inestable y su longitud es menor que ϵ/2λ^{n}. Aplicando la matriz A, los segmentos inestables se multiplican por λ > 1 y los estables por μ < 1, de donde, en IR^{2} se obtiene:

d(A^{j}x, A^{j}y) ≤ d(A^{j}x, A^{j}z) + d(A^{j}z, A^{j}y) = μ^{j} d(x, z) + λ^{j} d(z, y)

≤ d(x, z) + \frac{λ^{j}}{λ^{n}} \frac{ϵ}{2} < \frac{ϵ}{2} + \frac{ϵ}{2} = ϵ

si j = 0, 1, …, n − 1. Como d(T^{j}\overline{x}, T^{j}\overline{y}) ≤ d(A^{j}x, A^{j}y), el conjunto π(E) es un (ϵ, n)- generador. Entonces r(ϵ, n) ≤ (λ^{n} + 1)q. Tomando logaritmo, dividiendo entre n y haciendo n → ∞ se obtiene h(T) ≤ log λ.