Fuentes de informacin discreta con memoriaLa aparicin de los smbolos no es estadsticamente independiente. Es decir, si han aparecido M-1 smbolos, el smbolo M-simo est condicionado por los anteriores.El estudio de las fuentes con memoria es algo ms complejo que el de las fuentes sin memoria, por lo que no vamos a entrar en detalles. Contrastaremos los resultados tericos con los resultados de una simulacin.En una fuente con memoria los smbolos no son estadsticamente independientes, es decir, .Se puede ver que se va a producir una reduccin de la informacin entregada por la fuente, ya que una vez que han aparecido M-1 smbolos, el smbolo M-simo va a depender de los anteriores, por lo que contendr menor informacin que si fuese independiente.Supongamos que tenemos dos fuentes con el mismo alfabeto y la misma probabilidad de aparicin de cada smbolo. HM(S)sin memoria y HM(S)con memoria son las entropas de la fuente sin memoria y con memoria con agrupaciones de M smbolos respectivamente. En la fuente con memoria hay una reduccin de la entropa respecto de la fuente con memoria, de tal manera que se cumple que:HM(S)sin memoria > HM(S)con memoriaLa entropa (normalizada) de la fuente con memoria se puede definir como:

Como vemos, la entropa normalizada de una fuente con memoria no es independiente del alfabeto elegido. De hecho, agrupaciones grandes de smbolos siempre proporcionan una entropa menor que agrupaciones menores. El valor ms pequeo (cuando las agrupaciones son de smbolos) es la entropa de la fuente con memoria.4.1. - Interpretacin de la simulacin de una fuente con memoriaEn este ejemplo vamos a simular una fuente con memoria que entrega dos smbolos que llamaremos {0, 1} (fuente binaria) y cada smbolo est condicionado slo por el anterior. Podemos caracterizar la fuente, en funcin de las probabilidades condicionadas:

Podemos calcular la entropa normalizada de esta fuente con memoria de la siguiente manera. Las siguientes expresiones se pueden aplicar a una fuente con un nmero cualquiera de smbolos, en que cada smbolo slo dependa del anterior:

La segunda ecuacin nos da la entropa de la fuente conociendo el smbolo que acaba de entregar. De esta manera, para cada smbolo, se tiene en cuenta la dependencia con el smbolo anterior. As la formula comprende el efecto de la reduccin de informacin debido a la memoria.La entropa total de la fuente ser el valor medio de las entropas condicionadas, como se muestra en la primera ecuacin.Aplicando estas ecuaciones para nuestro caso, obtenemos el siguiente resultado:

En la simulacin de la fuente hemos estimado los siguientes parmetros finales:

Siendo la entropa normalizada para agrupaciones de M smbolos.El resultado ms importante es que las entropas son decrecientes con M, y tienden asintticamente a , resultado que habamos visto en teora.