clase1 introducion teoria informacion y codificacion
TRANSCRIPT
TEORÍA DE LA INFORMACIÓN
Y CODIFICACIÓN
INTRODUCCIÓN
Profesora: Evelia Daniel
1
A partir de la acelerada difusión y especialización que experimentan los medios de comunicación en el procesamiento y transmisión de información durante la primera mitad de nuestro siglo, se desarrolla el primer modelo científico del proceso de comunicación conocido como la Teoría de la Información o Teoría Matemática de la Comunicación.
Específicamente, se desarrolla en el área de la telegrafía donde surge la necesidad de determinar, con la máxima precisión, la capacidad de los diferentes sistemas de comunicación para transmitir información.
2
ORIGENES DE LA TEORIA DE
LA INFORMACIÓN
APORTES DE NYQUIST
– En 1924 Nyquist publica un articulo en el que
se demuestra que una señal continua en el
tiempo y confinada en una banda puede
describirse unívocamente de forma
discretizada temporalmente, si la frecuencia
de muestreo es el doble de su ancho de banda
3
ORIGENES DE LA TEORIA DE
LA INFORMACIÓN
ESTUDIOS DE HARLEY– En 1928 Hartley especula con la idea de que el
contenido de información debería depender directamente del logaritmo de la probabilidad del mensaje correspondiente. Sin embargo esos intentos de definir la información en términos probabilísticos tenían algo de extraño, casi de antinatural, ya que en la vida ordinaria, no es la incertidumbre sino la certeza en el conocimiento de determinada materia lo que se asocia con la información, o al menos así parece ser.
4
ORIGENES DE LA TEORIA DE
LA INFORMACIÓN
LA CIBERNÉTICA DE NORBERT
WIENER(1948)
– En sus estudios se ocupo del problema de la
extracción de la información de señales, que
en parte o totalmente, se encontraban fuera
del control del diseñador. Con su trabajo dio
origen a la teoría de la detección y de la
decisión estadística.
5
ORIGENES DE LA TEORIA DE
LA INFORMACIÓN
TEORÍA MATEMÁTICA DE LAS COMUNICACIONES DE CAUDE E. SHANNON (1948)
– Se planteo el siguiente problema: Dado un conjunto de posibles mensajes que una fuente puede producir, no de nuestra elección, ¿Cómo podemos representar de la mejor forma el mensaje para llevar la información a través de un sistema dado con sus limitaciones físicas inherentes?. La consecución de respuestas a esta pregunta le llevo a consolidar su teoría matemática de las comunicaciones con plena validez hoy.
6
El trabajo de Shannon se centró en algunos de los siguientes problemas que surgen en los sistemas destinados a manipular información:
– cómo elaborar los mejores métodos para utilizar los diversos sistemas de comunicación;
– cómo establecer el mejor método para separar las señales del ruido
– y cómo determinar los límites posibles de un canal
7
ORIGENES DE LA TEORIA DE
LA INFORMACIÓN El nombre de Shannon se asocia a dos teoremas que tuvieron una grandísima
importancia en el desarrollo de la ciencia de la computación y en las comunicaciones digitales.
El primero señala que el número de bits necesarios para describir unívocamente una fuente de información puede aproximarse al correspondiente contenido de información tanto como se desee (teorema de codificación de la fuente).
El segundo teorema declara que el ratio de errores de los datos transmitidos en un canal confinado y con ruido puede reducirse a una cantidad arbitrariamente pequeña si la velocidad de transmisión es menor que la capacidad del canal (teorema de la codificación del canal). Los dos se dan como resultado del estudio de los trabajos de Hartley y Nyquist. Una introducción a su trabajo se publicó en 1948 en un artículo de la revista Bell System Technical Journal, con un título prometedor: "Una Teoría Matemática de la Comunicación".
8
El trabajo de Shannon se titula The Mathematical Theory of Communication, y el de Weaver Recent Contributions to the Mathematical Theory of Communication. En conjunto dieron lugar a un pequeño libro que tomó el título del primero de ellos. De este modo, la unión de dos textos y de dos disciplinas diferentes produjo una obra de referencia duradera en el campo de la comunicación. Lo habitual es que se aluda a estas concepciones como el modelo de Shannon y Weaver o como la teoría de la información.
9
La primera formulación de las leyes
matemáticas que gobiernan dicho sistema
fue realizada por Hartley (1928) y sus ideas
son consideradas actualmente como la
génesis de la Teoría de la Información.
Posteriormente, Shannon y Weaver (1949)
desarrollaron los principios definitivos de
esta teoría
10
El modelo comunicacional desarrollado por
Shannon y Weaver se basa en un sistema de
comunicación general que puede ser
representado de la siguiente manera
11
MODELO COMUNICACIONAL
12
NIVELES DE ANÁLISIS O
PROBLEMAS QUE SURGEN EN EL
PROCESO DE COMUNICACIÓN
En el nivel técnico se analizan aquellos problemas que surgen en torno a la fidelidad con que la información puede ser transmitida desde el emisor hasta el receptor. Relativos a la exactitud, confiabilidad, velocidad de transmisión
En el semántico se estudia todo aquello que se refiera al significado del mensaje y su interpretación. Están dirigidos a las investigaciones que pretenden resolver el problema de cómo es posible transmitir exactamente el significado del mensaje con ayuda de textos.
Por último, en el nivel pragmático se analizan los efectos conductuales de la comunicación, la influencia o efectividad del mensaje en la conducta. Analizan el grado de eficiencia en que influye la información sobre el comportamiento del destinatario.
13
Es importante destacar que la Teoría de la
Información se desarrolla como una
respuesta a los problemas técnicos del
proceso de comunicación, aun cuando sus
principios puedan aplicarse en otros
contextos.
14
El interés principal de la Teoría de la Información lo constituye todo aquello relacionado con la capacidad y fidelidad para transmitir información de los diferentes sistemas de comunicación.
En un sentido amplio, la Teoría de la Información trata acerca de la cantidad de información que es transmitida por la fuente al receptor al enviar un determinado mensaje, sin considerar el significado o propósito de dicho mensaje. No interesa tanto la pregunta: "¿Qué tipo de información?" sino más bien, "¿Cuánta información?" es la que transmite la fuente.
15
CONCEPTO DE INFORMACIÓN
El concepto de información es definido en términos estrictamente estadísticos, bajo el supuesto que puede ser tratado de manera semejante a como son tratadas las cantidades físicas como la masa y la energía. La palabra "información" no está relacionada con lo que decimos, sino más bien, con lo que podríamos decir.
El concepto de información se relaciona con la libertad de elección que tenemos para seleccionar un mensaje determinado de un conjunto de posibles mensajes. Si nos encontramos en una situación en la que tenemos que elegir entre dos únicos mensajes posibles, se dice, de un modo arbitrario, que la información correspondiente a esta situación es la unidad.
16
CONCEPTO DE INFORMACIÓN
El concepto de información supone la existencia de duda o incertidumbre. La incertidumbre implica que existen diferentes alternativas que deberán ser elegidas, seleccionadas o discriminadas. Las alternativas se refieren a cualquier conjunto de signos construidos para comunicarse, sean estos letras, palabras, números, ondas, etc. En este contexto, las señales contienen información en virtud de su potencial para hacer elecciones. Estas señales operan sobre las alternativas que conforman la incertidumbre del receptor y proporcionan el poder para seleccionar o discriminar entre algunas de estas alternativas.
17
CONCEPTO DE INFORMACIÓN
La Teoría de la Información, entonces,
conceptualiza el término información como
el grado de libertad de una fuente para
elegir un mensaje de un conjunto de
posibles mensajes.
18
Se asume que en los dos extremos del canal
de comunicación -fuente y receptor- se
maneja el mismo código o conjunto de
signos. La función de la fuente de
información será seleccionar sucesivamente
aquellas señales que constituyen el mensaje
y luego transmitirlas al receptor mediante
un determinado canal.
19
El concepto de información supone dos
objetos:
– La fuente de información(Tx) y
– El destinatario de la información(RX)
20
CONCEPTO DE TEORIA DE LA
INFORMACIÓN
De la descripción matemática y evaluación de los métodos y transmisión, conservación, extracción, clasificación y medida de la información.
Puede definirse alternativamente la teoría de la información, como el campo de la cibernética que se ocupa de la descripción y evaluación matemática de los métodos de transmisión, conservación, extracción, clasificación y medida de la información.
21
CONCEPTO DE TEORÍA DE LA
INFORMACIÓN
El estudio de la teoría de la información
debe permitir: conocer las técnicas de
cifrado, corrección y detección de errores y
procesos de eliminación de redundancia en
una información
22
TEORÍA DE LA INFORMACIÓN
El objetivo de un sistema de comunicación en su sentido amplio es la transmisión eficiente de información de un punto denominado ORIGEN, a otro punto denomInado DESTINO.
Los análisis de señales y circuitos nos permiten presentar una serie de elementos y sistemas eléctrónicos que realizan dicho objetivo con eficiencia y seguridad.
La teoría de la información nos proporciona una serie de conceptos y formulaciones desde el punto de vista matemático, que permiten en última instancia plantear alternativas para el manejo inteligente del proceso de comunicación.
23
Leyes de la información
1ª). La información es proyectiva. Cualquier mensaje tiende a proyectarse, a transmitirse.
2ª). Dependencia entre información y carga semántica o informativa. La cantidad de información afecta al producto, al resultado. Hay umbrales de carga informativa. Todos tenemos límites: carga baja, sobrecarga...que favorecen o perjudican la absorción de información.
3ª). Dependencia entre información y orden de elementos. En información el orden de los factores afecta al producto o resultado. En todos los órdenes o situaciones cambian los efectos del receptor.
4ª). Toda comunicación eficaz, si es eficaz, se mantiene en el tiempo y / o el espacio. Fenómeno de Feed-back o retroalimentación. Lo consiguen las formas de información más eficaces. La cultura es un gigantesco sistema de comunicación que debe estar vivo. Tiene que seguir transmitiendo experiencias; cuando no lo hace esa cultura muere. Finaliza.
24
Rasgos fundamentales de la
comunicación y de la
información (categorías)
-Es un fenómeno continuo (nunca finaliza).
Podemos aislar fragmentos, pero nunca acaba el
proceso de comunicación.
-Es un fenómeno cíclico. Se retroalimenta, es
circular.
- Para que una comunicación sea continua, debe
contener información. Esto es lo que hace que se
mantenga activa.
25
Principales conceptos a
desarrollar en la Teoría de la
Información La medida de la información
La capacidad de un canal de comunicación para transferir la información
La codificación como medio de utilizar el canal a plena capacidad.
Estos tres conceptos básicos se encuentran reunidos en lo que puede llamarse “Teorema fundamental de la teoría de la información”.
La codificación se emplea para adaptar la fuente al canal para una transferencia de información con un máximo de confiabilidad.
26
La teoría de la información nos
resuelve desde el punto de
vista de la ingeniería
situaciones como: Cuál es el contenido real de información de un mensaje?
Entre varias formas de expresar un mensaje cuál es la óptima cuando se trata de optimizar parámetros como: tiempo invertido para transmitirlo, ancho de banda, cantidad de símbolos o señales para representarlo?
Si los mensajes se codifican para su almacenamiento y transmisión, cómo selecciono o diseño un código óptimo para ello?
27
La teoría de la información nos
resuelve desde el punto de
vista de la ingeniería
situaciones como: Cuál es la capacidad máxima, que un medio ó canal
específico de comunicación tiene para transmitir información?
Cómo acoplo el canal de comunicación con la fuente de información a fin de lograr la máxima transferencia de información por el canal, con mínima probabilidad de pérdida de información?
Cómo puede el receptor de la información, procurar que la posibilidad de error sea mínima? Cómo puede darse cuenta de que hay un error y cómo lograr corregirlo?
28
La teoría de la información nos
resuelve desde el punto de
vista de la ingeniería
situaciones como:Cómo logro introducir cambios a la estructura de una
información para:
Facilitar su inmunidad a perturbaciones naturales o artificiales (ruido).
Rescatar la información ante eventuales errores en la transmisión.
Encriptarla para mínima posibilidad de captura por receptores no autorizados.
Minimizar el número de elementos de código necesarios para representar una información: Compresión.
29