departamento de teoría de la señal y comunicaciones -...

1

Multimedia: Tecnologías y Servicios

Jesús Cid SueiroUniversidad Carlos III de Madrid

Curso de Doctorado:Procesado Multimedia

Universidad Carlos III de MadridMarzo 2004

Índice

1. Escenarios Multimedia (MM)2. Retos tecnológicos3. Tecnologías MM

Transmitir la informaciónIndexado multimediaBusqueda y recuperación.Máquinas que reconocen e interpretanSíntesis de escenarios multimediaProtección de información

2

1. Escenarios MultiMedia

Introducción

Multimedia (MM): Integración de dos o mas medios para transmisión, almacenamiento, acceso y creación de contenidos:

Texto (manuscrito o no)Voz y AudioImágenes y GráficosVideo y AnimaciónFicheros de datosProgramas

3

Medios “estáticos”

Tipos:Texto

codificadoimagen de texto

DatosProgramasGráficosImágenes fijas

Medios “dinámicos”

Tipos:VozAudioAnimacionesVídeo

Presentan evolución continua en el tiempo

Dulces Margaritas

4

Escenarios MM

Educación (Teleeducación)Libros “vivientes”Aprendizaje a distancia

Escenarios MM

Bibliotecas virtuales

National Galleryhttp://www.nga.gov3500 visitas diarias

Museo del hermitageNavegación virtual 3Dhttp://www.hermitagemuseum.org

Klau library750.000 volúmeneshttp://www.emanuelnyc.org

5

Escenarios MM

Entretenimiento (Teleocio)Videojuegos en red

Video bajo demanda

Dragones y mazmorrashttp://www.tsr.com

Escenarios MM

Sanidad (Telemedicina)Sistemas de información hospitalariaTelemedicina

6

Escenarios MM

“Geoservicios”Sistemas de Información Geográfica

2. Retos tecnológicos

7

Los sistemas MM de

acceso universal (desde

cualquier punto en

cualquier momento)

requieren:

Terminales de acceso,

fijos como móviles

Una red capaz de

transportar todo tipo de

señales

Servidores de

información

Interfaz de usuario

Agentes en comunicaciones MM

Procesado,almacenamiento

recuperación

Servidor deinformación

MM

RedModo

persona apersona

Modo persona a máquina

Interfaz de usuario

Red

Servidor deinformación

MM

Cod

ific

ació

n

Servidores de información

Captura de imágenes para un museo virtualFactores críticos:

Tiempo de capturaTasa de captura: aprox. 1000 imágenes/dia

Tecnologías:DigitalizaciónMarcado digitalCompresiónIndexado

Original

Fotografiado

Escaneado

Retoque

Reducción

Marca de agua

Diapositiva

Indexado

Compresión

8

Interacción con el servidor

Tecnologías:TransmisiónOrganización, almacenamiento y recuperación de informaciónTecnologías de acceso: interfaces hombre-máquinaTécnicas de búsqueda en bases de datosTécnicas de distribución de material

Accede

Busca

Explora

Recupera Stream

Almacena Visualiza

Revisión

3. Tecnologías MultiMedia

9

Tecnologías

Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información

Tecnologías de red

Nacimiento del sistema telefónico:

1876: Bell patenta el teléfono.Los teléfonos se vendían en pares.El cliente se encargaba de tender un cable entre ellos.Si un cliente quiere hablar con N personas, debía tender 10 cables

10

Tecnologías de red

Redes de comunicaciones:Conectar a todos con todos resultaba ineficiente y costoso1878: Bell Telephone Companyabrió su primera oficina de conmutación. Las oficinas se conectaban entre sí de modo jerárquicoAsí nació la red telefónica, que tiene ya más de 100 años de evolución.

Oficina de conmutación

Oficina de conmutación

Red

Sistema de Señalización

Diseñada para transmisión y conmutacion de llamadas vocales a 3.5 kHz.

Tiempo realBaja latenciaAlta fiabilidadFidelidad moderada

Red Telefónica Básica (RTB)

RTB

11

La RTB está orientada a conexión.

Asigna un canal al usuario

de poca capacidad (suficiente para voz)permanente (desde el principio al fin de la llamada)bidireccionalsimétrico

Orientación de la RTB

RedRTB

La RTB, hoy Las conexión entre centrales es digitalEl bucle de abonado (conexión del usuario a la 1ª central) es analógico.

No está bien diseñada para transmitir

Voz de banda anchaAudioImágenes y vídeoFax y datos

Se necesitan MoDems

Red

¿Cómo transmitir datos por la RTB?

Sistema de Señalización

ModemModem RTB

Servicios ybases de

datos

12

Red

Redes de paquetes

Bien diseñadas para transporte de datos.

InternetIntranets...

Los datos se distribuyen en paquetes de tamaño fijo, que se envían de forma independiente

Red de

paquetes

Servidores y bases de datos

Cabecera Datos

Red

Redes de paquetesLos datos son encamina-dos utilizando direcciones indicadas en cada paquete

Cada paquete puede viajar en diferente direcciónLos paquetes pueden llegar en diferente ordenAlgunos paquetes pueden perderse o retrasarse

No están diseñadas para transmisión en tiempo real(de voz, por ejemplo)

Red de

paquetes

13

Redes para comunicaciones MM

Mayor ancho de bandaTransmisión multimediaComunicaciones asimétricas

Diferentes modalidades de transmisión

Tiempo realStreamingTransmisión de datos

Acceso desde diferentes terminales Calidad de servicio negociableContenido adaptable al cliente

Tecnologías


14

Tecnologías de Compresión y codificación

A. VozB. AudioC. Imágenes (texto, gráficos, fotografía)D. Vídeo

Vídeo

ImagenVoz/Audio

Necesidad de compresión

Tipo Rango defrecuencias

Tasa demuestreo

Bits pormuestra

Tasa de bitssin compres.

Voztelefónica

200-3200 Hz 8 KHz 16 128 kbps

Voz altacalidad

50-7000 Hz 16 KHz 16 256 kbps

Audio CD 20-20000 Hz 44.1 KHz16x2

canales1.41 Mbps

Tipo deImagen Pixels Bits /

PixelTamaño

sin comp.

FAX 1700x2200 1 3.74 Mb

VGA 640x480 8 2.46 Mb

XVGA 1024x768 24 18.87 Mb

Tipo deVídeo

Pixeles porcuadro

Relaciónde aspecto

Cuadrospor segundo

Bits/pixel

Tasa de bitssin compres.

NTSC 480x483 4:3 29.97 16 111.2 Mbps

PAL 576x576 4:3 25 16 132.7 Mbps

CIF 352x288 4.3 14.98 12 18.2 Mbps

QCIF 176x144 4:3 9.99 12 3.0 Mbps

HDTV 1280x720 16:9 59.94 12 622.9 Mbps

HDTV 1920x1080 16:9 29.97 12 745.7 Mbps

15

Aspectos relevantes

Codificación: Capacidad de compresiónComplejidadRetardo

DecodificaciónComplejidad Calidad de la señal decodificadaFlexibilidadRetardo

Codificador

Decodificador

Señal portadora de información

Datos

Señal

Otros aspectos relevantes

Streaming:transmisión de información multimedia para reproducción previa al final de la transmisión

Robustez:la señal puede reconstruirse a pesar de que algunos bits se interpreten erróneamente

16

Otros aspectos relevantes

Escalabilidad en imágenes y vídeo

El usuario solo necesita una parte de los datos en función de la calidad de su equipo receptor

Potencial de compresión

Los algoritmos de compresión pueden reducir significativamente el volumen de datos:

Voz BE: 30-1Voz BA: 15-1CD Audio: 22 - 1Fax: 100-1Imágenes: 30-1Video: 100-1

17

Tecnologías


Indexación

Indexar: añadir metadatos.Metadatos: datos que describen a los datos.Tipos:

De textoDe vozDe audioDe imágenes y vídeo

18

Indexación de textos

Es, con diferencia, la más desarrollada de las técnicas de indexación para MM2 formas de almacenar información textual:

EstructuradaTexto organizado en formato especial, con campos predefinidos, al modo de una base de datos

No estructuradaRequiere técnicas de búsqueda

Estándares: MPEG-7

Es un estándar de Indexación(descripción de contenidos en documentos audio-visuales)

Descripción sintáctica (segmentación)Descripción semántica

19

Tecnologías


4. Búsqueda de documentos MM

Un importante tarea en la utilización efectiva de bibliotecas de información MM es la recuperación selectiva de información para aplicaciones de búsqueda y navegación“El valor de almacenar un documento puede medirse por el esfuerzo que requiere encontrarlo cuando se necesita”

20

Rendimiento de la búsqueda

Rendimiento de un sistema de búsqueda:

Precisión: % de documentos recuperados que son útiles

“Recall”% de documentos útiles que son recuperados

No existe el buscador perfecto,

el usuario necesita herramientas de navegación

Patrones de búsqueda (queries)

TextualesPalabras con conectivas lógicas y operadores

EsquemáticosBoceto gráficoNotas musicales“Tarareo”

Ejemplos (query by example)

Útil en búsqueda sobre registros MM

21

Tecnologías


5. Navegación

Por escenarios:HyperTexto

HTML(+ Java + Flash + reproductores + ..)

Mundos VirtualesVRML

Por documentos:Técnicas de búsque-da (manual) rápida en material MM

Navegación basada en imágenesNavegación basada en escenasNavegación superficial de vídeoNavegación superficial de audio

22

Tecnologías


3. Acceso a información MM

Terminales de acceso:Solo audio:

Teléfono convencionalTeléfono móvil

Gráficos: PCSistemas móviles

23

Herramientas de acceso al medio

Herramientas de acceso al medio:Interfaces de usuario:

Interfaces gráficos de usuario(GUI’s, Grafical User Interfaces)

Interfaces de lenguaje hablado(SLI’s, Spoken Language Interfaces)

Conversores de mediosAgentes

Interfaces de usuario: GUI’s

GUI: Aplicación que aprovecha las siguientes capacidades:

Representación continua de objetos y accionesOperaciones rápidas, incrementales y reversibles, de impacto inmediatamente visibleAcciones físicas en lugar de sintaxis complejas

Botones etiquetados, barras de menús, barras de desplazamiento,...

GUI’s son la respuesta a ciertas limitaciones del sistema cognitivo humano.

24

Interfaces de lenguaje hablado

La voz es la más natural de las modalidades de comunicaciónEl diseño de interfaces vocales pasa por el desarrollo de varias tecnologías:

CodificaciónSíntesis de vozReconocimiento de vozComprensión del lenguaje naturalSistemas de diálogo

Tecnologías


25

Síntesis de voz

Los sistemas de síntesis de voz evitan el coste de pregrabación y almacenamiento de mensajes, del tipo utilizado en sistemas de transporte públicoCalidad de la voz sintética:

Inteligibilidad: 97 % frente a 99% de la voz natural

NaturalidadMOS de 3.0-3.5 (aceptable a bueno)

Graficos Por Computador

La graficación computerizada ha hecho que los computadores sean más fáciles de usar: interfaces gráficas de usuario (GUI) y sistemas multimedia (WWW).

26

El campo de la síntesis de imágenes

Incluye el estudio de:

Dispositivos de entrada, procesadores, dispositivos de almacenamiento y de visualización (hardware).

Algoritmos para generar y presentar objetos gráficos.

Programas para el desarrollo del sistema gráfico y de sus aplicaciones (software).

Aplicaciones de imágenes generadas por computador.

Tecnologías


27

Introducción

Esteganografía(stegano-graphos = “escritura oculta”)Cualquier mecanismo para ocultar informaciónen determinado soporteDifiere de la criptografía: el mensaje/código

suele pasar desapercibidoSuele estar imbricado en el registro (imagen/audio/video)

Marcas de agua: imprimaciones (visibles o no) en documentosTécnicas usadas para transmitir mensajes, probar autoría/pertenencia, preservar de copias ilegales, etc.

Marcas en imágenes

Visibles

departamento de teoría de la señal y comunicaciones -...

Documents