sincronização em multimídia: relações temporais entre objetos de mídias objetos dependentes de...

Sincronização

• Em multimídia: relações temporais entre objetos de mídias

• Objetos dependentes de tempo:– apresentados como um feixe de mídia– relações temporais entre as unidades

consecutivas do feixe– se as durações de todas as unidades são iguais =

objeto de mídia contínua

Introdução (cont.)

• Objetos independentes de tempo:– a semântica do conteúdo não depende de

apresentação em função do tempo• Em um sistema multimídia, a sincronização

pode compreender relações entre objetos dependentes e objetos independentes de tempo– Exemplo: aula - sincronização das transparências

com os comentários (voz)

Introdução (cont.)

• Sincronização se dá em várias camadas de um sistema multimídia

• No sistema operacional e no nível de comunicação o objetivo é evitar o jitter– problema: interrupção ou gaps em um feixe de áudio

• No suporte a execução o objetivo é manter as relações temporais entre os vários feixes– problema: falta de sincronia entre lábios e voz

• O próximo nível cuida da sincronização entre mídias dependentes de tempo e independentes de tempo, com interação do usuário– problema: falar sobre uma transparência que não

está sendo mostrada

Introdução (cont.)

Introdução (cont.)

• A relação temporal (sincronização) entre objetos de mídias pode ser especificada implícita ou explicitamente

• Implicitamente: quando durante a captura, o objetivo da apresentação é mostrar as mídias com a mesma sincronização– Ex: gravação e apresentação de áudio-vídeo

Introdução (cont.)

• Especificação explícita: no caso de apresentações compostas de objetos de mídias capturados independentemente

Relações entre Mídias

Além das• relações temporais: derivadas da integração

de objetos dependentes de tempo,as múltiplas mídias também possuem• relações de conteúdo e• relações espaciais

Relações de Conteúdo

• Dependência de dados• Diferentes visões dos mesmos dados• Exemplo: 2 gráficos baseados nos mesmos

dados, mas mostram interpretações diferentes dos dados

• Estruturas de dados ou interfaces de objetos comuns podem ser usados para apresentar objetos de mídias diferentes

Relações Espaciais• Definições de espaços usados para a

apresentação de objetos em um certo ponto no tempo

• Exemplo: relação entre “a” e B

B

a

Ba

Quando obj. “a”entrar na região B,

destaque a regiãoem amarelo

Relações Temporais• Dependências temporais entre objetos de mídias• Particularmente interessantes quando objetos

dependentes de tempo estão presentes• Alguns consideram sincronização como uma

combinação de relações de conteúdo, espaciais e temporais– Ex: quando objeto “a” tiver valor = 20 e entrar na região

B, aumente a velocidade de seu movimento sincronizado com a música M

Sincronização Intra-objeto

t

40ms

25 frames/s

Sincronização Inter-objeto

Vídeo

Áudio-1

I1 I2 I3

Animação

Áudio-2

t

Sincronização ao Vivo e Sintética

• Ao vivo: o objetivo é reproduzir em uma apresentação as relações temporais como no processo de captura

• Sintética: as relações temporais são especificadas artificialmente– objetos criados independentemente uns dos outros– sincronização sintética é bastante usada com objetos

armazenados, arranjados para se combinarem em novos objetos multimídia

Sincronização Sintética (cont.)

• A ênfase é dar suporte à flexibilização de relações de sincronização entre mídias

• Duas fases se distinguem:– especificação: onde as relações temporais são

definidas (usando, por ex., um editor de sincronização)

– apresentação: um sistema de execução apresenta os dados em modo sincronizado

Sincronização Sintética (cont.)

• Objetos armazenados em um cenário de sincronização ao vivo também podem ser incluídos em uma apresentação de sincronização sintética

• Outra variação é a especificação de sincronização em tempo de execução

Sincronização ao Vivo e Sintética (cont.)

• Ao vivo: a sincronização é definida implicitamente durante a captura

• Sintética: explicitamente• Adaptar a qualidade da apresentação a

demandas do usuário ou à capacidade dos recursos do sistema é possível em ambos os casos

Requisitos de Apresentação

• Para mostrar corretamente dados multimídia na interface do usuário, sincronização é essencial

• Não é possível fazer medições objetivas de sincronização do ponto de vista da percepção humana, que é subjetiva - varia de pessoa para pessoa

Requisitos de Apresentação (cont.)

• Para sincronização intra-objeto: requer precisão com relação a atrasos na apresentação das unidades lógicas de dados (LDUs)

• Para sincronização inter-objeto: precisão na apresentação paralela de objetos de mídias

O problema do gap• O que fazer quando uma apresentação estiver

bloqueada(parada)?– Vídeo: mostrar a última imagem?– Áudio: última parte deve ficar sendo repetida?

• A duração do gap é significante para a decisão (alguns mili-segundos, alguns segundos, alguns minutos...)– apenas a aplicação (e não o sistema) pode selecionar

a melhor solução

O problema do gap (cont.)

• O conceito de apresentações alternativas:Ex.:– caso um gap entre um vídeo atrasado e um áudio

exceda um limite pré-definido, a apresentação do áudio é mudada para uma apresentação alternativa

– caso o gap seja pequeno, a apresentação do áudio pode ser parada até que o gap seja “fechado”

Re-amostragem• Idéia básica: aumentar ou baixar a velocidade

de feixes com o intuito de sincronização• Pode-se realizar re-amostragem de

sequências de vídeo adicionando-se ou deletando-se imagens de um feixe (ex.: conversão NTSC/PAL)

• Em feixes de áudio é pouco (ou in)tolerável a duplicação ou deleção de blocos