processamento de documento multimídia
TRANSCRIPT
![Page 1: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/1.jpg)
Processamento de Documento Multimídia
Ângelo Lima | Juliane Silva | Sebastião Monteiro | Wallace Costa
![Page 2: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/2.jpg)
O que é Multimídia?
“É qualquer informação gravadaem imagem, áudio, vídeoou uma combinação destes,
abrangendo desde fotos até filmes.”
![Page 3: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/3.jpg)
Alguns conceitos importantes...
Metadado é uma abstração do dado, capaz, por exemplo, de indicar se uma determinada base de dados existe, quais são os atributos de uma tabela e suas características, tais como: tamanho e/ou formato.
Métodos Binarização por otsu; WaterShed; Taxa de amostragem.
![Page 4: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/4.jpg)
RI Multimídia?
![Page 5: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/5.jpg)
RI Multimídia?
Antes de pensarmos em recuperação de arquivos multimídia,
Temos que pensar em como indexá-los.E, antes de pensarmos na indexação,
Temos que pensar em quais características indexar.
![Page 6: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/6.jpg)
RI Multimídia?
Então, quais característicasdevemos extrair dos arquivos?
ImagemÁudio
![Page 7: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/7.jpg)
ImagemExtração de Características
Existem 2 formas de selecionar as características de uma imagem:
Pelo seu conceito;
Pelo seu conteúdo.
![Page 8: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/8.jpg)
ImagemExtração de Características – Por Conceito
A técnica por conceito é aquela em que as imagens e os objetos representados são identificados e descritos em termos do que eles são e do que eles representam.
É um processo executado por pessoas (profissionais documenta-listas).
![Page 9: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/9.jpg)
ImagemExtração de Características – Por Conceito
Níveis de AnáliseEsse níveis falam quais as características da ima-gem devem ser selecio-nadas e extraídas.
Leitura do que se vê e leitura do que se interpreta.
![Page 10: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/10.jpg)
ImagemIndexação – Por Conceito
![Page 11: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/11.jpg)
ImagemIndexação – Por Conceito
Tendo extraído essas características das imagens, a indexação é um processo que pode ser efetuado:Pelo uso da linguagem natural;Pelo auxílio de um vocabulário controlado (tessauro).
Que é o que a gente já conhece. :)
![Page 12: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/12.jpg)
ImagemGoogle Images
![Page 13: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/13.jpg)
ImagemExtração de Características – Por Conteúdo
A técnica baseada em conteúdo considera os aspectos da imagem em si, tais como a cor, a forma, a textura.
Esses aspectos são mais eficazmente identificados e extraídos do arquivo por meio de programas de computadores.
![Page 14: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/14.jpg)
ImagemExtração de Características – Por Conteúdo
As imagens têm muitos tipos de atributos que podem ser extraídos, tais como:
A combinação de atributos de cor, textura ou forma; A presença de tipos específicos de objetos; A descrição de um tipo específico de evento; A presença de personalidades, locais ou eventos identificados; Emoções subjetivas associadas à imagem.
mai
s difí
cil d
e se
r res
pond
ido
![Page 15: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/15.jpg)
ImagemExtração de Características – Por Conteúdo
3 níveis de crescentes de complexidade, que compreende a indexação e recuperação pelos atributos:
1. Atributos primários: cor, textura e forma dos elementos da imagem.
2. Atributos derivados: identidade dos objetos mostrados.3. Atributos abstratos: significados das cenas representadas.
mai
s difí
cil d
e se
r res
pond
ido
![Page 16: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/16.jpg)
ImagemExtração de Características – Por Conteúdo
Cor (histograma de cor): mede a distribuição estatística de cores da imagem e a quantidade de pixel existente para cada cor.
![Page 17: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/17.jpg)
ImagemExtração de Características – Por Conteúdo
Textura (filtros de Gabor e as Transformadas de Wavelets): capturam partes da imagem com relação à mudança de direção e escala.
![Page 18: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/18.jpg)
ImagemExtração de Características – Por Conteúdo
Forma (segmentação): recupera a estrutura física dos objetos da imagem.
![Page 19: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/19.jpg)
ImagemIndexação – Por Conteúdo
A indexação é feita com técnicas multidimensionais (Kd, Quad-tree,...).Árvore-R
![Page 20: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/20.jpg)
ImagemGoogle Images
![Page 21: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/21.jpg)
ÁudioExtração de Características e Indexação
2 abordagens:O arquivo é dividido em pequenos segmentos no tempo e
um vetor é calculado para cada segmento.
Único vetor, compreendendo a informação de todo o arquivo.
![Page 22: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/22.jpg)
ÁudioExtração de Características e Indexação
As características são calculadas por meio de métodos de análise de tempo-frequência, como a Transformada de Fourier.
Podendo recuperar ritmo, harmonia por meio de histogramas.
![Page 23: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/23.jpg)
Medidas de Similaridade
“Grau de semelhançaentre os objetos da base
com o objeto da consulta.”
![Page 24: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/24.jpg)
Medidas de Similaridade
Cálculos da distância Menor valor, maior semelhança; Valor = 0, então Igual.
Regras para o cálculo da distância Simetria: d(a,b) = d (b,a); Positivo: 0 ≤ d(a,b) < ∞; Desigualdade Triangular: d(a,b) ≤ d(a,c) + d(c,b).
![Page 25: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/25.jpg)
Medidas de Similaridade
Fórmula da distância
n sendo a dimensão do espaço vetorial; p = 1 – Distância de Manhattan; p = 2 – Distância Euclidiana.
![Page 26: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/26.jpg)
Consultas
Tipos de consultas por similaridade
Consulta por abrangência: retorna todos os objetos que abrangem um certo limite de distância da consulta.
Consulta aos k-vizinhos mais próximos: retorna o número k de objetos mais próximos da consulta.
![Page 27: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/27.jpg)
Consultas
Exemplo de consulta
![Page 28: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/28.jpg)
Aplicações
Reconhecimento de padrões Faces; Impressões digitais; Melodias musicais, etc.
Pesquisa multimídia Servidores de vídeos, etc.
![Page 29: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/29.jpg)
Aplicações
![Page 30: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/30.jpg)
Aplicações
![Page 31: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/31.jpg)
Aplicações
![Page 32: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/32.jpg)
Aplicações
![Page 33: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/33.jpg)
Aplicações
![Page 34: Processamento de Documento Multimídia](https://reader038.vdocuments.mx/reader038/viewer/2022102620/5870ed491a28abcf288b732d/html5/thumbnails/34.jpg)
Conclusão
Diversas aplicações; Campo de pesquisa promissora; Reconhecimento de pessoas (rosto, digital, etc); Reconhecimento de fala; Busca de imagens e sons; Parte de um SRI bastante complexa.