sumarização de vídeo edward cayllahua [email protected]
TRANSCRIPT
ÍndiceÍndiceo Introduçãoo Objetivoo Modeloso Análise De Complexidadeo Resultadoso Conclusões
IntroduçãoIntrodução
o Sumarização de vídeo é o processo de extração de um resumo do conteúdo original do vídeo.
o O objetivo é fornecer rapidamente a informação do conteúdo do vídeo, preservando a mensagem do vídeo original
IntroduçãoIntrodução
o Por que é necessário resumir vídeos?
• Dia a dia um monte de informação é produzida na televisão, internet, etc.
• O vídeo é um dos mais utilizados hoje.
IntroduçãoIntrodução
o Por que é necessário resumir vídeos?
• A quantidade de vídeos cresce exponencialmente.
• uma pessoa não pode processar todos os vídeos
• é necessário desenvolver um modelo que sintetiza um vídeo
IntroduçãoIntrodução
o Tipos de resumos:
• Estáticos: Extração de um conjunto de quadros-chave do vídeo original.
• Dinâmicos: Extração de um conjunto de clips do vídeo original.
o Os clips são elementos que podem conter informações de som e movimento
ObjetivoObjetivo
• Desenvolver um método para sumarização de vídeo estático baseado em características espaço-temporais
ModelosModelos
o Um vídeo: é uma seqüência de frames consecutivos.
o Frame: uma única imagem em um filme.
o keyframe : Um único frame que pode representar outros frames no mesmo vídeo.
ModelosModeloso A Video Summarization Approach based on Machine
Learning
• Detecta principais características, tais como valores de pixel, bordas e histogramas.
• Machine Learning é usado como um sistema para prever transições de vídeo
• Se o valor exceder um limite, então um keyframe é detectado
• Um vídeo é construído usando o keyframes
ModelosModeloso An Improved Sub-optimal Video Summarization
Algorithm
• O usuário define o tamanho final do resumo ( T ).
• Depois, o método calcula as distorções dos frames
• Se a distorção é grande e não chegamos a T, o quadro é adicionado ao resumo de vídeo.
• O processo é rápido, mas não suficientemente robusto.
ModelosModelosoVideo Summarization from Spatio-
Temporal Features
• Detectamos as características espaço-temporal do vídeo usando a matriz hessiana.
• Estas características são usadas para calcular o nível de atividade do frame
• Se este nível é muito alto, então podemos sinalizar este frame como um keyframe.
• Um vídeo é construído usando o keyframes
ModelosModelosVideo Summarization from Spatio-Temporal Features• Cada frame pode ser considerado como
uma imagem • O frame pode ser representado como:
• Onde representa a informação espacial.• Representa a informação temporal
ModelosModelos
oVideo Summarization from Spatio-Temporal Features• Hessian Matrix
ModelosModelos
oVideo Summarization from Spatio-Temporal Features• Máscaras usadas:
ModelosModelosVideo Summarization from Spatio-Temporal Features• Nível de atividade de um quadro
o é um valor fixo.o Se contecer, marcamos o pixel. oOs pixels marcados são contadas eo valor total é o nível de atividade do frame
ModelosModelosVideo Summarization from Spatio-Temporal Features• Nível de atividade de um filme
ModelosModelosVideo Summarization from Spatio-Temporal Features• keyframes são identificados com
o máximo local
ModelosModelosVideo Summarization from Spatio-Temporal Features.
Análise De Análise De ComplexidadeComplexidade
oUm vídeo contém frames.oCada Frame contém pixelsoPor cada Frame, 24 operações locais são realizadas
ResultadosResultados
ConclusõesConclusões
o A parte mais importante na sumarização de vídeo é dar um modelo sólido para extrair os keyframes.
o Subjetividade, algo que pode ser importante para uma pessoa, pode não ser importante para outra.
o Esta área de pesquisa ainda é muito jovem. Não há um banco de dados standard para os testes