classificação de faces em vídeo - instituto de...

41
Classificação de faces em vídeo Universidade Estadual de Campinas Instituto de Computação MC906 – Introdução à Inteligência Artificial

Upload: others

Post on 11-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Classificação de faces

em vídeo

Universidade Estadual de Campinas Instituto de Computação

MC906 – Introdução à Inteligência Artificial

Page 2: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

Como resolver

Formas alternativas

A entrega

Agenda

Page 3: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Agenda

O problema

Como resolver

Formas alternativas

A entrega

Page 4: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Reconhecimento de faces

– Determinar se duas faces são a mesma pessoa;

Page 5: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Desafios da área

– Variedade de resolução, qualidade e condições de iluminação;

– Expressões faciais e pose.

Page 6: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Importância da classificação semântica automática

– Vigilância

Page 7: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Importância da classificação semântica automática

– Controle de funcionários em empresa

Lisa

Tom Mark Mary

Page 8: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Importância da classificação semântica automática

– Recuperação de vídeo por conteúdo

Page 9: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Um problema de IA

– Estudo e projeto de agentes inteligentes;

– Percepção do ambiente;

Page 10: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Um problema de IA

– Percepção de rostos;

Page 11: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

O problema

• Um problema de IA

– Identificar faces; e

– Procurar significado semântico.

Mom Sister

Dad

Page 12: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Agenda

O problema

Como resolver

Formas alternativas

A entrega

Page 13: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Como resolver

As etapas:

[1] Seleção do vídeo;

[2] Decomposição em frames;

[3] Detecção de faces;

[4] Classificação das faces; e

[5] Rotulação das personagens.

Page 14: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Como resolver

[1] Seleção do vídeo

Page 15: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[2] Decomposição em frames

Como resolver

Page 16: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[3] Detecção de faces

– Algoritmo de Viola-Jones

• Framework para detecção de objetos;

• Soma de pixels dentro de áreas retangulares;

Como resolver

Page 17: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[3] Detecção de faces

– Algoritmo de Viola-Jones

• Primitivo quando comparado com algoritmos que utilizam filtros orientáveis;

• Vantagem: avaliação em tempo constante;

• Problema: número de caracte- rísticas extraídas;

Como resolver

Page 18: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[3] Detecção de faces

– Algoritmo de Viola-Jones

• Problema: lidar com classificadores pesados;

• Arquitetura em cascata.

Como resolver

Page 19: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Principal Component Analysis (PCA)

• Uso de transformações ortogonais;

• Conversão de váriaveis possivelmente correlacio- nadas em um conjunto de não relacionadas;

• Redução de dimensiona- lidade do problema;

Como resolver

Page 20: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Principal Component Analysis (PCA)

• Decomposição de autovalores da matriz de covariância;

• Obter conjunto de auto-vetores que constituem a eigenface.

Como resolver

Page 21: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Histogram of Oriented Gradients (HOG)

• Distribuição de intensidade de gradiente ou de direções de borda;

Como resolver

Page 22: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Histogram of Oriented Gradients (HOG)

1. Cálculo do gradiente;

2. Cálculo do histograma de orientação;

3. Descritor de bloco; e

4. Normalização do bloco.

Como resolver

Page 23: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Histogram of Oriented Gradients (HOG)

Como resolver

Page 24: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Support Vector Machine (SVM)

– Hiperplano de dimensão p-1 do feature vector para separar as duas classes;

Como resolver

Page 25: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Support Vector Machine (SVM)

– Redução do problema multiclasse para múltiplos problemas de classificação binária;

Como resolver

Page 26: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[4] Classificação das faces

– Support Vector Machine (SVM)

– Abordagem one-vs-all

– Abordagem one-vs-one

Como resolver

Page 27: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

[5] Rotulação das personagens

– Nome junto do retângulo

Lily Marshall Ted Robin Barney

Como resolver

Page 28: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Agenda

O problema

Como resolver

Formas alternativas

A entrega

Page 29: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Formas alternativas

• Detecção de faces

– Viola-Jones é um método suficientemente eficiente;

– Outros algoritmos são raramente utilizados;

• Rastreamento

– Camshift; e

– Shot Boundary;

• Reconhecimento

– Nearest Neighbour; e

– Linear Discriminant Analysis.

Page 30: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Tracking

– Chance dos rostos apareçam em posições próximas em frames subsequentes;

– Evitar uso desnecessário do Viola-Jones;

– Não é tão simples quanto parece.

Formas alternativas

Page 31: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Camshift

– Continuously Adaptive Mean Shift;

– Variação do Mean Shift;

– Uso de histogramas de cor e da região retangular onde se encontra a face;

– Matiz x Saturação

Formas alternativas

Page 32: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Camshift

– Probabilidade para determinar se pixel pertence à face;

– Problemas:

– Suscetível a pequenos desvios; e

– Apenas informações sobre cores são utilizadas.

Formas alternativas

Page 33: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Shot Boundary

– Identificação de mudança de planos;

– Exemplo: Algoritmo que compara os canais de cores RGB entre dois frames;

Transição abrupta

Transição dissolver

Formas alternativas

Page 34: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Shot Boundary

– Etapa de scoring: quão semelhante são dois frames; e

– Etapa de decisão: avaliação do score e a detecção ou não de um novo frame.

Formas alternativas

Page 35: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Nearest Neighbour

– Uso de uma base de exemplos classificados;

– Avalia a proximidade do elemento com cada uma das classes;

– Vantagens:

– Mais simples que o SVM; e

– Rápido quando utilizado em uma base de dados pequena;

Formas alternativas

Page 36: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Nearest Neighbour

– Desvantagens:

– Quanto mais exemplos, maior o tempo de avaliação;

– Possibilidade de dominação por classes populosas;

– Em reconhecimento de faces, a quantidade de classes é potencialmente enorme.

Formas alternativas

Page 37: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Linear Discriminant Analysis (LDA)

– Método de extração seguido de um classificador (e.g. KNN);

– Reduz a dimensionalidade, assim como o PCA;

Formas alternativas

Page 38: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Linear Discriminant Analysis (LDA)

• Vantagem:

– Tempo de treinamento não aumenta muito com o número de exemplos;

• Desvantagem:

– Tempo de treinamento é muito sensível à forma da extração da imagem;

Formas alternativas

Page 39: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

Agenda

O problema

Como resolver

Formas alternativas

A entrega

Page 40: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

A entrega

Vídeo com a marcação das personagens

Ted Lily

Marshall

Page 41: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto

João Carlos Maggiotto 081721

Gabriel Fernando L. e Oliveira 083565

Murilo Fossa Vicentini 082335

Renato Rivas D'Amore 082672

Classificação de faces

em vídeo