![Page 1: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/1.jpg)
1
Complementi di Interazione Uomo-Macchina
Dr. Marco Cristanie-mail: [email protected]: Stanza 47, Ca Vignal 2
Università di VeronaFacoltà di Scienze MM.FF.NN.
Corso di Laurea Specialistica in Sistemi Intelligenti e Multimediali
Lezione 6 – Gesture Recognition
![Page 2: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/2.jpg)
2
Obiettivi• Creare applicazioni che riconoscano in modo
automatico espressioni di movimentosignificative presentate da un essere umano, coinvolgenti in maniera separata o congiunta:– dita– mani– braccia– volto– testa– corpo
![Page 3: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/3.jpg)
3
Campi applicativi• Perceptual user interfaces• interfacce per sordomuti- riconoscere il linguaggio dei
gesti;• a scopi didattici, per favorire la comunicazione HC dei più
piccoli;• emotion detection• domotica• macchine della verità• navigare-manipolare ambienti virtuali• comunicare in video conferenza;• tele-insegnamento;• detecting di stati attentivi del guidatore
![Page 4: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/4.jpg)
4
Modelli di sviluppo• Hidden Markov model• Particle filtering e Condensation,• Macchine a stati finiti• Optical flow• Skin detector• Modelli connettivisti
![Page 5: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/5.jpg)
5
Dalla parte dell’utente…• I gesti servono
1. a comunicare2. a interagire con l’ambiente
• I gesti rappresentano un sottospazio dei possibilimovimenti umani
• Esistono mapping molti-a-uno a partire dai gesti aiconcetti, e viceversa
• Per questo, i gesti sono tipicamente– ambigui– non completamente specificati
![Page 6: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/6.jpg)
6
Dall’utente alla macchina…• Gli strumenti hardware per la comunicazione NON
sono i device tradizionali (tastiera,mouse)• Al loro posto, sensori di vario genere• I gesti sono
– statici pose recognition– dinamici
• comprensivi di 3 fasi ordinate1. pre-stroke (preparazione)2. stroke (fase prettamente dinamica)3. post stroke (retrazione)
• Alcuni gesti sono sia statici che dinamici (vedasi il linguaggio dei gesti, in cui conta anche l’espressione del volto-statica)
1 2 3
![Page 7: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/7.jpg)
7
…arrivando alla macchina.• I gesti sono dei segnali continui nel
tempo– è necessaria una segmentazione
temporale per suddividere un gesto neisuoi “mattoni semantici”
– spesso, nelle interfacce meno potenti, ènecessario codificare esplicitamente l’inizioed il termine di un gesto
![Page 8: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/8.jpg)
8
Il gesto per la macchina• Il significato di un gesto dipende da:
– informazione spaziale: dove occorre– informazione di cammino:
• la traiettoria disegnata, • la velocità/accelerazione impressa
– informazione simbolica: il segno composto– informazione contestuale
![Page 9: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/9.jpg)
9
Il gesto per la macchina• L’acquisizione di un gesto dipende dal
sensore utilizzato• Ogni sensore è caratterizzato da
– accuratezza– risoluzione– latenza– range di moto– comfort– costo
![Page 10: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/10.jpg)
10
Il gesto per la macchina (2)• Quanto più un sensore è invisibile, tanto
migliore sarà l’interazione• CV-based HCI: mira ad eliminare
qualsiasi “wearable” sensor, sostituendolicon dei sensori in grado di captare a distanza i gesti
– telecamere mono/stereo
![Page 11: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/11.jpg)
11
CV-based HCI per il riconoscimento di gesti
• Le tecniche esistenti si dividono per:1. Numero di camere usate2. La loro velocità e latenza3. L’ambiente di acquisizione4. il grado di assenza di sensori5. Le feature video utilizzate
(edge,regioni,silhouette,istogrammi)6. La rappresentazione del soggetto acquisito (2D/3D)7. Dinamicità o staticità dei gesti acquisiti
![Page 12: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/12.jpg)
12
Everywhere Display (IBM)
Figure 1: Interactive store application
![Page 13: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/13.jpg)
13
Example Gestures
Pictographic gestures
Kinetographic gestures
rectangular shape triangle shape
move-up down move-right move-left move-farcome-closer
round shape
delete or cancel
rotate
Deictics
fixation
Metaphoric gestures
![Page 14: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/14.jpg)
14
Template temporali• Rappresentazioni del movimento
– sono immagini 2D che rappresentano moto (nel3D)
– dipendenti dalla posa del soggetto– i template possono essere pensati come punti in
uno spazio ad alta dimensionalità• Si può eseguire clustering (kmeans), classificazione (k-n-
n), utilizzando un dataset di training opportunamentecostruito
– Piu’ veloci da calcolarsi dell’optical flow (template ricorsivi), meno precisi
• Assunzioni– La scena è statica, oppure facilmente sottraibile– I movimenti delle telecamera possono essere
rimossi
![Page 15: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/15.jpg)
15
Template temporali (2)
• Due tipologie di template temporali, descriventi– dove – è occorso moto nella scena
• MEI – Motion Energy Image
– come – il moto si è sviluppato nella scena• MHI – Motion History Image
![Page 16: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/16.jpg)
16
Motion Energy Imagedove il movimento è occorso…
![Page 17: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/17.jpg)
17
Motion Energy Image (2)
• Nota che:– Se τ è molto grande, tutte le differenze si
accumulano, ed il template diventa menoinformativo
– τ deve essere scelto sapendo a priori la duratamedia delle azioni.
![Page 18: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/18.jpg)
18
Motion Energy Image (3)
• Lievi cambiamenti nell’orientazione del soggettomutano anche il rispettivo template.
• Per una data azione è quindi consigliabile costruireun set di template di training acquisiti sotto varieorientazioni (un’acquisizione ogni 30°)
![Page 19: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/19.jpg)
19
Motion History Image
• L’intensità di un pixel rappresenta la storiatemporale in quel pixel
• I movimenti più recenti sono più chiari
![Page 20: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/20.jpg)
20
Motion History Image (2)
• Si utilizza ancora una finestra temporale digrandezza τ - movimenti più vecchi di τvengono ignorati. • Si utilizza un operatore di decadimentolineare:
Nota che MEI può essere calcolata a partire da MHI valutando tutti i pixel il cui valore è >0
![Page 21: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/21.jpg)
21
Template temporali - Training
• Un’istanza di azione =• Per creare un classificatore di una azione si
raccolgono più istanze di training di un unicaazione, e si determina
[ ] 77, +ℜ∈MHIMEI
{ }
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡
=
=
27,
22,
21,
000000000000
con
MHI
MEI
MEI
σ
σσ
OΣ
Σμ,θ
![Page 22: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/22.jpg)
22
Template temporali - Training
• Dopodichè:– Classificazione Maximum Likelihood
• In alternativa:– KNN sui punti con etichette– PCA sulla singola classe + KNN
[ ] 77, +ℜ∈MHIMEI
![Page 23: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/23.jpg)
23
Momenti
∑∑
∫∫=
=
x y
qpqp
q
D
pqp
yxyxiM
dxdyyxyxiM
),(
),(
,
,
=0,0M area dell’oggetto (nelcaso di immagine binaria)
( ) =0,11,0 , MM centroide
• Descrivono il contenuto (meglio, la distribuzione) di un’immagine rispetto agli assicartesiani
dominio continuo
dominio discreto
![Page 24: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/24.jpg)
24
Momenti• I momenti non sono invarianti alle
trasformazioni geometriche– Invarianza alla traslazione – momenti centrali
dominio continuo
dominio discreto
0,0
1,0
0,0
0,1
,
,
,
)())(,(
)())(,(~
MM
yMM
x
yyxxyxiM
dxdyyyxxyxiM
x y
qpcqp
qp
D
cqp
==
−−=
−−=
∑∑
∫∫
coordinate del centroide
![Page 25: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/25.jpg)
25
Momenti• I momenti centrali fino al terzo ordine sono:
• Si può dimostrare che
![Page 26: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/26.jpg)
26
Momenti– Il significato dei momenti non è intuitivo, ma
combinando opportunamente i momenti si riesconoad ottenere quantità intuitive. Per esempio:
Matrice di covarianzaassociata all’immagine
![Page 27: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/27.jpg)
27
Riconoscimento di gesti della mano
• Permette di realizzare interfacce– Per la manipolazione tridimensionale di modelli CAD– Per l’entertainment
• Analizziamo una tecnica per l’analisi di gesti statici
![Page 28: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/28.jpg)
28
Istogrammi d’orientazione– Una volta riconosciuta una forma, risulta
sicuramente utile capirne l’orientazione• Hand recognition
– Istogrammi d’orientazione• Robusti a
– (leggere) variazioni di scala– traslazione– luminosità
• In pratica, si valutano le orientazioni degli edge locali, in locazioni puntuali, tramite
• Le orientazioni vengono quantizzate in N valori, in un vettore Φ
Freeman, W.T., Beardsley, P.A., Kage, H., Tanaka, K., Kyuman, C. and Weissman, C., "Computer Vision for Computer Interaction", ACM SIGGRAPH, August 1999 (TR1999-036)
![Page 29: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/29.jpg)
29
Istogrammi d’orientazione– L’i-esimo elemento di Φ mostra gli elementi di
rotazione θ(x,y) con angolo ∈[ , ]
– La costruzione di Φ è
– Di solito, N = 36– Distanza Euclidea + KNN per la classificazione
![Page 30: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/30.jpg)
30
Istogrammi d’orientazione - esempio
![Page 31: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/31.jpg)
31
Istogrammi d’orientazione -problemi
Stesso gesto – differente orientazione
Differente gesto – stessa orientazione
Predominio dell’oggetto di cui si misural’orientazione
Rispostasimile
Rispostadifferente
Bassa sensibilità
![Page 32: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/32.jpg)
32
Sulla qualità dei classificatori– Come scegliere un classificatore tra una gamma di
disponibili?– Nel caso di
• un’unica soglia T da settare • un problema di classificazione binaria, come scegliere la
soglia “migliore”?
– Soluzione: la curva ROC (Receiver Operator Charachteristics)
– Nel momento in cui le soglie sono più di una, si possono valutare configurazioni di soglie
• dispendioso
– Si basa sul concetto di falsi(veri) positivi e negativi
![Page 33: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/33.jpg)
33
Piano ROC– In letteratura
• sensibilità = veri positivi stimati/tutti i positivi• specificità = veri negativi stimati/tutti i negativi
( )T
( )T
( )T
( )T
( )T
( )T
( )T
( )T
( )T ( )T
T
![Page 34: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/34.jpg)
34
Curva ROC (2)
( )T ( )T
•
![Page 35: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/35.jpg)
35
Scegli il classificatore
Classif
icatore
casu
ale
• Concavità sempre rivolta verso il basso
•
![Page 36: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/36.jpg)
36
Scegli la soglia
• Il valore di soglia migliore è quello
– che sta sulla curva ROC
– più in alto a sinistra
![Page 37: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/37.jpg)
37
Skin detection• Ossia creare un classificatore in grado di individuare
nell’immagine la pelle umana• Il colore è un ottimo indizio usato nella classificazione di
gesti (principalmente della mano), detection di volti– Statica: semplice alternativa o complementare all’analisi di forme– Dinamica: contribuisce a scremare falsi positivi della sottrazione
del background
• Esistono ricerche esaurienti sulla statistica del colore della pelle
Michael J Jones & James R Rehg, “Statistical Color Models with Application to Skin Detection”
![Page 38: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/38.jpg)
38
Metodologie di skin detection• Metodi pixel-based
– Classifica ogni pixel come pelle/ non pelle indipendentemente dai vicini.
– I metodi basati sul colore ricadono in questa categoria
• Metodi region-based– Si cerca di studiare la statistica di forma,tessitura che
permette di individuare la pelle– Spesso vengono usati in associazione ai pixel-based
![Page 39: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/39.jpg)
39
Metodi pixel-based• Veloci• Robusti a variazioni geomtriche delle porzioni di pelle• Robusti alle occlusioni parziali • Robusti ai cambi di risoluzione• Eliminano la necessità di effettuare pesanti operazioni
di tracking • Studi statistici mostrano che l’uomo hanno delle
colorazioni tipiche, è facilmente riconoscibili dall’uomo
![Page 40: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/40.jpg)
40
Condizioni da valutare– Possono essere separati i colori della pelle da quelli della non-
pelle?– L’illuminazione cambia nel tempo– I toni della pelle cambiano fortemente da individuo a individuo– Dispositivi di acquisizione differenti mostrano lo stesso individuo
con colorazioni differenti – Il movimento della telecamera-dell’oggetto posso causare
blurring sporcatura dei colori.– Le ombre influiscono sul colore– Che spazio colore utilizzare?– Come modellare il colore della pelle?
![Page 41: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/41.jpg)
41
Scelta dello spazio colore– Sono stati valutati vari spazi colore
• RGB• RGB normalizzato• HIS, HSV, HSL• TSL• YcrCb• colori percettivamente uniformi
– CIELAB, CIELUV• altri
– YES, YUV, YIQ, CIE-xyzed i risultati ottenuti non sono differenti in maniera rilevante([3] Albiol et al, “optimum color spaces for skin detection”)
– Per ogni spazio colore è possibile costruire un classificatore specializzato ([2]D.Zarit, “Comparison of five color models in skin pixel classification”)
• Meglio, la separabilità tra lo spazio dei colori della pelle e quello dei colori non-pelle è indipendente dallo spazio colore utilizzato
![Page 42: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/42.jpg)
42
Metodo di modellazione dello spazio colore
• Non parametrico – Stima la distribuzione del colore della pelle da un set di dati di training senza estrarre un modello esplicito (niente parametri)
– Modello ad istogramma– Classificatore di Bayes
• Parametrico – Studia dei parametri da un dataset di training
– Modello gaussiano
![Page 43: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/43.jpg)
43
Analisi dello spazio colore non parametrica
• Rehg e Jones hanno usato 18,696 immagini per creare un modello statistico del colore
• La probabilità di un colore è
• La densità dei colori èaddensata attorno la linea del grigio e piccata maggiormente sul bianco che sul nero
![Page 44: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/44.jpg)
44
Distribuzioni marginali - considerazioni•Esiste una deviazione nella distribuzione verso il vertice rosso del cubo•Il 77% dei possibili colori RGB a 24 bit non sono mai stati incontrati (cioè l’istogramma è sparso).•Il 52 % di pagine web ha immagini (non pornografiche) di persone
Deviazione
![Page 45: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/45.jpg)
45
Modello della pelle•Usando solo i pixel (80.3 milioni!) etichettati come pelle, si è creato un modello della pelle.
Deviazione!
![Page 46: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/46.jpg)
46
Modello della non-pelle
La deviazione rispetto al modello globale è diminuita
![Page 47: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/47.jpg)
47
Classificazione • Si utilizza un semplice classificatore bayesiano
dove
• Il classificatore funziona via soglia, ossia
• La soglia è stata decisa dopo l’analisi della curva ROC.• Il numero di bin dell’istogramma è 32.
![Page 48: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/48.jpg)
48
Risultati • Accuratezza: 88% (con
soglia selezionata laddove i falsi positivi sono uguali ai falsi negativi sulla curva ROC)
• Gli errori si riscontrano in zone altamente sature o affette da ombra
• Il classificatore in questo caso fallisce perchè colori saturi o in ombra sono sovrapposti ai colori che appartengono al modello del colore – non pelle, quindi non sono discriminanti
![Page 49: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/49.jpg)
49
Analisi ROC per il numero di bin dell’istogramma
![Page 50: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/lezione...1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader035.vdocuments.mx/reader035/viewer/2022081620/6114e9637663c35e6f4624ad/html5/thumbnails/50.jpg)
50
Analisi ROC per il numero di bin dell’istogramma
• Classificatori basati su istogrammi funzionano meglio di rappresentazioni parametriche (gaussiane), perché in tal caso le sovrapposizioni tra spazi colore sono maggiori