Traitement d’images : concepts avancés

• Morphologie mathématique– Images binaires– Images niveaux de gris

• Classification – Classifications pixeliques– Modèles à base de champs de Markov

• Segmentation – Méthodes ad hoc– Approche variationnelle

• Détection / Suivi – Changement– Flot optique

Détection de changement : Problèmes

• Pb 1 : soit 1 image de fond, et 1 image acquise à 1 instant t. Quels sont les objets apparus ou disparus par rapport au fond ?

• Pb 2 : Soit 2 images acquises à t et t+1. Quels sont les objets ayant bougé entre t et t+1 ?

Seul cas traité ici : caméra fixe tous les changements détectés sont imputables à des apparitions / disparitions / mouvements d’objets

Détection de changement : Approche générale

• Création d’1 image des données D– Niveau d’information considéré :

• Valeur absolue des différences des niveaux de gris• Différence signée des niveaux de gris• Différence (absolue ou non) d’images de primitives :

contours…

• Classification de l’image D – Nombre de classes :

• 2 : ‘changement’ vs ‘non changement’• k : ‘non changement’, ‘changement de type 1’,…,

‘changement de type k-1’

– Prise en compte de l’information spatiale• Classifications markoviennes (vs ponctuelles)• Décision niveau ‘fenêtre’

On cherche 1 solution qui soit :Robuste

• au bruit,• aux changements d’illumination

Automatique

Création d’1 image des ‘données- changements’ D

Classification de l’image D• Cas 2 classes

– Classe ‘non changement’ ~ Normale centrée variance

– Classe ‘non changement’ ~ quelconque !!! Attention au terme d’attache au données

– Exemple : cas d’1 classe changement bimodale supposée monomode

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6,72 28,6 22,6 26,4 22,6 0,06 11,5 3,250 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 11,3 6,45 29,5 9,39 6,56 29,7 11,4 21,70 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 29,9 -26 -19 8,94 8,42 5,44 8,42 19,90 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 20,4 -22 -7,2 16,5 24,4 12,2 27,5 8,70 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 20 15,6 0,15 12,6 20,4 0 23,3 280 0 0 0 1 1 1 0 0 0 0 0 1 1 1 0 21,5 17,1 23 22,5 -4 -1,6 -2,4 17,20 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 21,2 27,6 17,4 26,8 28,5 -0,8 26 10,30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 22,9 10,4 19,2 14,6 0,54 11,1 13,9 14

3,16 0,43 1,17 0,7 1,18 3,99 2,56 3,59 0 0 0 0 0 0 0 0 6,72 28,6 22,6 26,4 22,6 0,06 11,5 3,252,58 3,19 0,32 2,83 3,18 0,28 2,57 1,28 0 0 0 0 0 0 0 0 11,3 8,45 31,5 13,4 10,6 33,7 15,4 21,70,26 7,25 6,36 2,88 2,95 3,32 2,95 1,51 0 1 1 0 0 0 0 0 29,9 -26 -19 10,9 12,4 9,44 12,4 19,91,45 6,79 4,9 1,94 0,96 2,48 0,56 2,91 0 1 1 0 0 0 0 0 20,4 -22 -7,2 18,5 28,4 14,2 31,5 8,71,49 2,05 3,98 2,43 1,44 4 1,09 0,5 0 0 0 0 0 0 0 0 20 17,6 2,15 16,6 20,4 2 23,3 281,32 1,87 1,13 1,19 4,5 4,2 4,3 1,85 0 0 0 0 1 1 1 0 21,5 21,1 27 24,5 -2 -5,6 -0,4 17,21,35 0,56 1,82 0,65 0,44 4,1 0,75 2,71 0 0 0 0 0 0 0 0 21,2 31,6 21,4 30,8 28,5 1,2 26 10,31,14 2,7 1,61 2,17 3,93 2,62 2,26 2,25 0 0 0 0 0 0 0 0 22,9 10,4 19,2 14,6 0,54 11,1 13,9 14

mu0 2 beta 2mu1 6

Image des labels ‘vérité’

Classification aveugle

termes attache aux données

énergies avec terme voisinage

Classification MRF-ICM (itération 1)

Image données

Paramètres classification

Décision A Contrario

• Principe de Helmholtz : 1. modélisation du cas où il n’y a rien (modèle

‘naïf’) et

2. contradiction éventuelle de ce modèle

• Cas de la détection de changements : Classe ‘non changement’ modèle naïf (&

Classe ‘non changement’ non modélisée !) Estimation de la ‘vraisemblance’ de

l’observation sous hyp. du modèle naïf Décision

• sur la valeur de probabilité ~ tests a contrario de Fisher• sur le “nombre de fausses alarmes”

• 1 structure est présente dans 1 groupe d’objets quand la configuration de ces derniers ne peut arriver par simple hasard (sauf exception).

• Introduit en TI par A. Desolneux (2000)

Exemple 1 : détection basée sur les valeurs radiométriques de pixels

• Modèle naïf :En l’abs. de changements, l’image différence est un champ aléatoire

de variables indépendantes gaussiennes centrées

L’erreur quadratique cumulée sur 1 sous-ensemble de pixels Wi :

a 1 fct de répartition qui suit une loi du

2.

• Critère NFA :principe : mesurer le degré d’étonnement d’1 observation

NFA = où |E| est un ‘nombre de tests’

• Significativité maximale :1 évènement est -significatif si son NFA est < On cherche les sous-ensemble de pixels Wi de significativité max.,

i.e. de NFA minimal

iWs

sD 22 2zPEx. : pour 1 pièce supposée non truquée, il n’est pas vraiment étonnant de ne pas tirer ‘face’ sur 1 tirage aléatoire ; par contre il est très étonnant de

tirer 0 fois ‘face’ sur 10 tirages aléatoires !

22 zPE

Conversion d’1 proba. en 1 nombre de fausses alarmes

Exemple 1 : résultats

• Cas où Wi est quelconque

sur l’ensemble des pixels de

l’image : |E| = et

• Cas où Wi est 1 fenêtre rectangulaire de nk pixels :

|E| = et

iWS

CS .

iSW

WNFAWi

minarg~

kiC inSk ,1,

de dimensions fixées e.g. 1010, 1020,

2010, 2020)

jWWW

i

i

i WNFAWNFA

NFAWNFAWW

jij :

max

minarg~

Exemple 2 : détection basée sur les labels

• L’image de données est 1 image de labels 0

– 0 {‘changement’=‘C’, ‘non changement’=‘NC’, ‘indéterminé’=‘I’}

– 0 attribué au niveau pixel erreurs

• Modèle naïf :En l’abs. de changements, les labels 0=‘changements’ sont répartis

uniformément sur l’image

Le # de pixels labelisés ‘C’, |{‘C’}Wi|, dans 1 sous-ensemble compact de

|Wi| pixels suit une loi binômiale :

• Résultats :

ii WWpi CzBWNFA '',

knkknnp ppCkzB 1,

Étiquettage par méthode 1.1

Étiquettage sur valeur de gradient

Flot optique• Pb: Soit 2 images acquises à t et t+1. Quel est le

champ des vitesses associé à l’image ?

Applications : suivi d’objets, détection de mouvement…

sous-pb : Quel est le champ des vecteurs de déplacement apparent de chaque objet de l’image entre t et t+1 ?

identifier les couples de pixels susceptibles d’appartenir à un même objet dans les 2 images à t et à t+1 définir 1 critère d’association des pixels

sélectionner la ‘bonne’ sol. parmi des sol. multiples définir un critère de régularisation du champ des déplacements

i.e. dans l’image ; peut être différent du déplacement réel

dans la scène 3D

0..

t

f

t

y

y

f

t

x

x

f

dt

df

• Soit f(x,y,t) l’image vue comme une fct donnant la ‘brillance’ (niv. de gris) d’un objet en (x(t),y(t)) à t

• Hypothèse de base = conservation de la ‘brillance’

des objets au cours du temps

• En pratique,

– minimisation de la norme (L1) :

avec

– régularisation du champ des vitesses

Éviter ces solutions !

Flot optique : formulation (I)

t

yv

t

xutyxz

z

ff z

et , ,,,

dfvfufddt

dftvx ..

Flot optique : formulation (II)

• Ajout d’1 terme de régularisation énergie à minimiser : (*)

avec

– Horn & Schunk (1981) :

– Weickert & Schnörr (2000) :

avec

et l’énergie est intégrée sur 1 domaine spatio-temporel [0,T] dans (*)

22222

y

v

x

v

y

u

x

uEr

tyxd fvfufE ..

222 vuEr

dEE rd222 .

0et ,10où ,1.1.2

2222 z

zz

Flot optique : résolution (I)

• Rappel : soit 1 fct J dépendant de d’1 fct f et de sa

dérivée première :

alors 1 extremum de J (s’) est la fct f(x) qui satisfait

l’équation d’Euler-Lagrange

Cas Horn & Schunck

et

(**)

0

xf

L

dx

d

f

L

dxxfxfxLfJ x,,

2222

22y

v

x

v

y

u

x

ufvfufL tyx

tyxx fvfuffu

L

2

tyyyx

txyxx

ffvvfuff

ffuvffuf222

222

2

2

2

22

'2

' y

u

x

u

u

L

d

d

y

u

x

u

u

L

On pose f=f0+f1, avec f1 quelconque nulle sur les bords de . Alors si f0 est 1 minimum, la dérivée de J par rapport à est nulle en =0 : . Or : 0',,

0

ffxJ

d

d

dx

f

J

dx

d

f

Jff

f

Jdx

f

J

dx

df

f

Jfdxf

f

Jf

f

JdxffxL

d

d

'.''

..'.'

.)',,( 111111

Flot optique : résolution (II)• Approximation du Laplacien et des dérivées 1ères par

filtrage linéaire :

et

• En remplaçant dans le système (**)

• Que l’on résout de façon itérative (n numéro d’itération):

1,11,11,11,1

1,1,,1,1

12

16

1

jijijiji

jijijiji

uuuu

uuuuujijiji uuu ,,,2

tyyyx

txyxx

ffvvfuff

ffuvffuf222

222

tyxyxyx

txyxyyx

ffvfuffvff

ffvffufuff22222

22222

2221

2221

yxtyn

yynn

yxtyn

xxnn

fffvfvffvv

fffvfuffuu

1

,,1,1,1,,,1,, 4

1 t

tkkjikjikjikjijix fffff

tyyxytxyxyx

yty

yxtx

yyx

yxx

ffvfffffuuffff

fffv

ffffuu

fff

fff

222222222

222

2

22

22

Flot optique : exemples de résultats

Flot optique : exemples de résultats