Zakaria MabedZakaria Mabed

Université de Marne la ValléeUniversité de Marne la ValléeÉcole Nationale des Sciences GéographiquesÉcole Nationale des Sciences Géographiques

(France)(France)UNIVERSITÉ

LAVAL

Application d’algorithmes d’extraction de la couleur et des textures à partir d’images

aériennes dans le contexte de l’extraction de bâtiments pour

supporter le peuplement des bases de données géospatiales à

représentation multiples

Introduction

Ce projet de stage s’inscrit dans le cadre des travaux de Ce projet de stage s’inscrit dans le cadre des travaux de Doctorat de Benoît FrédéricqueDoctorat de Benoît Frédéricque

Objectif général du DoctoratObjectif général du DoctoratRéduction des interventions de l’opérateur dans le processus Réduction des interventions de l’opérateur dans le processus de peuplement des bases de données 3D à représentation de peuplement des bases de données 3D à représentation multiple (BDRM-3D)multiple (BDRM-3D)

Moyens:Moyens:Implication explicite de connaissances a priori dans le Implication explicite de connaissances a priori dans le processusprocessusExploitation du concept de Exploitation du concept de Instance Driven SASSInstance Driven SASS

Objectif spécifique du stageObjectif spécifique du stageavoir un ou plusieurs algorithme(s) performants qui extraient avoir un ou plusieurs algorithme(s) performants qui extraient

le contour des bâtiments en connaissant a priori leurs le contour des bâtiments en connaissant a priori leurs couleurs et éventuellement leurs texturescouleurs et éventuellement leurs textures

Organisation du projet de stage

Objectif spécifique du stageObjectif spécifique du stageavoir un ou plusieurs algorithme(s) performants qui avoir un ou plusieurs algorithme(s) performants qui extraient le contour des bâtiments en connaissant a priori extraient le contour des bâtiments en connaissant a priori leurs couleurs et éventuellement leurs texturesleurs couleurs et éventuellement leurs textures

Problématiques:Problématiques:Quelles sont les différentes méthodes d’exploitation de la Quelles sont les différentes méthodes d’exploitation de la couleur?couleur?

Est-ce que la couleur peut aider l’extraction des contours?Est-ce que la couleur peut aider l’extraction des contours?

Est-ce que la couleur apporte une contribution Est-ce que la couleur apporte une contribution

supplémentaire aux approches traditionnelles d’extraction supplémentaire aux approches traditionnelles d’extraction

de contour?de contour?

Organisation du projet de stage

Le stage se divise en 2 parties :Le stage se divise en 2 parties :

1.1. État de l’art des algorithmes de segmentation d’images État de l’art des algorithmes de segmentation d’images en couleur (mars -> avril)en couleur (mars -> avril)

Définition des espaces de couleur les plus appropriésDéfinition des espaces de couleur les plus appropriés

Sélection des méthodes les plus en adéquation avec le Sélection des méthodes les plus en adéquation avec le contexte général du projet (méthodes simples, robustes, contexte général du projet (méthodes simples, robustes, rapides, …)rapides, …)

2.2. Développement et tests (mai -> août)Développement et tests (mai -> août)Réalisation d’une application logicielle impliquant les Réalisation d’une application logicielle impliquant les méthodes de segmentation sélectionnéesméthodes de segmentation sélectionnées

Réalisation d’un banc d’essai sur des jeux de Réalisation d’un banc d’essai sur des jeux de

données représentatifs (images satellitaires Quickbird données représentatifs (images satellitaires Quickbird

et Ikonos)et Ikonos)

Choix d’un espace colorimétrique

Différents espaces colorimétriquesDifférents espaces colorimétriquesL’espace Rouge Vert Bleu (RVB)L’espace Rouge Vert Bleu (RVB)

Il est basé sur la trichromieIl est basé sur la trichromieC’est le plus utiliséC’est le plus utilisé

Les espaces Lab et LuvLes espaces Lab et LuvL désigne la luminance et a,b et u,v la couleurL désigne la luminance et a,b et u,v la couleurCe sont des espaces uniformes : Les couleurs sontCe sont des espaces uniformes : Les couleurs sont

différenciée de la même manière que par notre oeildifférenciée de la même manière que par notre oeil

L’espace Teinte Saturation Luminance (TSL)L’espace Teinte Saturation Luminance (TSL)C’est l’espace le plus perceptuelC’est l’espace le plus perceptuel

L’espace TSL est le plus intéressant car c’est le L’espace TSL est le plus intéressant car c’est le plus perceptuel et la teinte est indépendante de plus perceptuel et la teinte est indépendante de certains effets d’ombrage et certains effets spéculairescertains effets d’ombrage et certains effets spéculaires

Exemple : Teinte Saturation LuminanceImage

OriginaleTeinte

Saturation Luminance

État de l’art: la segmentation couleur

Exploitation de la librairie OpenCv d’IntelExploitation de la librairie OpenCv d’IntelNombreuses fonctions utilesNombreuses fonctions utiles

Détection de contours (Sobel, Canny, …)Détection de contours (Sobel, Canny, …)Détection de coinsDétection de coinsSegmentation d’images (hiérarchique exploitant la couleur, k-Segmentation d’images (hiérarchique exploitant la couleur, k-means, …)means, …)Fonctions de morphologie mathématique (érosion, ouverture, Fonctions de morphologie mathématique (érosion, ouverture, …)…)Fonctions de filtrageFonctions de filtrageFonctions de transformation d’espace de couleurFonctions de transformation d’espace de couleur

Recherche dans la littératureRecherche dans la littérature« Color Image Segmentation: A State-of-the-Art Survey » (L. Lucchese and S.K. Mitra)

Méthodes utilisant un espace de caractéristiquesMéthodes travaillant directement sur l’imageMéthodes basées sur des modèles physiques

État de l’art: la segmentation couleur

Approches retenues pour l’instantApproches retenues pour l’instantLibrairie OpenCv d’IntelLibrairie OpenCv d’Intel

Fonctions de transformation d’espace de couleur Fonctions de transformation d’espace de couleur Détection de contoursDétection de contours

Sobel (niveaux de gris et espace couleur)Sobel (niveaux de gris et espace couleur)Détection de coinsDétection de coinsFonctions de morphologie mathématiqueFonctions de morphologie mathématique

« Color Image Segmentation: A State-of-the-Art Survey » (L. Lucchese and S.K. Mitra)

Méthodes travaillant directement sur l’image segmentation par croissance de régions

Méthodes basées sur des modèles physiques calcul de quasi invariants aux effets spéculaires

et d’ombrage

Évaluation des résultats

Établir des critères pour choisir les algorithmes les plus adaptés à Établir des critères pour choisir les algorithmes les plus adaptés à l’objectif finall’objectif final

temps de calcultemps de calculSimplicité des réglagesSimplicité des réglagesRobustesseRobustesse……

Comparer les contours extraits avec les algorithmes exploitant la Comparer les contours extraits avec les algorithmes exploitant la couleur avec des données vectorielles (« vérité terrain »)couleur avec des données vectorielles (« vérité terrain »)

Qualité de chaque méthode individuelleQualité de chaque méthode individuelle

Comparer les contours extraits avec chacun des algorithmes Comparer les contours extraits avec chacun des algorithmes exploitant la couleurexploitant la couleur

Performance relative de chaque méthodePerformance relative de chaque méthode

Comparer les contours extraits avec les algorithmes exploitant la Comparer les contours extraits avec les algorithmes exploitant la couleur avec les contours extraits avec des méthodes ne couleur avec les contours extraits avec des méthodes ne l’exploitant pasl’exploitant pas

Apport de la couleurApport de la couleur

Quelques résultats

Application du Application du filtre Sobel à filtre Sobel à l’image en niveaux l’image en niveaux de gris de gris (Composante (Composante Intensité) puis Intensité) puis seuillageseuillage

Application du Application du filtre Sobel à filtre Sobel à l’image de Teinte l’image de Teinte puis seuillagepuis seuillage

Textures ?

Pour l’instant le travail se fait surtout sur Pour l’instant le travail se fait surtout sur la couleur mais de nombreux algorithmes la couleur mais de nombreux algorithmes combinent couleur et texturecombinent couleur et texture

Les toits des bâtiments sont très peu Les toits des bâtiments sont très peu texturéstexturés

recherche sur l’absence de texture?recherche sur l’absence de texture?

Exploitation de la texture présente dans Exploitation de la texture présente dans l’environnement?l’environnement?

Merci de votre attention

Questions?