fusion multi-capteur pour la détection d'obstacle 29 mars 2007 29 mars 2007 d. gruyer, d....

Fusion multi-capteur pour la détection d'obstacle

29 mars 200729 mars 2007D. Gruyer, D. Aubert, L. Smadja, M. Perrollaz, T. Veit

suivi par stéréo vision

Détection et suivi par stéréo visionDétection et suivi par stéréo vision

Extraction des

primitives

Extraction des

primitives

Carte de

disparitéV- Disparité:

(Plan de la route)

Disparité:Deuxième passe(carte obstacle)

Extraction zones d’intérêt obstacles

Confirmation et affinage

association

Calcul des vecteurs d’état des obstacles:U,V, et dU,dV, d

Matrice d’observationNon linéaire

Correction

Détectio

n

Volumes de prédiction

PistesPistes

x,y,z x,y,z dx,dy,dzdx,dy,dz

TransformationCartesien image

PrédictionModèle linéaire

Cibles

Mesure tangage et hauteur dans

la nouvelle image

Asso

ciation

et préd

iction

Vecteurs d’états des obstacles

Xk/k Xk/k-1

Xk+1/k

Xk/k Volumes observés par obstacle

Kalman

Détection et suivi par stéréo visionDétection et suivi par stéréo vision

Avantages:

Calibrage automatique non trivial Précision se dégrade en fonction de la profondeur de l’objet La portée est directement liée à la résolution de l’image et à la longueur de la base. plus on veut voir loin, plus la longueur de la base augmente, plus le temps de calcul augmente. Portée de détection limitée à 40m Quelques non détection et quelques fausses alarmes soit zone de recherche, soit problème de suivi. mauvaise précision pour l’estimation de la vitesse des objets

Inconvénients

Détection des objets sur la route et discrimination en fonction de leurs hauteurs. Efficace dans des situations dégradées. Fonctionnement « temps réel » avec une résolution réduite (quart de PAL) estimation du plan de la route (route non plane) pour une meilleure détection des objets au dessus de la route Robuste aux faux appariements Limite les fausses détections et les non détections

Détection et suivi par télémétrie laser à balayageDétection et suivi par télémétrie laser à balayageArchitecture générale du suivi d’objet

capteur

Acquisitiondes données Modélisation

Détection des objets

Association Correction

prédiction

Étape de détectionÉtape de détection

Étape de suiviÉtape de suivi Cibles

Pistes

Pistes

2 approches:•Par regroupement dynamique•Par connexité

Multi-plansMéthode par plan +Union des intersection +discrimination

,.,.

,.),( ,.,.

ji

j

ji

ikM

Piste 1

Critère 1Critère 2

…Critère n

Piste n

Critère 1Critère 2

…Critère n

Combinaison multi-critères

Combinaison multi-critères

Combinaison multi-objets

Transformée Pignistique

P(H1)P(H2)

.

.

.P(Hk)

Cible iCible i

Pistes

Avantages:

Inconvénients

Détection et suivi par télémétrie laserDétection et suivi par télémétrie laser

Détection précise Précision indépendant de la distance de l’objet portée à 60 mètres Fonctionnement « temps réel » (cadence double de la stéréovision) Gestion des apparitions, des disparitions et de la propagation des pistes Estimation de la confiance sur le suivi

Perception sur 1 plan horizontal Sensible au mouvement du véhicule (tangage, roulis) Sensible au coefficient de réflexion des matériaux (pour les objets lointains) Un peu sensible aux conditions climatiques (pluie, soleil) pour les objets lointains

capteur 2

X12 X2

2

Pistes ( capteur 3)

Capteur3

X13 X2

3

X33

Capteur1

X11 X2

1

X31

X41

1

2

1

2

2

3

2

3

1

3

1

3

X11

X22

X21

X31

X12

X13

X33

X23

X41

Association deux à deux Association finale

Fusion stéréovision/télémétrie laserFusion stéréovision/télémétrie laser

Pistes ( capteur 2)

Pistes ( capteur 1)

Association multi-capteurs (première idée)Association multi-capteurs (première idée)

Détection et

suivi locale

Détection et

suivi locale

Détection et

suivi locale

Détection et

suivi locale

Détection et

suivi locals

Détection et

suivi locals

Détection locale Sources fusion

Association 2 à 2 Association 2 à 2 (approche théorie des croyances)(approche théorie des croyances)

Matrice de fusion globale finale filtréeMatrice de fusion globale finale filtrée

Matrice de fusion globaleMatrice de fusion globale

,.,.

,.),( ,.,.

ji

j

ji

ikM

1 2 3 4 5 6 7 8 9

1 1 0 0 0 0 1 1 0 0

2 0 1 0 0 0 0 0 0 0

3 0 0 1 0 1 0 0 0 1

4 0 0 0 1 0 0 0 1 0

5 0 0 1 0 1 0 0 0 1

6 1 0 0 0 0 1 1 0 0

7 1 0 0 0 0 1 1 0 0

8 0 0 0 1 0 0 0 1 0

9 0 0 1 0 1 0 0 0 1

11 22 33 44 55 66 77 88 99

11 1 0 0 0 0 1 1 0 0

22 0 1 0 0 0 0 0 0 0

33 0 0 1 0 1 0 0 0 1

44 0 0 0 1 0 0 0 1 0

Pistes globalesPistes globales

Diagramme RTMaps de fusion multi-capteurDiagramme RTMaps de fusion multi-capteur

Suivi des objectsSuivi des objects

Fusion stéréovision/télémétrie laser/radarFusion stéréovision/télémétrie laser/radarFusion multi capteur (première idée)Fusion multi capteur (première idée)

Fusion stéréovision/télémétrie laser/radarFusion stéréovision/télémétrie laser/radarProjets CARSENSE et MICADO (première idée)Projets CARSENSE et MICADO (première idée)

Détection d’obstacle par Stéréovision (v-disparité)

Détection d’obstacle par regroupement d’impacts dynamique

y

x

AssociationMulti-objets

Prédiction pistes

Association, apparition, disparition, propagation

Cibles


Prédiction pistes

Cibles

FusionFusion

Fusion stéréovision/télémétrie laser

Obstacle potentiel

Zone d’intérêt

VisionVision

LaserLaser

Association, apparition, Association, apparition, disparition, propagationdisparition, propagation

Fusion stéréovision/télémétrie laser

• Manque de précision des pistes pour l’estimation de la vitesse( on n’utilise pas le capteur le plus précis comme référence)

• Influence forte des capteurs sur le résultat de la fusion(Risque plus grand de fausse alarme et de non détection)

• Sensibilité au calibrage des capteurs

Radar LRRadar LR LidarLidar

Détection d’obstacle par Stéréovision (v-disparité)

Détection d’obstacle par regroupement d’impacts dynamique

y

x

Association, apparition, Association, apparition, disparition, propagationdisparition, propagation



Prédiction pistes

Cibles

FusionFusion

Fusion coopérative stéréovision/télémétrie laserFusion coopérative stéréovision/télémétrie laser

Obstacle potentiel

Obstacle potentiel

Zone d’intérêt

Confirmation des pistes laser

Confiance par piste

Pistes laser

LaserLaser

VisionVision

Détection LaserDétection Laser Confirmation par stéréovisionConfirmation par stéréovision+ confiances+ confiances

Détection coopérativeDétection coopérative


Avantages:

Inconvénients

Détection précise en 3D Précision indépendant de la distance de l’objet Portée à 60 mètres. Fonctionnement « temps réel »??Deux approche possible:

fusion multi-capteurs multi-pistes (coût du traitement, perception à 70 m traitement plus coûteux)fusion coopérative (dépendance des capteurs, exploitation de la stéréovision dans des zones réduites)

Robuste aux faux appariements. Fausses détections et non détections très faible. Estimation de la confiance sur le suivi

Calibrage Dépendance des capteurs


Tests sur piste :Tests sur piste :

Taux de détection réussie = 92,68 % Taux de détections tardives = 4,87 %Taux de non détection = 2,44 %Taux de fausses alarmes = 1,64 %

AméliorationsAméliorations

• Améliorer le taux de détection • Étendre la méthode à la zone de perception définie dans LOVE• Prendre en compte les caractéristiques du télémètre 4 couches• Évaluer l’impact d’une fréquence de 10hz pour le laser

( problèmes de suivi ??? Estimation de la vitesse)• Étendre la portée de la perception (stéréovision longue portée > 60 mètres) • Amélioration de la gestion des conflits• Sensibilité au calibrage multi capteur

Améliorations de l’existantAméliorations de l’existant

Tests et validation (SiVIC)Tests et validation (SiVIC)

Environnement et capteurs virtuelsSiVIC

RTMaps Données des capteurs

Résultat

fusion multi-capteur pour la détection d'obstacle 29 mars 2007 29 mars 2007 d. gruyer, d....

Documents