intérpretation automatique de nuages de points lidar...
TRANSCRIPT
Interpretation automatique denuages de points LiDAR
Journee Recherche 2017
Loic Landrieu
MATIS - IGN
Mars 2017
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
1 Semantisation de nuagede point LiDAR
2 Regularisation paroptimisation structuree
3 Presegmentation pour laclassification
Classification structuree � Mars 2017 � 2 / 23 MATIS - IGN
ISemantisationde nuage depoint LiDAR
Presentation duprobleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Presentation Layout
1 Semantisation de nuage de point LiDAR
2 Regularisation par optimisation structuree
3 Presegmentation pour la classification
Classification structuree � Mars 2017 � 3 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Acquisition LIDAR
Un outil de teledectionactif par LASER
Fixe, embarque, mobile
Produit un nuage de point3D tres precis
Un tres large champsd’application (topographie,archeologie, defense...)
Reconstruction de surface
guidage automatique devehicules
Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Acquisition LIDAR
Un outil de teledectionactif par LASER
Fixe, embarque, mobile
Produit un nuage de point3D tres precis
Un tres large champsd’application (topographie,archeologie, defense...)
Reconstruction de surface
guidage automatique devehicules
Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Acquisition LIDAR
Un outil de teledectionactif par LASER
Fixe, embarque, mobile
Produit un nuage de point3D tres precis
Un tres large champsd’application (topographie,archeologie, defense...)
Reconstruction de surface
guidage automatique devehicules
Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Acquisition LIDAR
Un outil de teledectionactif par LASER
Fixe, embarque, mobile
Produit un nuage de point3D tres precis
Un tres large champsd’application (topographie,archeologie, defense...)
Reconstruction de surface
guidage automatique devehicules
Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Acquisition LIDAR
Un outil de teledectionactif par LASER
Fixe, embarque, mobile
Produit un nuage de point3D tres precis
Un tres large champsd’application (topographie,archeologie, defense...)
Reconstruction de surface
guidage automatique devehicules
Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Acquisition LIDAR
Un outil de teledectionactif par LASER
Fixe, embarque, mobile
Produit un nuage de point3D tres precis
Un tres large champsd’application (topographie,archeologie, defense...)
Reconstruction de surface
guidage automatique devehicules
Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Caracterestiques des donnees
Une volumetrie importante
Une densite tres variable
Artefacts d’acquisition
Structure: plus de pointsque d’objets, structureurbaine
Structure plus complexequ’une image
Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Caracterestiques des donnees
Une volumetrie importante
Une densite tres variable
Artefacts d’acquisition
Structure: plus de pointsque d’objets, structureurbaine
Structure plus complexequ’une image
Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Caracterestiques des donnees
Une volumetrie importante
Une densite tres variable
Artefacts d’acquisition
Structure: plus de pointsque d’objets, structureurbaine
Structure plus complexequ’une image
Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Caracterestiques des donnees
Une volumetrie importante
Une densite tres variable
Artefacts d’acquisition
Structure: plus de pointsque d’objets, structureurbaine
Structure plus complexequ’une image
Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Caracterestiques des donnees
Une volumetrie importante
Une densite tres variable
Artefacts d’acquisition
Structure: plus de pointsque d’objets, structureurbaine
Structure plus complexequ’une image
Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Methodes de classification
Descripteurs de lageometrie locale
Descripteurs globaux
Apprentissage supervise(Random Forest, etc...)
⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]
dimensionalite
verticaliteClassification structuree � Mars 2017 � 6 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Methodes de classification
Descripteurs de lageometrie locale
Descripteurs globaux
Apprentissage supervise(Random Forest, etc...)
⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]
elevation
distance a la routeClassification structuree � Mars 2017 � 6 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Methodes de classification
Descripteurs de lageometrie locale
Descripteurs globaux
Apprentissage supervise(Random Forest, etc...)
⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]
Classification structuree � Mars 2017 � 6 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Methodes de classification
Descripteurs de lageometrie locale
Descripteurs globaux
Apprentissage supervise(Random Forest, etc...)
⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]
Classification structuree � Mars 2017 � 6 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Affectation probabiliste
Permet d’associer unemesure de la certitude
Classement des labels parordre de certitude
Courbes de precisionpartielle
⇒ quand la precision estplus importante que lerappel (guidageautomatique)
⇒ quand le rappel estimportant que la precision(anonymisation)
Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Affectation probabiliste
Permet d’associer unemesure de la certitude
Classement des labels parordre de certitude
Courbes de precisionpartielle
⇒ quand la precision estplus importante que lerappel (guidageautomatique)
⇒ quand le rappel estimportant que la precision(anonymisation)
70 75 80 85 90 95 10095
96
97
98
99
100
proportion du nuage annotee en %
prec
isio
npa
rtie
lleen
%
confiance
Labelinglabeling probabiliste
Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Affectation probabiliste
Permet d’associer unemesure de la certitude
Classement des labels parordre de certitude
Courbes de precisionpartielle
⇒ quand la precision estplus importante que lerappel (guidageautomatique)
⇒ quand le rappel estimportant que la precision(anonymisation)
70 75 80 85 90 95 10095
96
97
98
99
100
proportion du nuage annotee en %
prec
isio
npa
rtie
lleen
%
confiance
Labelinglabeling probabiliste
Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Affectation probabiliste
Permet d’associer unemesure de la certitude
Classement des labels parordre de certitude
Courbes de precisionpartielle
⇒ quand la precision estplus importante que lerappel (guidageautomatique)
⇒ quand le rappel estimportant que la precision(anonymisation)
Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IPresentationdu probleme
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Affectation probabiliste
Permet d’associer unemesure de la certitude
Classement des labels parordre de certitude
Courbes de precisionpartielle
⇒ quand la precision estplus importante que lerappel (guidageautomatique)
⇒ quand le rappel estimportant que la precision(anonymisation)
Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
IRegularisationparoptimisationstructuree
Regularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Presentation Layout
1 Semantisation de nuage de point LiDAR
2 Regularisation par optimisation structuree
3 Presegmentation pour la classification
Classification structuree � Mars 2017 � 8 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Pourquoi regulariser?
Beaucoup plus de pointsque d’objets
⇒ un point est (enmoyenne) entoure de pointsavec la meme classe
Classification point parpoint aucune regularite
Classifcation reguliere =meilleure precision
Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Pourquoi regulariser?
Beaucoup plus de pointsque d’objets
⇒ un point est (enmoyenne) entoure de pointsavec la meme classe
Classification point parpoint aucune regularite
Classifcation reguliere =meilleure precision
Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Pourquoi regulariser?
Beaucoup plus de pointsque d’objets
⇒ un point est (enmoyenne) entoure de pointsavec la meme classe
Classification point parpoint aucune regularite
Classifcation reguliere =meilleure precision
Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Pourquoi regulariser?
Beaucoup plus de pointsque d’objets
⇒ un point est (enmoyenne) entoure de pointsavec la meme classe
Classification point parpoint aucune regularite
Classifcation reguliere =meilleure precision
Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Presentation du probleme
V = nuage de point.
K = ensemble de classes
p ∈ [0, 1]K×V probabilitepoints par points
G = (V ,E ) graphed’adjacence (plus prochevoisins)
l ∈ KV labeling recherchevegetation, routes. facades,voitures, amenagements, arte-facts,
Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Presentation du probleme
V = nuage de point.
K = ensemble de classes
p ∈ [0, 1]K×V probabilitepoints par points
G = (V ,E ) graphed’adjacence (plus prochevoisins)
l ∈ KV labeling recherche
vegetation, routes. facades,voitures, amenagements, arte-facts,
Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Presentation du probleme
V = nuage de point.
K = ensemble de classes
p ∈ [0, 1]K×V probabilitepoints par points
G = (V ,E ) graphed’adjacence (plus prochevoisins)
l ∈ KV labeling recherche
vegetation, routes. facades,voitures, amenagements, arte-facts,
Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Presentation du probleme
V = nuage de point.
K = ensemble de classes
p ∈ [0, 1]K×V probabilitepoints par points
G = (V ,E ) graphed’adjacence (plus prochevoisins)
l ∈ KV labeling recherche
vegetation, routes. facades,voitures, amenagements, arte-facts,
Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Presentation du probleme
V = nuage de point.
K = ensemble de classes
p ∈ [0, 1]K×V probabilitepoints par points
G = (V ,E ) graphed’adjacence (plus prochevoisins)
l ∈ KV labeling recherchevegetation, routes. facades,voitures, amenagements, arte-facts,
Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Modele graphique pour la regularisation
Modele probabiliste: Conditionalrandom field (CRF):
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Resolution par message-passingalgorithms (LBP): lent et peuprecis
Resolution par Graph-cut: rapidemais perd l’aspect probabiliste
COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL
CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017
Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Modele graphique pour la regularisation
Modele probabiliste: Conditionalrandom field (CRF):
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Resolution par message-passingalgorithms (LBP): lent et peuprecis
Resolution par Graph-cut: rapidemais perd l’aspect probabiliste
COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL
CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017
Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Modele graphique pour la regularisation
Modele probabiliste: Conditionalrandom field (CRF):
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Resolution par message-passingalgorithms (LBP): lent et peuprecis
Resolution par Graph-cut: rapidemais perd l’aspect probabiliste
COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL
CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017
Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Modele graphique pour la regularisation
Modele probabiliste: Conditionalrandom field (CRF):
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Resolution par message-passingalgorithms (LBP): lent et peuprecis
Resolution par Graph-cut: rapidemais perd l’aspect probabiliste
COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL
CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017
Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Modele graphique pour la regularisation
70 75 80 85 90 95 10095
96
97
98
99
100
proportion annotee en %
prec
isio
nen
%
α-expansionLBP
Classification structuree � Mars 2017 � 12 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Regularisation par optimisation structuree
CRF:
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Optimization structuree:
F (q) =∑v∈V
φ(qv , pv ) +∑
(i ,j)∈E
wu,vψ(qi − qj)
q un label ou une distributrion
φ : fonction de fidelite
ψ : fonction de regularization
Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Regularisation par optimisation structuree
CRF:
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Optimization structuree:
F (q) =∑v∈V
φ(qv , pv ) +∑
(i ,j)∈E
wu,vψ(qi − qj)
q un label ou une distributrion
φ : fonction de fidelite
ψ : fonction de regularization
Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Regularisation par optimisation structuree
CRF:
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Optimization structuree:
F (q) =∑v∈V
φ(qv , pv ) +∑
(i ,j)∈E
wu,vψ(qi − qj)
q un label ou une distributrion
φ : fonction de fidelite
ψ : fonction de regularization
Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Regularisation par optimisation structuree
CRF:
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Optimization structuree:
F (q) =∑v∈V
φ(qv , pv ) +∑
(i ,j)∈E
wu,vψ(qi − qj)
q un label ou une distributrion
φ : fonction de fidelite
ψ : fonction de regularization
Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Regularisation par optimisation structuree
CRF:
L(l) = −∑v∈V〈lv , log(pv )〉+
∑(i ,j)∈E
wu,vδ(li 6= lj)
Optimization structuree:
F (q) =∑v∈V
φ(qv , pv ) +∑
(i ,j)∈E
wu,vψ(qi − qj)
q un label ou une distributrion
φ : fonction de fidelite
ψ : fonction de regularization
Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de fidelite
lineaire
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
quadratique
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
Kullback-Leibler
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
? probabilite observee fidelite haute fidelite basse
Classification structuree � Mars 2017 � 14 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de fidelite
lineaire
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
quadratique
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
Kullback-Leibler
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
? probabilite observee fidelite haute fidelite basse
Classification structuree � Mars 2017 � 14 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de fidelite
lineaire
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
quadratique
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
Kullback-Leibler
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
p1p 2
p3
? probabilite observee fidelite haute fidelite basse
Classification structuree � Mars 2017 � 14 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de penalite
Penalite de Pottsψ(li − lj) = δ(li 6= lj)
optimisation combinatoire(α-expansion)
Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)
approche gloutonne (`0-cutpursuit)
relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)
0 0.5 1
0
0.5
1
0
01
1
qa,1
q b,1
Ψ(qa − qb) pour K = {1, 2}
Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de penalite
Penalite de Pottsψ(li − lj) = δ(li 6= lj)
optimisation combinatoire(α-expansion)
Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)
approche gloutonne (`0-cutpursuit)
relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)
0 0.5 1
0
0.5
1
0
01
1
qa,1
q b,1
Ψ(qa − qb) pour K = {1, 2}
Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de penalite
Penalite de Pottsψ(li − lj) = δ(li 6= lj)
optimisation combinatoire(α-expansion)
Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)
approche gloutonne (`0-cutpursuit)
relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)
0 0.5 1
0
0.5
1
qa,1
q b,1
Ψ(qa − qb) pour K = {1, 2}
Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de penalite
Penalite de Pottsψ(li − lj) = δ(li 6= lj)
optimisation combinatoire(α-expansion)
Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)
approche gloutonne (`0-cutpursuit)
relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)
0 0.5 1
0
0.5
1
qa,1
q b,1
Ψ(qa − qb) pour K = {1, 2}
Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de penalite
Penalite de Pottsψ(li − lj) = δ(li 6= lj)
optimisation combinatoire(α-expansion)
Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)
approche gloutonne (`0-cutpursuit)
relaxation convexeψ(qi − qj) = ‖qi − qj‖
optimization convexe (PFDR)
0 0.5 1
0
0.5
1
qa,1
q b,1
Ψ(qa − qb) pour K = {1, 2}
Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IRegularisationpar modelegraphiques
Resultats
Presegmentationpour laclassification
Fonction de penalite
Penalite de Pottsψ(li − lj) = δ(li 6= lj)
optimisation combinatoire(α-expansion)
Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)
approche gloutonne (`0-cutpursuit)
relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)
0 0.5 1
0
0.5
1
qa,1
q b,1
Ψ(qa − qb) pour K = {1, 2}
Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Regularisationpar modelegraphiques
IResultats
Presegmentationpour laclassification
Resultats
70 75 80 85 90 95 100
95
96
97
98
99
100
coverage in %
F-s
core
in%
LBPlog potts (CRF)
KL Pottslin TV
log TVKL TVKL bound
A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu
Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin
Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Regularisationpar modelegraphiques
IResultats
Presegmentationpour laclassification
Resultats
70 75 80 85 90 95 100
95
96
97
98
99
100
coverage in %
F-s
core
in%
LBPlog potts (CRF)KL Pottslin TV
log TV
KL TVKL bound
A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu
Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin
Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Regularisationpar modelegraphiques
IResultats
Presegmentationpour laclassification
Resultats
70 75 80 85 90 95 100
95
96
97
98
99
100
coverage in %
F-s
core
in%
LBPlog potts (CRF)KL Pottslin TV
log TVKL TVKL bound
A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu
Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin
Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Regularisationpar modelegraphiques
IResultats
Presegmentationpour laclassification
Resultats
70 75 80 85 90 95 100
95
96
97
98
99
100
coverage in %
F-s
core
in%
LBPlog potts (CRF)KL Pottslin TV
log TVKL TVKL bound
A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu
Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin
Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Regularisationpar modelegraphiques
IResultats
Presegmentationpour laclassification
Resultats
70 75 80 85 90 95 100
95
96
97
98
99
100
coverage in %
F-s
core
in%
LBPlog potts (CRF)KL Pottslin TV
log TVKL TVKL bound
A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu
Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin
Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Regularisationpar modelegraphiques
IResultats
Presegmentationpour laclassification
—————————————————————————–
Classification structuree � Mars 2017 � 17 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Regularisationpar modelegraphiques
IResultats
Presegmentationpour laclassification
Resultats
70 75 80 85 90 95 10096
97
98
99
100
coverage in %
F-s
core
in%
(a) Oakland 3C
70 75 80 85 90 95 10095
96
97
98
99
100
coverage in %
F-s
core
in%
(b) Oakland 5C
70 75 80 85 90 95 10092
93
94
95
96
97
coverage in %
F-s
core
in%
(c) Rue Cassette
LBPlog potts (CRF)KL Pottslin TVlog TVKL TVKL bound
Classification structuree � Mars 2017 � 17 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
IPresegmentationpour laclassification
Super pixelgeometrique
Resultats
Presentation Layout
1 Semantisation de nuage de point LiDAR
2 Regularisation par optimisation structuree
3 Presegmentation pour la classification
Classification structuree � Mars 2017 � 18 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Motivation
Scene urbaine: structureepar objets anthropiques
geometriquement homogene⇒ semantiquementhomogene
+ Diminution de la complexite
+ Interactions longue portee
+ Aggregation d’observations
Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Motivation
Scene urbaine: structureepar objets anthropiques
geometriquement homogene⇒ semantiquementhomogene
+ Diminution de la complexite
+ Interactions longue portee
+ Aggregation d’observations
Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Motivation
Scene urbaine: structureepar objets anthropiques
geometriquement homogene⇒ semantiquementhomogene
+ Diminution de la complexite
+ Interactions longue portee
+ Aggregation d’observations
Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Motivation
Scene urbaine: structureepar objets anthropiques
geometriquement homogene⇒ semantiquementhomogene
+ Diminution de la complexite
+ Interactions longue portee
+ Aggregation d’observations
Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Motivation
Scene urbaine: structureepar objets anthropiques
geometriquement homogene⇒ semantiquementhomogene
+ Diminution de la complexite
+ Interactions longue portee
+ Aggregation d’observations
Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Segmentation geometriquement homogene
Approche traditionelle : super voxel de taille fixee
probleme d’optimisation structuree
E (S) =∑s∈S
∑i∈s|xi − xs |2 + λ
∑s∈S
contour(s).
Peux etre minimise efficacement avec `0-cut pursuit
Segments de tailles adaptative
Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Segmentation geometriquement homogene
Approche traditionelle : super voxel de taille fixee
probleme d’optimisation structuree
E (S) =∑s∈S
∑i∈s|xi − xs |2 + λ
∑s∈S
contour(s).
Peux etre minimise efficacement avec `0-cut pursuit
Segments de tailles adaptative
Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Segmentation geometriquement homogene
Approche traditionelle : super voxel de taille fixee
probleme d’optimisation structuree
E (S) =∑s∈S
∑i∈s|xi − xs |2 + λ
∑s∈S
contour(s).
Peux etre minimise efficacement avec `0-cut pursuit
Segments de tailles adaptative
Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
ISuper pixelgeometrique
Resultats
Segmentation geometriquement homogene
Approche traditionelle : super voxel de taille fixee
probleme d’optimisation structuree
E (S) =∑s∈S
∑i∈s|xi − xs |2 + λ
∑s∈S
contour(s).
Peux etre minimise efficacement avec `0-cut pursuit
Segments de tailles adaptative
Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Segmentation geometriquement homogene
Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Segmentation geometriquement homogene
Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Segmentation geometriquement homogene
Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Segmentation geometriquement homogene
Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Segmentation geometriquement homogene
Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Segmentation geometriquement homogene
class pointwise CRF notre methode
Wires 7.5 47.0 41.9Fscore pour Poles 15.9 51.0 55.8
Oakland Facades 65.1 87.6 93.61.3 M points Road 92.8 97.4 99.4
Vegetation 84.1 93.3 95total 53.1 75.2 77.1
Road 97.7 98.3 98.1Vegetation 24.2 62.6 67.0
Fscore pour Facade 93.5 98.7 98.8Semantic3D Hardscape 73.1 91.2 91.53 M points Artifacts 24.6 54.7 51.3
Cars 37.6 75.1 82.3Total 58.4 80.1 82.3
Classification structuree � Mars 2017 � 22 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Perspective
Le deep learning a revolutionne la vision par ordinateur
La structure des nuages de point resiste aux reseaux deneurones
Plus pour tres longtemps (HarrisNet, PointNet, etc...)
Une revolution est a venir dans le domaine
Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points
Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Perspective
Le deep learning a revolutionne la vision par ordinateur
La structure des nuages de point resiste aux reseaux deneurones
Plus pour tres longtemps (HarrisNet, PointNet, etc...)
Une revolution est a venir dans le domaine
Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points
Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Perspective
Le deep learning a revolutionne la vision par ordinateur
La structure des nuages de point resiste aux reseaux deneurones
Plus pour tres longtemps (HarrisNet, PointNet, etc...)
Une revolution est a venir dans le domaine
Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points
Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Perspective
Le deep learning a revolutionne la vision par ordinateur
La structure des nuages de point resiste aux reseaux deneurones
Plus pour tres longtemps (HarrisNet, PointNet, etc...)
Une revolution est a venir dans le domaine
Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points
Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN
Semantisationde nuage depoint LiDAR
Regularisationparoptimisationstructuree
Presegmentationpour laclassification
Super pixelgeometrique
IResultats
Perspective
Le deep learning a revolutionne la vision par ordinateur
La structure des nuages de point resiste aux reseaux deneurones
Plus pour tres longtemps (HarrisNet, PointNet, etc...)
Une revolution est a venir dans le domaine
Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points
Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN