exploration des dimensions spatiale et temporelle de l’imagerie...
TRANSCRIPT
![Page 1: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/1.jpg)
Exploration des dimensions spatiale et temporelle de l’imagerie satellite pour la classification de parcelles agricoles
Vivien Sainte Fare Garnot (1) , Loïc Landrieu (1), Sébastien Giordano (1), Nesrine Chehata (1,2)
(1) LASTIG-STRUDEL, IGN-ENSG, Université Paris-Est, (2) EA G&E Bordeaux INP, Université Bordeaux Montaigne
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 1
![Page 2: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/2.jpg)
Contexte
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 2
o Objectif: Classification des parcelles agricoles sur des séries temporelles d’images satellites à l’aide de réseaux de neurones artificiels (apprentissage profond)
o Enjeux: faciliter les attributions des subventions de la PAC, surveillance de l’utilisation des sols
→ Quelle est l’importance relative des dimensions spatiale et temporelle?
![Page 3: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/3.jpg)
Plan de la présentation
1. Présentation du problème et état de l’art
2. Problématique de recherche
3. Méthodologie et modèles
4. Résultats
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 3
![Page 4: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/4.jpg)
Présentation du problème→ Classification à la parcelle à partir de la série temporelle d’images Sentinel-2
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 4
• 10m de résolution spatiale• 5 jours de temps de revisite• 13 bandes spectrales (VIS/NIR/SWIR)
Données Sentinel-2
Vigne
Mod
èle
![Page 5: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/5.jpg)
Etat de l’art
o Modèles discriminatifs simples (Random Forest) encore majoritairement utilisés
o N’exploitent pas les structures spatiale et temporelle
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 5
Images concaténées(+ indices radiométriques)
Série temporelle d’images Random
Forest
Vigne
Prédiction
![Page 6: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/6.jpg)
Etat de l’art
→ Progrès récents grâce à l’exploitation des structures spatiale et temporelle par des modèles d’apprentissage profond
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 6
Structure Temporelle
Structure spatiale
CRF rotation des
cultures[2]
HMM phénologie[3]
RNN phénologie[4]
CNN monotempor
el [5]
RCNN classif. multi-
temporelle. [6]
Apprentissage Profond
Autres approchesRF [1]
HMM: Hidden Markov ModelCRF: Conditional Random FieldRF: Random ForestCNN: Convolutional Neural NetworkRNN: Recurrent Neural NetworkRCNN: Recurrent-ConvolutionalNeural Network
[1] J.Inglada et al., “Assessment of an operational system forcrop type map production using high temporal and spatialresolution satellite optical imagery,” Remote Sensing, 2015.
[2] S.Bailly et al., “Crop-rotation structured classificationusing multi-source sentinel images and lpis for crop typemapping,” in IGARSS 2018.
[3] S.Siachalou et al., “A hidden Markov models approach forcrop classification: Linking crop phenology to time series ofmulti-sensor remote sensing data” Remote Sensing, 2015.
[4] M.Rußwurm et al.“Multi-temporal land cover ¨classification with long short-term memory neuralnetworks,” ISPRS, 2017
[5] N. Kussul, et al. "Deep learning classification of landcover and crop types using remote sensingdata." Geoscience and Remote Sensing Letters, 2017
[6] M.Rußwurm et al. “Convolutional LSTMs for cloud-robustsegmentation of remote sensing imagery.,” NIPS Workshop,2018
![Page 7: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/7.jpg)
Problématique de recherche
→ Importance relative de la structure spatiale et de la structure temporelle?
Approche: Etant donné un budget fixé de paramètres entraînables, doit-on se concentrer sur la structure spatiale (avec des CNN), la structure temporelle (avec des RNN) ou les deux (avec des réseaux hybrides) ?
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 7
![Page 8: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/8.jpg)
Architectures
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 8
CNN GRU CNN+GRU ConvLSTM
***
* ours
![Page 9: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/9.jpg)
Jeu de données
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 9
• 199, 464 parcelles
• 24 dates de Janvier à Octobre 2017
• 18 classes
Fig. 2: Exemple d’un élément du jeu de données
Fig. 1: Localisation de la zone d’expérimentation et répartition des classes au sein de la zone
![Page 10: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/10.jpg)
Résultats
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 10
• CNN < GRU < CNN+GRU
• Intérêt limité des caractéristiques extraites par les CNN
• Structure temporelle > structure spatiale
Fig. 1:Vérité terrain et prédictions des différents modèles
Tab. 1: Performances moyennes des différents modèles
***
* ours
![Page 11: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/11.jpg)
Résultats par classe
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 11
• Structure temporelle importante pour les classes difficiles
• L’importance relative spatial/temporel dépend de la classe
Fig. 1: F-score par classe, pour les quatre architectures
![Page 12: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/12.jpg)
Importance de la structure temporelle → Comment réagissent les modèles à un mélange aléatoire des séries temporelles ?
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 12
Tab. 1: F-score moyens des quatre architectures entrainées sur les données originales (Ordered) et sur les données mélangées aléatoirement (Shuffled)
• Performance toujours meilleure que CNN (F-score 34.9)
• Mémoire sélective + modélisation de l’évolution temporelle
![Page 13: Exploration des dimensions spatiale et temporelle de l’imagerie …recherche.ign.fr/jr/jr19/presentations/Prez_vsfg.pdf · 2019. 6. 6. · Exploration des dimensions spatiale et](https://reader034.vdocuments.mx/reader034/viewer/2022051604/6001c7c7cf37dd106d42006d/html5/thumbnails/13.jpg)
• Quelle architecture pour exploiter au mieux la dimension spatiale ?• Comment aider les réseaux récurrents à exploiter complètement la structure temporelle ?
Conclusion
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 13
• Etat de l’art pour les architectures CNN+GRU• Temporel > Spatial • Peu d’information de texture • GRU = Mémoire sélective + modèle temporel
Principaux résultats
Perspectives