soutenance de thèse - enseajerofell/pdf/thesis_pres_jfellus.pdfjérôme fellus encadrant : david...
TRANSCRIPT
![Page 1: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/1.jpg)
Jérôme Fellus
Encadrant : David PicardDirecteur de thèse : Philippe-Henri Gosselin
Mardi 3 octobre 2017
Soutenance de thèse
Algorithmes décentralisés et asynchrones pour l'apprentissage statistique large échelle et
application à l'indexation multimédia
![Page 2: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/2.jpg)
Apprentissage statistique
![Page 3: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/3.jpg)
Apprentissage statistique
OUISTITI ?
![Page 4: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/4.jpg)
Apprentissage statistique
OUISTITI ?
1 0
![Page 5: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/5.jpg)
Apprentissage statistique
OUISTITI ?
1 0
Modèle Fonction de coût
![Page 6: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/6.jpg)
Optimisation Numérique
● Suite de modèles
![Page 7: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/7.jpg)
Optimisation Numérique
● Suite de modèles
![Page 8: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/8.jpg)
Optimisation Numérique
● Suite de modèles
![Page 9: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/9.jpg)
Optimisation Numérique
● Suite de modèles
● Procédure séquentielle● Produit un unique résultat
![Page 10: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/10.jpg)
Parallélisation et Optimisation stochastique
● Problèmes
– Si grand et/ou a beaucoup de paramètres → étapes coûteuses
– Que faire si dépasse la capacité mémoire ?
![Page 11: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/11.jpg)
Parallélisation et Optimisation stochastique
● Problèmes
– Si grand et/ou a beaucoup de paramètres → étapes coûteuses
– Que faire si dépasse la capacité mémoire ?
Parallelisation/Distribution Optimisation stochastique
Partitionner en sous-ensembles confiés à processeurs distincts
Utiliser un sous-ensemble aléatoire de à chaque étape
● Solutions
![Page 12: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/12.jpg)
Parallélisation et Optimisation stochastique
● Problèmes
– Si grand et/ou a beaucoup de paramètres → étapes coûteuses
– Que faire si dépasse la capacité mémoire ?
Parallelisation/Distribution Optimisation stochastique
Partitionner en sous-ensembles confiés à processeurs distincts
Utiliser un sous-ensemble aléatoire de à chaque étape
Complexité d'une étape
Coût d’agrégation des résultats intermédiaires
Complexité d'une étape
Nombre d'étapes
● Solutions
![Page 13: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/13.jpg)
Parallélisation et Optimisation stochastique
● Problèmes
– Si grand et/ou a beaucoup de paramètres → étapes coûteuses
– Que faire si dépasse la capacité mémoire ?
Parallelisation/Distribution Optimisation stochastique
Partitionner en sous-ensembles confiés à processeurs distincts
Utiliser un sous-ensemble aléatoire de à chaque étape
Complexité d'une étape
Coût d’agrégation des résultats intermédiaires
Complexité d'une étape
Nombre d'étapes
Nœud maître
● Solutions
![Page 14: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/14.jpg)
Parallélisation et Optimisation stochastique
● Problèmes
– Si grand et/ou a beaucoup de paramètres → étapes coûteuses
– Que faire si dépasse la capacité mémoire ?
Parallelisation/Distribution Optimisation stochastique
Partitionner en sous-ensembles confiés à processeurs distincts
Utiliser un sous-ensemble aléatoire de à chaque étape
Complexité d'une étape
Coût d’agrégation des résultats intermédiaires
Complexité d'une étape
Nombre d'étapes
Nœud maîtreGoulot d'étranglement Point de faiblesse
● Solutions
![Page 15: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/15.jpg)
Optimisation par consensus● Système décentralisé
– Chaque processeur (nœud) i possède un jeu de données et un modèle local
– Tous les nœuds sont identiques (exécutent la même procédure)
– Le réseau a une connectivité arbitraire (graphe connexe)
![Page 16: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/16.jpg)
Optimisation par consensus● Système décentralisé
– Chaque processeur (nœud) i possède un jeu de données et un modèle local
– Tous les nœuds sont identiques (exécutent la même procédure)
– Le réseau a une connectivité arbitraire (graphe connexe)
Contrainte de consensus
Minimiser
« Modèle consensus »
![Page 17: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/17.jpg)
Optimisation par consensus● Système décentralisé
– Chaque processeur (nœud) i possède un jeu de données et un modèle local
– Tous les nœuds sont identiques (exécutent la même procédure)
– Le réseau a une connectivité arbitraire (graphe connexe)
● Fonction de coût
Contrainte de consensus
Minimiser
« Modèle consensus »
Risque empirique Risque structurel Contrainte de consensus
![Page 18: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/18.jpg)
Phénomène de Synchronisation
● Consensus : Idée générale = moyenner les modèles entre nœuds
● Moyenner = relation symétrique → exige des communications synchrones
![Page 19: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/19.jpg)
Phénomène de Synchronisation
● Consensus : Idée générale = moyenner les modèles entre nœuds
● Moyenner = relation symétrique → exige des communications synchrones
● Synchronisation locale → synchronisation globale
![Page 20: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/20.jpg)
Phénomène de Synchronisation
● Consensus : Idée générale = moyenner les modèles entre nœuds
● Moyenner = relation symétrique → exige des communications synchrones
● Synchronisation locale → synchronisation globale
![Page 21: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/21.jpg)
Système Asynchrone● Interdire l'attente entre nœuds
● Les nœuds émettent sans se préoccuper des conditions de réception de leur message
![Page 22: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/22.jpg)
Système Asynchrone● Interdire l'attente entre nœuds
● Les nœuds émettent sans se préoccuper des conditions de réception de leur message
● 100% du temps est passé à calculer ou communiquer
![Page 23: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/23.jpg)
Système Asynchrone● Interdire l'attente entre nœuds
● Les nœuds émettent sans se préoccuper des conditions de réception de leur message
● 100% du temps est passé à calculer ou communiquer
![Page 24: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/24.jpg)
Système Asynchrone● Interdire l'attente entre nœuds
● Les nœuds émettent sans se préoccuper des conditions de réception de leur message
● 100% du temps est passé à calculer ou communiquer
![Page 25: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/25.jpg)
Système Asynchrone● Interdire l'attente entre nœuds
● Les nœuds émettent sans se préoccuper des conditions de réception de leur message
● 100% du temps est passé à calculer ou communiquer
● Protocole asymétrique : interdit le moyennage entre nœuds → solutions alternatives
![Page 26: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/26.jpg)
Résumé : Décentralisation et Asynchronisme
Système centralisé synchrone Système décentralisé synchrone
Système décentralisé asynchrone
![Page 27: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/27.jpg)
Plan
Introduction
Analyse théorique
Contributions algorithmiques
Application à l'indexation multimédia distribuée
![Page 28: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/28.jpg)
Séparabilité
● Fonction de coût séparable
![Page 29: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/29.jpg)
Séparabilité
● Fonction de coût séparable
![Page 30: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/30.jpg)
Séparabilité
● Fonction de coût séparable
![Page 31: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/31.jpg)
Séparabilité
● Fonction de coût séparable
● Règles d'apprentissage séparables
![Page 32: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/32.jpg)
Séparabilité
● Fonction de coût séparable
● Règles d'apprentissage séparables
– Les opérations non-linéaires restent locales
– Les échanges entre nœuds sont linéaires
![Page 33: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/33.jpg)
Moyennage décentralisé et asynchrone
●
→ centralisé, synchrone
![Page 34: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/34.jpg)
●
→ centralisé, synchrone
●
→ décentralisé, synchrone
Moyennage décentralisé et asynchrone
![Page 35: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/35.jpg)
●
→ centralisé, synchrone
●
→ décentralisé, synchrone
Moyennage décentralisé et asynchrone
![Page 36: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/36.jpg)
●
→ centralisé, synchrone
●
– → décentralisé, synchrone
●
– → décentralisé, asynchrone
Moyennage décentralisé et asynchrone
![Page 37: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/37.jpg)
Paradigme proposé :Protocoles Gossip asynchrones perturbés
![Page 38: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/38.jpg)
Paradigme proposé :Protocoles Gossip asynchrones perturbés
● Fonction non-linéaire locale (<=> programme)
● Combinaisons linéaires asynchrones entre nœuds
![Page 39: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/39.jpg)
Paradigme proposé :Protocoles Gossip asynchrones perturbés
● Fonction non-linéaire locale (<=> programme)
● Combinaisons linéaires asynchrones entre nœuds
![Page 40: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/40.jpg)
Paradigme proposé :Protocoles Gossip asynchrones perturbés
→ Converge vers la bonne solution si la règle d'apprentissage est séparable !
● Fonction non-linéaire locale (<=> programme)
● Combinaisons linéaires asynchrones entre nœuds
![Page 41: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/41.jpg)
Paradigme proposé :Protocoles Gossip asynchrones perturbés
![Page 42: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/42.jpg)
● Propriétés– Les opérations non-linéaires et les mélanges linéaires se déroulent en même temps (algorithmique non-conventionnelle)
– Non seulement les opérateurs sont calculés de manières asynchrone, mais c'est l'ensemble du schéma algorithmique qui devient asynchrone
– Tolère les convergences partielles : une approximation grossière de chaque opération est souvent suffisante pour garantir la convergence globale du processus
Paradigme proposé :Protocoles Gossip asynchrones perturbés
![Page 43: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/43.jpg)
● Propriétés– Les opérations non-linéaires et les mélanges linéaires se déroulent en même temps (algorithmique non-conventionnelle)
– Non seulement les opérateurs sont calculés de manières asynchrone, mais c'est l'ensemble du schéma algorithmique qui devient asynchrone
– Tolère les convergences partielles : une approximation grossière de chaque opération est souvent suffisante pour garantir la convergence globale du processus
Paradigme proposé :Protocoles Gossip asynchrones perturbés
Lien avec Chaine de Markov
![Page 44: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/44.jpg)
Intuitionpetit
« couplage »
linéarité « REGIME CONVERGENT »
![Page 45: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/45.jpg)
Intuitionpetit
grand
« couplage »
linéarité
Perturbations non-linéaires
« REGIME CONVERGENT »
« REGIME CHAOTIQUE»
![Page 46: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/46.jpg)
Intuitionpetit
grand
« couplage »
linéarité
Perturbations non-linéaires
Transition de phase
« REGIME CONVERGENT »
« REGIME CHAOTIQUE»
![Page 47: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/47.jpg)
Ergodicité
Si (Chaîne de Markov)
![Page 48: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/48.jpg)
● Cas où constante :
Théorie spectrale de Perron-Frobenius (puissances de matrices)
Si (Chaîne de Markov)
irréductible et apériodique
Ergodicité
Ergodicité
![Page 49: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/49.jpg)
● Cas où constante :
Théorie spectrale de Perron-Frobenius (puissances de matrices)
Si (Chaîne de Markov)
irréductible et apériodique
● Extension aux matrices aléatoires (i.i.d.)
irréductible et apériodique
Ergodicité
Ergodicité
![Page 50: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/50.jpg)
● Cas où constante :
Théorie spectrale de Perron-Frobenius (puissances de matrices)
Si (Chaîne de Markov)
irréductible et apériodique
● Extension aux matrices aléatoires (i.i.d.)
irréductible et apériodique
Ergodicité
et(e.g.,
« doublement stochastique » )
Ergodicité
![Page 51: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/51.jpg)
● Cas où constante :
Théorie spectrale de Perron-Frobenius (puissances de matrices)
Si (Chaîne de Markov)
Ergodicité forte(rang 1 constante)
irréductible et apériodique
● Extension aux matrices aléatoires (i.i.d.)
irréductible et apériodique
Ergodicité
et(e.g.,
« doublement stochastique » )
Ergodicité
![Page 52: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/52.jpg)
● Cas où constante :
Théorie spectrale de Perron-Frobenius (puissances de matrices)
Si (Chaîne de Markov)
Ergodicité forte(rang 1 constante)
irréductible et apériodique
● Extension aux matrices aléatoires (i.i.d.)
irréductible et apériodique
Ergodicité
et(e.g.,
« doublement stochastique » )
Ergodicité
![Page 53: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/53.jpg)
● Cas où constante :
Théorie spectrale de Perron-Frobenius (puissances de matrices)
Si (Chaîne de Markov)
Ergodicité forte(rang 1 constante)
irréductible et apériodique
Ergodicité faible(rang 1 pas constante)
● Extension aux matrices aléatoires (i.i.d.)
irréductible et apériodique
Ergodicité
et(e.g.,
« doublement stochastique » )
et(e.g.,
« simplement stochastique » )
CAS ASYNCHRONE
Ergodicité
![Page 54: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/54.jpg)
● Cas où constante :
Théorie spectrale de Perron-Frobenius (puissances de matrices)
Si (Chaîne de Markov)
Ergodicité forte(rang 1 constante)
irréductible et apériodique
Ergodicité faible(rang 1 pas constante)
● Extension aux matrices aléatoires (i.i.d.)
irréductible et apériodique
Ergodicité
et(e.g.,
« doublement stochastique » )
et(e.g.,
« simplement stochastique » )
?
CAS ASYNCHRONE
Ergodicité
![Page 55: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/55.jpg)
Ergodicité faible
● On peut se contenter de l'ergodicité faible ! [Kempe03, Iutzeler13]
![Page 56: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/56.jpg)
● On peut se contenter de l'ergodicité faible ! [Kempe03, Iutzeler13]
Procotoles Gossip Sum-Weight
→ Vitesse de convergence vers rang 1
Ergodicité faible
![Page 57: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/57.jpg)
● Caractérisation de l'ergodicité faible
– Coefficients d’ergodicité (e.g., Dobrushin-Seneta)
● On peut se contenter de l'ergodicité faible ! [Kempe03, Iutzeler13]
Procotoles Gossip Sum-Weight
→ Vitesse de convergence vers rang 1
Ergodicité faible
![Page 58: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/58.jpg)
● Caractérisation de l'ergodicité faible
– Coefficients d’ergodicité (e.g., Dobrushin-Seneta)
● On peut se contenter de l'ergodicité faible ! [Kempe03, Iutzeler13]
Procotoles Gossip Sum-Weight
● Convergence asymptotique
● On perd la borne explicite du cas fortement ergodique → pas d'info sur ● Pas suffisant dans notre cas !
→ Vitesse de convergence vers rang 1
Ergodicité faible
![Page 59: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/59.jpg)
Ce que l’on ne sait pas :Convergence non-asymptotique
● But :
![Page 60: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/60.jpg)
Ce que l’on ne sait pas :Convergence non-asymptotique
● But : ● Borne :
![Page 61: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/61.jpg)
Ce que l’on ne sait pas :Convergence non-asymptotique
● But : ● Borne :
Numérateur ok : Coefficient de Seneta de ● Borne inférieure sur dénominateur ?
![Page 62: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/62.jpg)
Ce que l’on ne sait pas :Convergence non-asymptotique
● But : ● Borne :
Numérateur ok : Coefficient de Seneta de ● Borne inférieure sur dénominateur ?● Comportement imprévisible
si j→*
si k→j
sinon
![Page 63: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/63.jpg)
Formulation comme un problème de croissance de population
![Page 64: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/64.jpg)
Formulation comme un problème de croissance de population
Chaine de Markov homogène sur {1,…,n}
![Page 65: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/65.jpg)
Formulation comme un problème de croissance de population
Question : Combien d'étapes faut-il pour que tous les nœuds soient atteints au moins une fois ?
Chaine de Markov homogène sur {1,…,n}
![Page 66: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/66.jpg)
Formulation comme un problème de croissance de population
Question : Combien d'étapes faut-il pour que tous les nœuds soient atteints au moins une fois ?
Difficultés: Probabilité de croissance non-homogène Dépend de la structure du réseau !
Chaine de Markov homogène sur {1,…,n}
![Page 67: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/67.jpg)
Cas du graphe complet
![Page 68: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/68.jpg)
Cas du graphe complet
● Fonction génératrice des probabilité de T
![Page 69: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/69.jpg)
Cas du graphe complet
● Fonction génératrice des probabilité de T
● Inégalité de concentration (Markov, Chernoff, ...)
avec un probabilité au moins
![Page 70: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/70.jpg)
Cas général : constante de Cheeger
● faible → goulot d'étranglement● élevé → bonne « conductance »
● Géométrie Riemannienne : constante isopérimétrique de Cheeger
![Page 71: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/71.jpg)
Cas général : constante de Cheeger
● Directement liée à→ Borné par un processus de Bernoulli
→ Distribution géométrique
● faible → goulot d'étranglement● élevé → bonne « conductance »
● Géométrie Riemannienne : constante isopérimétrique de Cheeger
![Page 72: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/72.jpg)
Cas général : constante de Cheeger
● Directement liée à→ Borné par un processus de Bernoulli
→ Distribution géométrique
● faible → goulot d'étranglement● élevé → bonne « conductance »
● Inégalité de Cheeger :
– Relation entre conductance et spectre d'un graphe
● Géométrie Riemannienne : constante isopérimétrique de Cheeger
![Page 73: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/73.jpg)
Cas général : constante de Cheeger
● Directement liée à→ Borné par un processus de Bernoulli
→ Distribution géométrique
● faible → goulot d'étranglement● élevé → bonne « conductance »
● Inégalité de Cheeger :
– Relation entre conductance et spectre d'un graphe
● Géométrie Riemannienne : constante isopérimétrique de Cheeger
![Page 74: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/74.jpg)
Contribution théorique
● TODO : THEOREME 1
![Page 75: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/75.jpg)
Plan
Introduction
Analyse théorique
Contributions algorithmiques
Application à l'indexation multimédia distribuée
![Page 76: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/76.jpg)
K-Means
K catégories
![Page 77: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/77.jpg)
K-Means
K catégories
minimiser
![Page 78: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/78.jpg)
K-Means
K catégories
minimiser
K centroïdes
Todo gif animé KMeans
![Page 79: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/79.jpg)
K-Means
K catégories
minimiser
K centroïdes
Assignation :
Mise à jour :
Todo gif animé KMeans
![Page 80: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/80.jpg)
K-means décentralisé
![Page 81: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/81.jpg)
K-means décentralisé
Epidemic K-Means [DiFatta, 2011]
![Page 82: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/82.jpg)
K-means décentralisé
Epidemic K-Means [DiFatta, 2011]
![Page 83: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/83.jpg)
K-means décentralisé
Epidemic K-Means [DiFatta, 2011]
TODOCONVERGENCE EPIDEMIC KMEANS
![Page 84: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/84.jpg)
Perturber plutôt qu'écraser
● Newscast EM : Self-correction mechanism [Kowalczyk, 2005]
![Page 85: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/85.jpg)
Perturber plutôt qu'écraser
● Newscast EM : Self-correction mechanism [Kowalczyk, 2005]
![Page 86: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/86.jpg)
Perturber plutôt qu'écraser
● Newscast EM : Self-correction mechanism [Kowalczyk, 2005]
![Page 87: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/87.jpg)
Perturber plutôt qu'écraser
● Newscast EM : Self-correction mechanism [Kowalczyk, 2005]
![Page 88: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/88.jpg)
Perturber plutôt qu'écraser
● Newscast EM : Self-correction mechanism [Kowalczyk, 2005]
– Initialement : astuce d’accélération en environnement synchrone
– Finalement : indispensable au fonctionnement asynchrone !
![Page 89: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/89.jpg)
AGKM : Asynchronous Gossip K-Means
![Page 90: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/90.jpg)
AGKM : Analyse de convergence● Question : "Pour quelles valeurs de AGKM converge-t-il ?"
![Page 91: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/91.jpg)
AGKM : Analyse de convergence● Question : "Pour quelles valeurs de AGKM converge-t-il ?"
● Dépend :
– Des données
– Du réseau
– De l’ordonnancement
![Page 92: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/92.jpg)
AGKM : Analyse de convergence● Question : "Pour quelles valeurs de AGKM converge-t-il ?"
● Dépend :
– Des données
– Du réseau
– De l’ordonnancement
![Page 93: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/93.jpg)
AGKM : Analyse de convergence● Question : "Pour quelles valeurs de AGKM converge-t-il ?"
● Dépend :
– Des données
– Du réseau
– De l’ordonnancement
1. Lorsque se stabilise sur minimum local, converge spontanément vers 0
2. Condition suffisante pour que décroisse :
3.
4.
![Page 94: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/94.jpg)
AGKM : Résultats expérimentaux
![Page 95: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/95.jpg)
Analyse en Composantes Principales (PCA)
![Page 96: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/96.jpg)
Analyse en Composantes Principales (PCA)
![Page 97: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/97.jpg)
Analyse en Composantes Principales (PCA)
![Page 98: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/98.jpg)
Analyse en Composantes Principales (PCA)
● Conserve le maximum de variance● Conserve au mieux la distance euclidienne● Conserve au mieux le produit scalaire (utile pour classification)
![Page 99: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/99.jpg)
PCA décentralisée et asynchrone
Late PCA [Ordonez, 2014]
![Page 100: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/100.jpg)
PCA décentralisée et asynchrone
Algorithme non-iteratif → ok pour fonctionnement asynchrone
Late PCA [Ordonez, 2014]
![Page 101: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/101.jpg)
PCA décentralisée et asynchrone
Algorithme non-iteratif → ok pour fonctionnement asynchrone
Late PCA [Ordonez, 2014]
![Page 102: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/102.jpg)
PCA décentralisée et asynchrone
Algorithme non-iteratif → ok pour fonctionnement asynchrone
Late PCA
Early PCA
[Ordonez, 2014]
![Page 103: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/103.jpg)
PCA décentralisée et asynchrone
Algorithme non-iteratif → ok pour fonctionnement asynchrone
Late PCA
Early PCA
Échanges restreints à des matrices Dxq
[Ordonez, 2014]
![Page 104: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/104.jpg)
Schéma Early PCAAstuce : décomposition en valeurs singulières (SVD)
![Page 105: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/105.jpg)
Schéma Early PCAAstuce : décomposition en valeurs singulières (SVD)
![Page 106: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/106.jpg)
Schéma Early PCAAstuce : décomposition en valeurs singulières (SVD)
Solution naïve : reconstruire A+B
![Page 107: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/107.jpg)
Schéma Early PCAAstuce : décomposition en valeurs singulières (SVD)
Solution naïve : reconstruire A+B
Astuce :
![Page 108: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/108.jpg)
Schéma Early PCAAstuce : décomposition en valeurs singulières (SVD)
Solution naïve : reconstruire A+B
Astuce :
![Page 109: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/109.jpg)
AGPCA : Asynchronous Gossip PCA
Astuce SVD (pas de matrice DxD)
Décomposition de A+B par Iterations Orthogonales (OI) « dans l’espace compressé »
![Page 110: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/110.jpg)
AGPCA : Analyse théorique
● Scenario avec pertes
● Scenario sans pertes
![Page 111: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/111.jpg)
AGPCA : Analyse théorique
● Scenario avec pertes
● Scenario sans pertes
![Page 112: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/112.jpg)
AGPCA : Analyse théorique
● Scenario avec pertes
● Scenario sans pertes
![Page 113: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/113.jpg)
AGPCA : Résultats expérimentaux
![Page 114: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/114.jpg)
Gradients stochastiques moyennés● Descente de Gradient
Complet (FG)
![Page 115: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/115.jpg)
Gradients stochastiques moyennés● Descente de Gradient
Complet (FG)● Descente de Gradient
Stochastique (SGD)
![Page 116: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/116.jpg)
Gradients stochastiques moyennés● Descente de Gradient
Complet (FG)● Descente de Gradient
Stochastique (SGD)
● Méthodes proximales
![Page 117: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/117.jpg)
Gradients stochastiques moyennés● Descente de Gradient
Complet (FG)● Descente de Gradient
Stochastique (SGD)
● Méthodes proximales ● Descente de gradients moyennés
![Page 118: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/118.jpg)
Gradients stochastiques moyennés● Descente de Gradient
Complet (FG)● Descente de Gradient
Stochastique (SGD)
● Méthodes proximales ● Descente de gradients moyennés
![Page 119: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/119.jpg)
STAG : Short-Term Averaged Gradient
● Idée : Moyenner les L derniers gradients (mémoire limitée)
![Page 120: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/120.jpg)
STAG : Short-Term Averaged Gradient
● Idée : Moyenner les L derniers gradients (mémoire limitée)
![Page 121: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/121.jpg)
STAG : Short-Term Averaged Gradient
● Idée : Moyenner les L derniers gradients (mémoire limitée)
● Structure du problème : exemple de la SVM (primale)
![Page 122: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/122.jpg)
STAG : Short-Term Averaged Gradient
● Idée : Moyenner les L derniers gradients (mémoire limitée)
● Rayon de convergence ? Vitesse de convergence ? L optimal selon le problème ?
● Structure du problème : exemple de la SVM (primale)
![Page 123: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/123.jpg)
AGSTAG : Asynchronous Gossip Short-Term Averaged Gradient
![Page 124: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/124.jpg)
AGSVM : Asynchronous Gossip SVM
Astuces (structure du problème SVM)● On insère uniquement les gradients
non-nuls (exemples mal classés)● On ne mémorise pas les gradients,
seulement l'indice de l'exemple mal classé
● Possible que si le régularisateur n'est pas moyenné (régularisation explicite)
✔ Faible empreinte mémoire✔ Coût de communication réduit
![Page 125: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/125.jpg)
AGSTAG : Résultats expérimentaux
Préférer une régularisation expliciteavec tirage sans remise desexemples d'apprentissage
Si tolérance élevée : préférer SGD (pas constant)Si tolérance faible : préférer L=n/2
Sur cette tache, convergence acceptable en moins d'une époque ! (redondance)
![Page 126: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/126.jpg)
AGSTAG : Résultats expérimentaux (2)
Moyenner seulement les gradients→ Divergence !
Il faut moyenner aussiles paramètres w (hyperplans)
![Page 127: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/127.jpg)
Plan
Introduction
Analyse théorique
Contributions algorithmiques
Application à l'indexation multimédia distribuée
![Page 128: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/128.jpg)
Application à l'indexation multimédia● Recherche multimédia par le contenu (dataset INRIA Holidays, 1491 images)
● Classification d'images (dataset PASCAL VOC2007, 9963 images)
![Page 129: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/129.jpg)
Pipeline
AGKM
AGPCA
AGSVM
![Page 130: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/130.jpg)
Initialisations multiples + moyennage des modèles = meilleure catégorisation
Combat les minima locaux ?
Recherche par similarité (Holidays dataset)
![Page 131: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/131.jpg)
Recherche par similarité (Holidays dataset) (2)
On peut réduire drastiquement les coûts de communication sans impacter
significativement les résultats de recherche
![Page 132: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/132.jpg)
Classification d'images (VOC2007 dataset)
Pas de moyennage local → convergence plus rapide
Réduction des coûts de communication → Convergence plus lente mais même résultat
![Page 133: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/133.jpg)
Conclusion et perspectives● Système d'apprentissage décentralisé et asynchrone : Protocoles Gossip Asynchrones Perturbés– Étude théorique
● Application à l'indexation multimédia– Recherche par similarité
● Validation dans le contexte du projet financeur PIA Culture3DCloud– Plateforme d'indexation décentralisée et asynchrone pour les collections
patrimoniales (images, modèles 3D)
● LibAGML : une librairie logicielle de machine learning sous licence GPL pour illustrer/explorer les capacités des protocoles Gossip asynchrones
● Perspectives– Borne étroite sur les protocoles sum-weight
– Étude pratique de large systèmes hétérogènes en environnement réel (réseaux, algorithmes, architectures machine)
– Données « vivantes » (non-stationnaires) : en flux, intermittentes, volatiles, développementales
– Développement d'accelerateurs matériels sur FPGA
– Contributions algorithmiques (AGKM, AGPCA, AGSTAG)
– Classification d'images
![Page 134: Soutenance de thèse - ENSEAjerofell/pdf/thesis_pres_jfellus.pdfJérôme Fellus Encadrant : David Picard Directeur de thèse: Philippe-Henri Gosselin Mardi 3 octobre 2017 Soutenance](https://reader033.vdocuments.mx/reader033/viewer/2022060515/5f8857abbfacf91b7b55279a/html5/thumbnails/134.jpg)
Publications● Revues
– Jérôme Fellus, David Picard et Philippe-Henri Gosselin. Asynchronous Gossip Principal Components Analysis. in Neurocomputing, 2015
– Jérôme Fellus, David Picard et Philippe-Henri Gosselin. Indexation multimédia par dictionnaires visuels en environnement décentralisé : Une approche par protocoles Gossip, in Traitement du Signal, 2015
● Conférences– Jérôme Fellus, David Picard et Philippe-Henri Gosselin. Asynchronous decentralized convex optimization through short-term gradient averaging. in European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN). Avril 2015, Bruges, Belgique
– Jérôme Fellus, David Picard et Philippe-Henri Gosselin. Dimensionality reduction in decentralized networks by Gossip aggregation of principal components analyzers. in European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN). Avril 2014, Bruges, Belgique.
– Jérôme Fellus, David Picard et Philippe-Henri Gosselin. Decentralized K-means using randomized Gossip protocols for clustering large datasets. in ICDM Workshop on Knowledge Discovery Using Cloud and Distributed Computing Platforms, Dec 2013, Dallas,Texas, États-Unis
– Jérôme Fellus, David Picard et Philippe-Henri Gosselin. Calcul décentralisé de dictionnaires visuels pour l’indexation multimédia dans les bases de données réparties sur les réseaux. in Orasis, Congrès des jeunes chercheurs en vision par ordinateur (ORASIS), Juin 2013, Cluny, France.