metaheuristiques et optimisation combinatoire...fourmis optimisationparessaims particulaires....

Introduction

Problèmesd’optimisa-tion etMétaheuris-tiques

Algorithmesévolution-naires

Optimisationmulti-Objectifs

1/33

Metaheuristiques et optimisationcombinatoire

Wilfried Segretier

LAboratoire de Mathématiques, Informatique et Applications (LAMIA)Université des Antilles et de la Guyane

Campus de Fouillole, Guadeloupe13 février 2019

Introduction




2/33 Plan

1 Introduction

2 Problèmes d’optimisation et Métaheuristiques

3 Algorithmes évolutionnaires

4 Optimisation multi-Objectifs

Introduction

Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques



3/33 Problèmes d’optimisation

Couple (S , f )

S : Espace de recherche

f : S → Y

∀s ∈ S ,f (s ′) > f (s) (resp f (s ′) < f (s))

1 Cas continu

2 Cas discret/combinatoireVoyageur de commerce (Traveller salesman problem, TSP)

Introduction




4/33 Méthodes de résolution

Différents types de méthodes de résolution

I Méthodes exactesTrouvent toujours la meilleure solution.Exemple : Parcours exhaustif de l’espace de recherche.

I Méthodes approchéesExplorent un sous-ensemble de l’espace de recherche.Se rapprochent de la solution optimale.

I Méthodes déterministesExécutent toujours la même suite d’opérations

I Méthodes stochastiquesGuidées par des choix probabilistes (tirages aléatoires)

Introduction




5/33 Méthodes de résolution

Introduction




6/33 Heuristiques

HeuristiquesI Grec ancien : eurisko, je trouveI Méthodes approchéesI Stratégie : Connaissance du problème considéréI Bon sensI Réduction de la complexité : Polynomial

Introduction




7/33 Métaheuristiques

I Méthodes approchéesI meta : a un niveau supérieur, non spécifiques à un problème

particulierI Guident la recherche de solutions optimalesI Exploration efficace de l’espace de rechercheI Métaphores/Bio-inspirationI Mécanismes d’intensification/diversification (extraction des optimums

locaux)

1 Solution unique :

Recherche tabouRecuit simuléGRASP

2 Population de solutions

Algorithmes évolutionnairesAlgorithmes de colonies defourmisOptimisation par essaimsparticulaires

Introduction




8/33 Méthodes à solution unique

Recuit simulé (Kirkpatrick et al., 1983)

I Simulation du processus de refroidissement d’un métalI Température T : probabilité choix voisin x’ de x selon f(x’) (fonction

objectif)

P(∆E ,T ) = e−f (x′)−f (x)

T

I Schéma de refroidissement par palliers

Introduction




9/33 Méthodes à population de solutions

Algorithmes de colonies de fourmis (Dorigo et al., 1991)

I Initialement proposé pour leTSP

I Problèmes à solutionspartielles (construction)

I Phéromones : Renforcementdes solutions optimales

I Paramètres : α, β,évaporation de la piste

Introduction


Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée


10/33 Méthodes à population de solutions

Algorithmes évolutionnaires :

I J. Holland 1975 :travaux sur les mécanismesd’auto adaptativité

I Evolution naturelle :

survie du plus adaptébrassage génétiquemutations

I Evaluation=Fonction objectif=Fitness

I Largement utilisés depuis(Goldberg 1989)

Introduction




11/33Algorithmes évolutionnaires : représentation etvariation

ReprésentationI Caractérisation d’une solution sous une

forme appréhendable par l’AGI Complète : toute solution doit etre

représentableI problem dependantI Exemples : chaines binaires, tableau

d’entiers, ensembles de var,...

Opérateurs de variationI Faire varier la population en créant de

nouveaux individus à partir des existantsI problem dependant (representation)

I doivent générer des individus viablesI Opérateurs de diversification

Croisement (crossover)

I Recombinaison de l’informationgénétique, hérédité

I 2 parents → 2 enfantsI stratégieI Monopoint, multipoints, uniformes, ...I representation dependantI Taux d’application (0.5, 0.6, ...)

MutationI Modification aléatoires ponctuelles à un

individuI Introduction de diversitéI Taux d’application typiquement très

faibleI 0.001

Introduction




12/33Algorithmes évolutionnaires : représentation etvariation

I Individu

I Croisement

I Mutation

Introduction




13/33 Algorithmes évolutionnaires : Opérateurs de sélection

Opérateurs de sélectionI Sélectionner des sous-ensembles de la

populationI deux types Remplacement/Reproduction

I basés sur la qualité des individusI opérateurs d’intensificationI réduction de la diversitéI taux d’applicationI ne pas négliger les individus moins bons !I → pression de sélectionI forte : privilégier les meilleursI faible : conservation de diversité

ReproductionI Choisir les individus de la population

auxquels seront appliqués les opérateursde variation

I Roulette Wheel : probabilité d’êtresélectionné proportionnelle à sa qualité

I Tournoi n-aires : formation de n-upletsdont on garde le meilleur : n grand →pression de sélection forte

I Déterministe : N meilleurs de lapopulation

RemplacementI Choisir les individus qui participeront à

la génération suivanteI Remplacement générationnel : seuls les

enfants sont gardés (courant)

I élitisme : idem mais le ou les meilleursindividus sont gardés, si ils avaient étéperdus → croissance monotone de laqualité du meilleur individu.

Introduction




14/33 Algorithmes évolutionnaires : exemple du TSP

N villes : N ! permutations

Fonction objectif : longueur parcoursChromosomes : Parcours villes :

1 4 2 5 6 3 - 1 2 5 4 6 3 - 1 5 4 3 6 2 - ...

Croisement : Echange de gènes, Vérification de la conformité

1 4 2 5 6 3 - 1 2 5 4 6 31 2 5 5 6 3 - 1 4 2 4 6 3→ non valable !

Mutation : Permutation de villes

1 4 2 5 6 3 → 1 4 6 5 2 3

Introduction




15/33 Algorithmes évolutionnaires en fouille de données

I Préparation : Sélection d’attributsProblème d’optimisationMeilleures combinaisons d’attributsEvaluation : coefficient de corrélation, Info Gain, Gain ratio(Freitas 2002, Jourdan 2003)

I Modélisation : Règles classificationSystèmes de classeursPools de règles / apprentissage par renforcement(Holland 1975, Smith 1983)

Introduction




16/33 Régression polynômiale évolutionnaire (EPR)

Approche de régression hybride

Recherche d’un polynôme de la forme :

Problème d’optimisation :matrice d’exposants=solution

individu : -1 0 1 0 1 -1 1 0 0 1 1 0

Evaluation

I Recherche des coefficientsrégression linéaire :moindres carrés

I RMSE=√√√√1n

n∑i=1

(yi − y ′i )

2

Introduction


Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats


17/33

1 Introduction

2 Problèmes d’optimisation et Métaheuristiques

3 Algorithmes évolutionnairesExemples d’utilisationMétaheuristiques en classification supervisée

Données hydro-météorologiquesVariables agrégées et algorithme évolutionnaireRésultats

4 Optimisation multi-Objectifs

Introduction




18/33 Modélisation hydrologique

I Approche Conceptuelles :

I Approches Dirigées par les Données :

Introduction




19/33 Evénements hydrologiques

0.2

0.4

Tr

0.6

0.8

1

-9 -6 -3 0 3 6 9 12 15

0

20

40

60

80

100

-9 -6 -3 0 3 6 9 12 15H

aute

ur

d’e

au r

elat

ive

Pre

cip

itat

ion

s (m

m)

Temps (h)

Temps (h)

soudonblanche

scismgueblanche

desiradepompage

pontrn1spitz

bois-lezardcolson

olivecirad

0.2

0.4

Tr

0.6

0.8

1

-9 -6 -3 0 3 6 9 12 15

0

20

40

60

80

100

-9 -6 -3 0 3 6 9 12 15

Hau

teu

r d

’eau

rel

ativ

e

Pre

cip

itat

ion

s (m

m)

Temps (h)

Temps (h)

soudonblanche

scismgueblanche

desiradepompage

pontrn1spitz

bois-lezardcolson

olivecirad

I

Crue

I

NonCrue

Introduction




20/33 Concept de Variable Agrégée

I Selection de variables pertinentes

I Fonctions statistiques (moyenne, écart-type, max, ...)

(Segretier 2011, 2012, 2013, 2014)

Introduction




21/33 Principe de calcul d’une VA

Introduction




22/33 Jurys et problème d’optimisation combinatoire

Représentation :

1

100000

1e+10

1e+15

1e+20

1e+25

1e+30

1e+35

1e+40

1 2 3 4 5

|Sj|,

tail

le d

e l’

esp

ace

de

rech

erch

e (l

og

)

n, taille du jury

taille espace

Introduction




23/33 Algorithme Evolutionnaire mis en œuvre

Opérateur de croisement : Paramètres :

I Leave one out cross validation,I 50 expériences (2500 runs)I Précocités minimales : 60, 120, 180, 240,

300, 360 minutesI Jurys de taille 3 : efficacité vs complexitéI EA : 8000 générations, crossover 0.75,

mutation 0.001, taille population 100

Fonctions de fitness (objectif) : TP, TN, FP, FNI

IV =∑

(P(Si |N)− P(Si |F ) ∗ log(P(Si |N)/P(Si |F ))

I

MCC =(TP × TN)− (FP × FN)√

(TP + FP)× (TP + FN)× (TN + FP)× (TN + FN)

Introduction




24/33 Courbe ROC - 120 minutes de précocité

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 1

Tau

x d

e v

rais

po

siti

fs

Taux de faux positifs

AV2D (IV) - AUC = 0.815339BFT - AUC = 0.565876MLP - AUC = 0.761740

RF - AUC = 0.774589NBD - AUC = 0.663404C4.5 - AUC = 0.600996

Introduction




25/33 Optimisation multi-objectifs

I Extension de l’optimisation classique (mono-objectif)I 2 approches : a priori (mono-objectif pondéré) et

a posteriori

I Optimiser un vecteur de n fonctions objectifI F = (f 1, f 2, f 3, ..., fn) définies sur SI parfois impossible d’améliorer un objectif sans en détériorer

un autreI → recherche d’ensemble de solutions non-dominées

Introduction




26/33 Dominance de Pareto

I Une solution s domine une solution s ′ si :I ∀i ∈ {1, 2, ..., n}, fi (s) ≤ f (s ′)

I et ∃j ∈ {1, 2, ..., n} tel que fi (s) < f (s ′)

I Une solution s est dite non-dominée (ou Pareto Optimale)si

I @s ′ ∈ S tel que s ′ domine s

I L’ensemble de toutes les solution non dominée estl’ensemble optimal de Pareto

I Sa projection dans l’espace objectifs est le front optimal dePareto

Introduction




27/33 Dominance de Pareto : Exemple

Introduction




28/33 Dominance de Pareto : Exemple 2

Problème bi-objectifs :Maximiser f1 et minimiser f2

Introduction




29/33 Propriétés

Lors de la recherche de fronts de Pareto, il est important deprivilégier

I La convergence : approcher au maximum le front optimalde Pareto

I La diversité : etre aussi distribué que possible sur le frontde Pareto

Lorsque n (nombre d’objectifs) augmente, la complexité de larecherche augmente rapidement !

Introduction




30/33 Algorithmes génétiques multiobjectifs

Plusieurs approches :I MOGA (1993) : Multi Objective Genetic Algorithm

Notation, calcul du rang de dominance + interpolationI NSGA (1993) : Non-dominated Sorting Genetic Algorithm

Notation, tri par rapport aux différents degrés dedominance

I NPGA (1993) : Niched Pareto Genetic AlgorithmSélection, tournoi de dominance

I SPEA : Strength Pareto Evolutionary Algorithm, Notationrelative au nombre d’individus dominés

I NSGA II (2000) : Sélection tournoi classique + préférenceen fonction de degré d’encombrement de l’espace

Introduction




31/33 MOGA

Introduction




32/33 NSGA

Introduction




33/33 TP : Sac à dos multiobjectifs

metaheuristiques et optimisation combinatoire...fourmis optimisationparessaims particulaires....

Documents