giseh 2010 lévaluation multicritère en pratique jean-claude vansnick université de mons...

GISEH 2010

L’évaluation multicritère en pratique

Jean-Claude VANSNICK

Université de Mons

[email protected]

Clermont-Ferrand2, 3 et 4 septembre 2010

Dans une situation de décision,

on parle d’évaluation multicritère

lorsqu’une personne ou un groupe de personnes

doit déterminer l’attractivité (la désirabilité)) de certains éléments

(parmi lesquels il convient souvent de faire un choix)

compte tenu de plusieurs aspects

(qui représentent les préoccupations des décideurs).

Exemple (Hôpital de Ciudad Real, Espagne)

Éléments à évaluer : politiques de maintenance pour une salle d’opération

Aspects à prendre en compte :

Disponibilité de la salle

Probabilité de suspension d’une opération en cours

Moment de détection d’un défaut

Sécurité du personnel

Sécurité des patients

Coût

Autre exemple : achats hospitaliers

De manière assez générale, lors d’achats hospitaliers,

de nombreux aspects doivent souvent être pris en compte

pour déterminer l’attractivité des différentes possibilités d’achat.

L’objet de cet exposé est de présenter

le type de procédures que l’on peut utiliser, en pratique,

pour aider une personne ou un groupe de personnes

à réaliser une évaluation multicritère.

A noter que ces procédures n’ont rien à voir

avec celles qu’on rencontre

dans le cas d’une prise de décision monocritère

car les préoccupations y sont très différentes.

Alors que le monde du « monocritère »

privilégie un seul aspect (souvent l’aspect financier)

et est d’ordre essentiellement technique

(détermination d’une action optimale),

le monde du « multicritère »

concerne avant tout

l’explicitation des préoccupations des décideurs

et l’évaluation des actions potentielles

en tenant compte de tous les aspects

(qualitatifs et/ou quantitatifs)

qui représentent ces préoccupations.

Les enjeux de l’évaluation multicritère sont

non pas l’optimisation mais l’aide

à la réflexion

à l’expression de jugements d’appréciation consistants

à l’utilisation de mathématiques simples mais signifiantes,

le but final étant d’assurer que le résultat obtenu

soit conforme au système de valeurs des décideurs.

Plan de l’exposé

Présentation du cas que nous utiliserons pour illustrer

comment aider à réaliser une évaluation multicritère

Évaluation multicritère

Notion d’évaluation

Évaluation sur un aspect particulier

- Tri

- Rangement

- Évaluation numérique (procédure MACBETH)

Agrégation d’évaluations « locales »

en une évaluation « globale »

I.- Présentation du cas que nous utiliserons pour illustrer


En 2008, le ministère de la Santé et des Services sociaux

du Gouvernement du Québec

a désigné la Corporation d’approvisionnement Laurentides-Lanaudière

pour exécuter un programme d’achat en commun

visant l’acquisition d’équipements d’imagerie par résonance magnétique

pour divers centres hospitaliers du Québec.

Suite à un appel d’offres lancé par

la Corporation d’approvisionnement Laurentides-Lanaudière,

quatre équipements susceptibles de répondre

aux besoins recensés des établissements participants

ont été mis en évidence :

nous les noterons ci-dessous W, X, Y et Z.

Ces quatre équipements

ont ensuite fait l’objet d’une

évaluation de leurs performances

sur le plan clinique,

sur le plan technique

mais aussi en ce qui concerne

les garanties offertes,

les programmes de formation

et le service après-vente.

En ce qui concerne l’évaluation clinique, il avait été annoncé qu’elle porterait sur

trois points mais en grande partie sur la qualité des images et que, pour ce point,

la détermination de l’attractivité des équipements se ferait sur base

d’images acquises en usine et relatives à des examens prédéterminés.

En ce qui concerne l’évaluation clinique, il avait été annoncé qu’elle porterait sur

trois points mais surtout sur la qualité des images et que, pour ce point,

la détermination de l’attractivité des équipements se ferait sur base

d’images acquises en usine et relatives à des examens prédéterminés.

Ces examens prédéterminés

portaient sur

5 régions anatomiques

1

2

3

4

5

6

7

8

9

10

11

12

Ces examens prédéterminés

portaient sur

5 régions anatomiques

et comportaient

12 séquences.

1

2

3

4

5

6

7

8

9

10

11

12

L’évaluation des équipements

quant à la qualité des images

devait dont se faire

en tenant compte

de 12 aspects.

C’est cette partie de l’étude

que nous allons prendre

comme cas pratique

pour illustrer nos propos

sur l’évaluation multicritère.

Dans l’appel d’offres, il avait été mentionné que :

« Des visites en usine d’un groupe d’évaluateurs

devront être organisées par les soumissionnaires

pour, entre autre,

procéder à l’acquisition d’images

sur un sujet volontaire selon des protocoles prédéfinis. »

Ces visites ont été organisées

à la fin de l’année 2008

et des images ont été acquises

avec les mêmes protocoles

et les mêmes sujets volontaires

pour tous les équipements visés par l’évaluation.

Après avoir subi une procédure d’anonymisation,

chaque séquence acquise sur les 4 équipements W, X, Y et Z

a été présentée,

sur 4 moniteurs placés côte à côte (*),

à un comité d’évaluation composé de radiologues

et de technologues représentant les établissements clients.

(*) Pour chaque séquence, l’ordre d’apparition sur les moniteurs était différent.

Avec, sur le plan méthodologique, l’aide de

Serge Bourgouin et Nathalie Chartier,

qui dirigent chacun un centre d’approvisionnement au Québec

et qui utilisent l’analyse multicritère pour leurs achats hospitaliers,

le comité d’évaluation a déterminé l’attractivité des équipements

(quant à la qualité des images) dans le cas de chaque aspect

puis ces attractivités « locales » ont été agrégées afin d’obtenir

l’attractivité « globale » des équipements (quant à la qualité des images).

1

2

3

4

5

6

7

8

9

10

11

12

12 é

valu

atio

ns «

loca

les

»

Agrégation

évaluation « globale »

II.- Évaluation multicritère

Plan de l’exposé

Présentation du cas que nous utiliserons pour illustrer


Évaluation multicritère

Notion d’évaluation

Évaluation sur un aspect particulier

- Tri

- Rangement

- Évaluation numérique (procédure MACBETH)

Agrégation d’évaluations « locales »

en une évaluation « globale »

Comment aider à déterminer l’attractivité des éléments

à évaluer sur un aspect particulier ?

2°) Comment agréger les évaluations « locales » en une

évaluation « globale » ?

Comme on ne peut pas « mesurer »

sans disposer d’une « unité de mesure »,

la première question à se poser

quand on désire évaluer des éléments

est celle de l’unité de mesure.

II 1.- Notion d’évaluation

Évaluer des éléments,

c’est déterminer leur attractivité

c’est-à-dire associer à chacun d’eux un nombre

« mesurant » son attractivité.

Comment construire une unité de mesure ?

1°) Spécifier deux éléments dont l’un [noté Réf.(+)]

est clairement plus chaud que l’autre [noté Réf.()].

Chaleur croissante

Réf.(+)

(eau bouillante)

Réf.()

(glace fondante)

2°) Prendre la différence de chaleur entre Réf.(+) et Réf.()

(ou une partie bien spécifiée de cette différence) comme

unité de mesure pour la différence de chaleur.

Exemple : le degré Celsius est défini comme étant

la centième partie de la différence de chaleur

entre l’eau bouillante et la glace fondante.

Construction d’une unité de mesure

Cas de la propriété de chaleur

Exemple (Celsius, 1742) :

Réf.(+) = eau bouillante Réf.() = glace fondante.

1°) Décrire deux éléments dont l’un [noté Réf.(+)] est

clairement plus attractif que l’autre [noté Réf.()].

Attractivité croissante

Réf.(+)

Réf.()

2°) Prendre la différence d’attractivité entre Réf.(+) et Réf.()

(ou une partie bien spécifiée de cette différence) comme

unité de mesure pour la différence d’attractivité.


Cas de la propriété d’attractivité


Cas de la propriété d’attractivité des équipements quant à la qualité des images.

Réf.(+) est un équipement dont les images non seulement permettent

de voir une anomalie dans 100% des cas mais encore sont

suffisamment nettes et claires que pour permettre à un clinicien de

bien définir l’anomalie et d’établir un diagnostic précis sans

demander d’autres examens.

Un tel équipement qui correspond aux aspirations des radiologues

quant à la qualité des images sera noté ci-dessous « Bon ».


Cas de la propriété d’attractivité des équipements quant à la qualité des images.

Réf.() est un équipement dont la qualité des images permet de détecter

une anomalie dans 100% des cas mais sans plus.

Un tel équipement qui correspond à la qualité minimale recherchée

par un radiologue en ce qui concerne les images acquises avec un

équipement d’IRM sera noté ci-dessous « Neutre ».

TROIS ÉTAPES :

TRI

RANGEMENT

ÉVALUATION NUMÉRIQUE

II 2.- Évaluation sur un aspect particulier

(*) Nous illustrerons cette partie de l’exposé sur base de la détermination

de l’attractivité des équipements d’IRM (W, X, Y et Z) quant à la qualité

des images pour l’aspect « colonne cervicale, axial T2 »

(*)

A noter que les éléments sur lesquels on va demander

au comité d’évaluation de porter des jugements d’appréciation

ne sont pas les équipements X, Y, Z et W eux-mêmes

mais les moniteurs M.1, M.2, M.3, M.4

étant donné que l’évaluation se fait « à l’aveugle »

TRI

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 5

Zone 1Exemple

M.1

M.2M.3

M.4

TRI

M.1

M.2M.3

M.4

M.1

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 5

Zone 1Exemple

TRI

M.1

M.2M.3

M.4

M.2

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 5

Zone 1

M.1

Exemple

TRI

M.1

M.2M.3

M.4

M.3

M.1

M.2

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 1

Zone 5

Exemple

TRI

M.1

M.2M.3

M.4

M.3

M.1

M.2

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 1

Zone 5

M.4

Exemple

TRI

M.1

M.2M.3

M.4

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 5

Zone 1Aspect « colonne cervicale, axial T2 »

TRI

M.1

M.2M.3

M.4

M.3M.4 M.1

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 5

Zone 1

M.2

Aspect « colonne cervicale, axial T2 »

RANGEMENT

Dans cette situation, la phase de

rangement consiste à aider le comité

d’évaluation à ranger les moniteurs

M.1, M.2, M.3 et M.4

par ordre d’attractivité décroissante

de la qualité des images

M.3M.4 M.1

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 1

M.2

Zone 5

Comparaison des images deux à deux

Aide au rangement des moniteurs

M.3


M.3

M.4


M.3

M.4

M.1


M.3

M.4

M.1

M.2


RANGEMENT

Compte tenu de

l’information acquise

lors de la première étape (TRI)

M.3M.4 M.1

Neutre

Bon Zone 2

Zone 3

Zone 4

Zone 1

M.2

Zone 5

RANGEMENT

on obtient donc, pour l’aspect

« colonne cervicale, axial T2 »,

le rangement ci-contre :

(rangement par ordre d’attractivité décroissante

de la qualité des images)

Neutre

Bon

M.3

M.4

M.1

M.2

RANGEMENT

Remarque :

Pour chaque aspect, il faut obtenir une information

plus riche qu’un rangement

car, sur le plan technique, il est impossible

d’agréger valablement (sans introduction d’arbitraire)

des rangements locaux en un rangement global

(théorème d’impossibilité d’Arrow).


Neutre

Bon

M.3

M.4

M.1

M.2

Il convient d’aider le comité d’évaluation

à associer à chaque élément

Bon, M.3, M.4, M.1, M.2 et Neutre

un nombre de telle sorte que

les différences (relatives) entre ces nombres

traduisent

les différences d’attractivité (relatives)

qu’il ressent entre les éléments correspondants. Rangement par ordre d’attractivité décroissante de la

qualité des images pour l’aspect« colonne cervicale, axial T2 »


Neutre

Bon

M.3

M.4

M.1

M.2

Rangement par ordre d’attractivité décroissante de la


Exemple

Compte tenu des nombres affectés aux éléments, on

peut notamment dire que, pour le comité d’évaluation :

la différence d’attractivité entre M.3 et M.4

est deux fois plus grande que

la différence d’attractivité entre Bon et M.3


est la même que

la différence d’attractivité entre M.2 et Neutre

100

0

75

25

15

10


Neutre

Bon

M.3

M.4

M.1

M.2



Exemple







est la même que


100

0

75

25

15

10

90

70

85

75

73

72

N.B. : nombres « équivalents » : ( porteurs de la même information )


Neutre

Bon

M.3

M.4

M.1

M.2



Exemple







est la même que


100

0

75

25

15

10

90

70

85

75

73

72

Le choix des nombres attribués à Bon et Neutre est libre !


Neutre

Bon

M.3

M.4

M.1

M.2



L’évaluation numérique

est une activité très difficile

et il est particulièrement utile

de disposer d’une procédure

permettant d’aider des personnes

devant réaliser une telle activité.

Procédure utilisée pour aider

à l’évaluation numérique

Idée de base : demander une information qualitative concernant

les différences d’attractivité qui existent entre les éléments à évaluer.

Ils peuvent choisir une seule catégorie ou,

en cas d’hésitation (ou de désaccord entre les évaluateurs),

plusieurs catégories successives.

Pour aider les évaluateurs, on leur propose de choisir parmi

six catégories sémantiques de différence d’attractivité :

Ce recours à des catégories sémantiques

est à l’origine

du nom de la procédure :

MESURE DE L’ATTRACTIVITÉ

PAR UNE TECHNIQUE D’ÉVALUATION

BASÉE SUR DES CATÉGORIES

Nom de la procédure

MACBETH

EASURING

ce qui, en anglais, donne :


MACBETH

EASURING

TTRACTIVENESS BY A



MACBETH

EASURING

ATEGORICAL

TTRACTIVENESS BY A



ASED

MACBETH

EASURING

ATEGORICAL

TTRACTIVENESS BY A



ASED

VALUATION

MACBETH

EASURING

ATEGORICAL

TTRACTIVENESS BY A



ASED

VALUATION

EC

NIQUE

MACBETH

EASURING

ATEGORICAL

TTRACTIVENESS BY A


Neutre

Bon

M.3

M.4

M.1

M.2

?

Procédure MACBETH pour aider


Neutre

Bon

M.3

M.4

M.1

M.2

faib

le



Neutre

Bon

M.3

M.4

M.1

M.2

?



Neutre

Bon

M.3

M.4

M.1

M.2

très

fai

ble



Neutre

Bon

M.3

M.4

M.1

M.2

?



Neutre

Bon

M.3

M.4

M.1

M.2

très

fai

ble



Neutre

Bon

M.3

M.4

M.1

M.2

?



Neutre

Bon

M.3

M.4

M.1

M.2

faib

le



Neutre

Bon

M.3

M.4

M.1

M.2

?



Neutre

Bon

M.3

M.4

M.1

M.2

mo

dér

ée



Neutre

Bon

M.3

M.4

M.1

M.2



Il est possible d’associer à chaque élément un nombre de

telle sorte que toute l’information fournie soit respectée.

N.B. Tant qu’on n’interroge le comité d’évaluation que sur des cases de la première diagonale, il est impossible que les jugements formulés

soient inconsistants entre eux.

Neutre

Bon

M.3

M.4

M.1

M.2



Neutre

Bon

M.3

M.4

M.1

M.2

Ce n’est que lorsque la première diagonale est remplie

et qu’on poursuit le questionnement

que des inconsistances peuvent apparaître.

?



Neutre

Bon

M.3

M.4

M.1

M.2

très

fai

ble

!Procédure MACBETH pour aider


faib

le

Neutre

Bon

M.3

M.4

M.1

M.2

très

fai

ble



faib

le

Neutre

Bon

M.3

M.4

M.1

M.2

très

fai

ble

Supposons que la réaction du comité d’évaluation est : « nous revoyons notre premier jugement

entre Bon et M.3 : la différence d’attractivité est très faible ».



faib

le

Neutre

Bon

M.3

M.4

M.1

M.2



Neutre

Bon

M.3

M.4

M.1

M.2

?



Neutre

Bon

M.3

M.4

M.1

M.2

mo

dér

ée



Neutre

Bon

M.3

M.4

M.1

M.2

?



Neutre

Bon

M.3

M.4

M.1

M.2

faib

le

tr. f

aib

le

mo

dér

ée



faib

le

Neutre

Bon

M.3

M.4

M.1

M.2

tr. f

aib

le

faib

le m

od

érée



faib

le

Neutre

Bon

M.3

M.4

M.1

M.2

tr. f

aib

le

faib

le

!

mo

dér

ée



faib

le

Neutre

Bon

M.3

M.4

M.1

M.2

tr. f

aib

le

faib

le

!

mo

dér

ée

Si le comité d’évaluation ne veut changer aucun jugement parmi ceux proposés,

on peut demander d’autres suggestions.



faib

le

Neutre

Bon

M.3

M.4

M.1

M.2

tr. f

aib

lefa

ible fa

ible

!

mo

dér

ée

Supposons que le comité d’évaluation se rallie à

cette dernière proposition.



Neutre

Bon

M.3

M.4

M.1

M.2



Neutre

Bon

M.3

M.4

M.1

M.2

?



Neutre

Bon

M.3

M.4

M.1

M.2

fort

e



Neutre

Bon

M.3

M.4

M.1

M.2

Proposition d’évaluation numérique



Attractivité des équipements quant à la qualité des images

AbdomenPoignet TêteColonne cervicale

Épaule

II 3.- Agrégation des évaluations

« locales » en une évaluation « globale »

Attractivité des équipements quant à la qualité des images

AbdomenPoignet TêteColonne cervicale

Épaule

AbdomenPoignet Épaule

Attractivité(W) = pcol.x 76,67 + ptête x 81,13 + ppoig.x 83,00 + pép. X 84,50 + pabd. X 67.50

TêteColonne cervicale



où pcol. , ptête , ppoig. , pép. et pabd. sont des paramètres techniques dont la somme vaut 1.




A propos des paramètres pcol. , ptête , ppoig. , pép. , pabd.

Sur le plan technique, ces paramètres ont pour but

d’ « harmoniser » les unités de différence d’attractivité

introduites pour chacun des aspects.

En l’absence d’une telle harmonisation,

l’opération d’addition utilisée pour rassembler

les différentes attractivités locales

n’aurait pas de sens sur le plan pratique

( on ne peut pas additionner des pommes et des poires ! ).

et elle conduirait à un résultat

qui ne serait porteur d’aucune signification

en termes du problème étudié.




Sur le plan opérationnel,

on peut démontrer que ces paramètres traduisent

l’importance relative que le comité d’évaluation attribue,

au départ de la situation « Neutre sur chaque aspect »

aux passages

1°) de Neutre à Bon sur l’aspect « Colonne cervicale »

2°) de Neutre à Bon sur l’aspect « Tête »

3°) de Neutre à Bon sur l’aspect « Poignet »

4°) de Neutre à Bon sur l’aspect « Épaule »

5°) de Neutre à Bon sur l’aspect « Abdomen »

Colonne cervicale

AbdomenPoignet Épaule Tête




Contrairement à ce que beaucoup de personnes pensent,

les paramètres pcol. , ptête , ppoig. , pép. , pabd

( qui sont souvent appelés poids )

ne caractérisent pas

l’importance relative des critères !

It’s the most common critical mistake in decision making

Ralph L. Keeney (Value-Focussed Thinking, page 147)




Sur le plan pratique,

pour aider le comité d’évaluation à déterminer

les valeurs des paramètres pcol. , ptête , ppoig. , pép. , pabd ,

on peut

définir quelques équipements hypothétiques très simples

sur base de leurs performances

(en termes de qualité d’image)

sur chacun des aspects considérés :

Col. cerv. Tête Poignet Épaule Abdomen

[ Col. cerv ]

[ Tête ]

[ Poignet ]

[ Épaule ]

[ Abdomen ]

[ Neutre ]

Aspects

Équipements


[ Col. cerv ] Bon Neutre Neutre Neutre Neutre

[ Tête ]

[ Poignet ]

[ Épaule ]

[ Abdomen ]

[ Neutre ]

Aspects

Équipements



[ Tête ] Neutre Bon Neutre Neutre Neutre

[ Poignet ]

[ Épaule ]

[ Abdomen ]

[ Neutre ]

Aspects

Équipements




[ Poignet ] Neutre Neutre Bon Neutre Neutre

[ Épaule ]

[ Abdomen ]

[ Neutre ]

Aspects

Équipements





[ Épaule ] Neutre Neutre Neutre Bon Neutre

[ Abdomen ]

[ Neutre ]

Aspects

Équipements






[ Abdomen ] Neutre Neutre Neutre Neutre Bon

[ Neutre ]

Aspects

Équipements






[ Abdomen ] Neutre Neutre Neutre Neutre Bon

[ Neutre ] Neutre Neutre Neutre Neutre Neutre

Aspects

Équipements




demander au comité d’évaluation

de déterminer l’attractivité de ces équipements hypothétiques

(en utilisant par exemple la procédure MACBETH).

Les valeurs des paramètres pcol. , ptête , ppoig. , pép. , pabd

. sont proportionnelles aux différences d’attractivité

entre les équipements [ Aspect ] et [ Neutre ]

pour chaque aspect considéré.

Exemple

Rangement de ces équipements hypothétiques

Notations relatives aux différences d’attractivité

Jugements de type « MACBETH »

Valeurs des paramètres

techniques (en %)

Evaluation numérique

Attractivité globale

(quant à la qualité des images)

des équipements W, X, Y et Z

X Z

Y W

Points forts

Points faibles

Points forts

Points faibles

Points forts

Points faibles

Points forts

Points faibles

Conclusion

Lorsque, dans une situation de décision, on ne fait intervenir

qu’un seul aspect pour comparer les actions potentielles,

il suffit de disposer d’un rangement de ces actions

(par ordre d’attractivité décroissante relativement à cet aspect)

pour pouvoir prendre une décision.

Dans un tel cas, on peut parler d’action(s) optimale(s)

(celle(s) qui est (sont) en tête du rangement)

et la seule difficulté qui peut alors se présenter

est d’ordre purement technique :

s’il y a beaucoup d’actions potentielles (à la limite une infinité),

il convient de disposer d’un outil permettant

de mettre en évidence au moins l’un des actions optimales.

C’est le domaine privilégié de la recherche opérationnelle

et des mathématiques de l’optimisation.

Dès qu’on désire tenir compte simultanément de plusieurs aspects,

il en va tout autrement :

l’idée d’action optimale disparaît

il ne suffit pas de disposer d’un rangement des actions potentielles

sur chaque aspect pour pouvoir prendre une décision

(car l’agrégation de rangements pose problème)

l’idée d’évaluation multicritère apparaît.

On entre alors dans un monde où les enjeux sont

non plus l’optimisation mais l’aide à

la réflexion

l’expression de jugements d’appréciation consistants

l’utilisation de mathématiques simples mais signifiantes,

le but étant d’assurer que le résultat obtenu

soit conforme au système de valeurs

au nom duquel la décision doit être prise.

C’est dans ce cadre que l’approche MACBETH a été développée.

Remerciements

Je tiens à remercier très chaleureusement

Madame Nathalie Chartier

et Monsieur Serge Bourgouin

qui ont réalisé le cas pratique qui a servi de base

à l’illustration de cette présentation.

Les nombreuses discussions que j’ai eues avec eux

concernant ce cas et l’approche MACBETH

m’ont grandement aidé dans la préparation de cet exposé.

giseh 2010 lévaluation multicritère en pratique jean-claude vansnick université de mons...

Documents