Contexte de la production et de l’évaluation scientifique
Gabriel Gallezot
Avignon - 2009
Plan
• Usage de l’IST par les chercheurs• La communication Scientifique• L’évaluation scientifique• … appropriation « du numérique » et
indicateurs émergents
Types de documents
Formats de documents
Modalités d’accès aux documents
…
Usage de l’information
Rechercher: IR/épistémè
Bases Bibliographiques
Banques de données
Revues, ouvrages
Colloques
Site web, page perso, blog
Liste de discussion
Editeurs, agrégateurs
Archives Ouvertes
Bibliothèques
Les ressources
Communication Scientifique(schéma dia suivante)
• un processus au cœur de la recherche• le chemin "traditionnel" qu'emprunte l'IST• Montre les types de doc et les statuts des doc
Schéma bouleversé par• l’accès réseaux• prod. numérique• les entrepôts numériques
--> en terme rapidité et spectre documentaire
Communication scientifique modèle 70’
Source : Julie M. HurdJASIST 51(14), 2000 Lien vers 2020
Ex. « Code documentaire » pour l’évaluation
ACL : Articles dans des revues internationales ou nationales avec comité de lecture répertoriés dans les bases de données internationales
ACLN : Articles dans des revues avec comité de lecture non répertoriés dans des bases de données internationales.
ASCL : Articles dans des revues sans comité de lecture,
INV : Conférences invité.
ACT : Communications avec actes dans un congrès international ou national
COM : Communications sans actes dans un congrès international ou national
AFF : Communications par affiche dans un congrès international ou national
OS : Ouvrages scientifiques (ou chapitres de ces ouvrages)
OV : Ouvrages de vulgarisation (ou chapitres de ces ouvrages)
DO : Directions d’ouvrages
AP : Autres publications
TH : Thèses soutenues
Valorisation et brevets : contrats de recherche, les partenariats industriels,..
Cycle de l’information
(usage de l’information et production de résultats)
Cycle de publication
(chaîne éditoriale)
Contexte de la recherche
Communication scientifique
(diffusion des résultats)
Acteurs :Pairs
Editeursinstitutions
La question de l’évaluation
Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, …
•Auto-évaluation
•Collègues de labo (évaluation)
•Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)
•Comité de rédaction (sélection)
•Comité scientifique (évaluation)
•Editeur (évaluation/correction)
•Lecteur (évaluation)
… Publication pour l’évaluation Evaluation quantitative : a posteriori, la bibliométrie
• À l’origine : Garfield et le Science Citation Index (SCI, 1961) de l’Institute for Scientific Information (ISI), puis JCR (1975)
• Des référentiels : SCI (ISI), JCR (ISI), OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes…
• Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, …
• Des évaluations : AeRES, CNU, Université, …
Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…voir les diapos suivantes
Pour qui ? : > le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, …
Comment ? Quels référentiels ? Quels indicateurs ? Qui ? Quoi ? : les chercheurs, les établissements ,
les revues, les programmes, ... Par Qui ? : Ost, Aeres, Cnu, Univ...
un modèle prégnant :
publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)
Un modèle dominant (STM) et quasi monopole de l’analyse et du référentiel (ISI)
Evaluer l’activité “recherche” ?
Quel(s) réfentiel(s) ?-> Examen des sources disponibles comme référentiel(s)
possible(s) pour l’évaluation ... WoS (ISI), Scopus (Elsevier), Google Scholar, ... et après ???
http://wiki-urfist.unice.fr/wiki_urfist/index.php/Contexte_de_la_production_et_de_l%27%C3%A9valuation_Scientifique
• Bases payantes : Isi-Wos (S.C.I, J.C.R.), Scopus• Bases « invisibles » : interne institution, programme, ...• Bases « ouvertes » : Pubmed, Common Chemistry, ...• Moteurs de recherche : Scholar, Scirus, Scitopia, ...• AO & co : ArXiv, CiteSeer, institionnelle, revues.org, Cairn,
Persée, ...• Listes et références : Aeres, ERIH, JQL, ...F1000• Outils d’interfaçage / Mashup : Eigenfactor, Scimago,
SCEAS, Authoratory, Scival, Bibapp...• Web : site labo, perso, programme, ...• Web2.0 : Connotea, 2collab, Zotero, bibsonomy
Postegenomic, hypothèse, ...
Quelle(s) Mesure(s) ?“... pour l'essentiel, la quantification est utilisée comme indicateur de qualité”
« C'est une course, un match à la réputation, et dans ce contexte, la recherche c'est sexy. La réputation, malheureusement, repose sur la recherche et la recherche attire le meilleur talent. »
« La meilleure façon de pousser les classements vers le haut, c'est de tuer les sciences humaines. »
“ Il est largement accepté qu'une grande lacune des classements, comme des différentes bases bibliométriques – tient à leur incapacité à traduire avec exactitude et de manière adaptée la manière dont les différentes disciplines produisent et diffusent les connaissances, et de plus en plus pour rendre compte des retombées au-delà du périmètre académique.
“... malgré leur durée de vie relativement courte, est qu’il existe déjà des fortes preuves que les classements ont déjà un effet profond sur la prise de décisions et les comportements dans le monde de la recherche ce qui entraînera des conséquences pour la structure des systèmes et l’organisation des institutions.”
Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT OCCASIONNEL No. 15
Système de classement Indicateurs Pondération
Classement Académique des Universités Mondiales – SJT« SHANGAI »
• Qualité de l’enseignement• Qualité des membres du corps professoral Nombre de Prix Nobel / Médailles Fields Nombre de chercheurs les plus cités (« HiCi ») • Production de la Recherche Nombre d’Articles dans « Nature/Science » Nombre d’Articles dans le « Citation Index »• Taille de l’Institution
10%
20%20%
20%20%10%
Classement Mondial des Universités de Times QS
« THE- QS »
• Évaluation par les Pairs• Employabilité des Diplômés• Qualité de l’enseignement / rapport élèves-enseignants• Étudiants Internationaux• Personnel enseignant international• Qualité de la Recherche / Citations par Faculté
40%10%20%5%5%20%
Classement des Performances des Articles Scientifiques pour Universités de Recherche
« Taiwan »
• Productivité de la Recherche Nombre d'Articles dans les 11 dernières années Nombre d'Articles dans l’année en cours.• Impact de la Recherche Nombre de Citations dans les 11 dernières années Nombre de Citations dans les 2 dernières années Nombre moyen de Citations dans les 11 dernières années• Excellence de la Recherche Classement HiCi des 2 dernières années Nombre d’articles HiCi dans les 10 dernières années Nombre d’Articles dans des Revues à fort facteur d’impact Nombre de disciplines dans lesquelles l’Université fait preuve d’Excellence
10%10%
10%10%10%
20%10%10%
10%
Exemples d'indicateurs mondiaux (Etablissements)Une comparaison de ce que les différents classements mesurent
Rapport Unesco 2009, Ellen Hazelkorn,
RAPPORT OCCASIONNEL No. 15
Les 8 Les 8 iindicateurs ndicateurs de lde l’OS’OSTT
• Part de publications scientifiques • Indice de spécialisation scientifique • Part de citations• Indice d’impact relatif • Indice d’impact espéré • Ratio de citations relatif • Indice d’activité par classe de citations• Part d’articles en co-publication
Ex IPERU : Programme 150 de la LOLF « formations supérieurs et recherches universitaireIndicateurs « part mondiale de publications » et « indices d’impact à 2 ans »par discipline, pour les sciences de la matière et sciences de la nature et de la vie
Source :
Classement de Shanghai sensibiliser le monde universitaire à son
positionnement international (dynamique)200X : http://www.arwu.org/ • Calculé sur les données du WoS qui
présentent déjà de nombreux biais (notamment la langue, type de doc)
• Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …)
• Pb de nos univ dans la mondialisation: éparpillement , petites tailles, pluridisciplinaires, …
« Shangai » quelques critères• La qualité de l'enseignement (10% de l'évaluation)
Le critère « Alumni » : ce critère prend en compte le nombre de prix Nobel (hors littérature et paix) et de médailles Fields reçues par les anciens élèves ayant validé un bachelor, un master ou un doctorat (les distinctions les plus récentes valant plus de points).
• La qualité de l'établissement (40% de l'évaluation)
Le critère « Award » : ce critère est lié au nombre de prix Nobel (toujours hors littérature et paix) et de médailles Fields obtenus cette fois-ci par les chercheurs (une fois de plus le poids des chercheurs du début du siècle est moins important que les chercheurs en poste).
Le critère « HiCi » : le deuxième élément utilisé pour mesurer la qualité de l'établissement est le nombre de chercheurs les plus cités dans leurs disciplines.
• Le volume de publications scientifiques (40% de l'évaluation)
Le critère « N&S » : ce critère classant prend en compte les articles publiés dans les revues scientifiques « Nature » et « Science »
Le critère « PUB » : il comptabilise les articles indexés dans le « Science Citation Index », et le « Arts & Humanities Citation Index ».
• La taille de l'établissement (10% de l'évaluation)Source :
Indicateurs utilisés pour évaluer la recherche Système de classement (pays)
Total des financements (somme d’argent) Slovaquie
Financements par université (somme d’argent) Autriche, Allemagne, Italie
Financements par université (nombre absolu) Italie
Projets de recherche financés par l’Union Européen (UE) Italie
Participation à des programmes internationaux de recherche Pologne
Nombre de publications Suède
Publications par chercheur Allemagne, Slovaquie, Suisse
Citations par université Royaume-Uni
Citations par publication Allemagne, Slovaquie, Suisse
Nombre de publications internationales Pologne
Pourcentage d’articles cités dans les deux premières années suivant leur publication
Suède
Nombre de publications avec 5 citations ou plus Slovaquie
Pourcentage d’articles classés dans les premier 5% des articles les plus cités (HiCi)
Suède
Nombre de brevets (nombre absolu) Allemagne
Brevets par université Allemagne
Rapport d’étudiants chercheurs de troisième cycle Royaume-Uni
Qualité de la recherche Allemagne, Royaume-Uni
Réputation de la recherche Autriche, Allemagne
Types d'indicateurs Nationaux pour l’évaluation de la recherche
Rapport Unesco 2009, Ellen Hazelkorn,
RAPPORT OCCASIONNEL No. 15
Facteur d’impact
• ISI calcule le facteur d’impact d’une revue de la façon suivante:
Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes
Citations en 2004 d’éléments publiés en 2003 et 2002Nombre total d’articles publiés en 2003 et 2002
1630
523= 3.117
Source : ISI thomson
h index et
variantes
• H index : Jorge E. Hirsch (2005) www.pnas.org/cgi/doi/10.1073/pnas.0507655102. Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois
• G index : Egghe, Leo (2006) http://dx.doi.org/10.1007%2Fs11192-006-0144-7 : un g-index de 10 => 10 papiers dont la somme des citations est au moins de 100
• A- index, H-b index , scHolar index, …
• Démo avec POP ou ScholarIndex
http://insitu.lri.fr/~roussel/projects/scholarindex/
facteur y• tient compte de la distinction entre les deux
notions de « popularité » et de « prestige ». C’est le produit de « ISI IF and Weighted PageRank »
Êtes-vous « publiant » ?
selon l’AERES (doc 2007)
http://www.aeres-evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf L’activité d’une unité de recherche fait l’objet d’une appréciation qualitative,
fondée principalement sur l’évaluation par les pairs, complétée par un certain nombre d’indicateurs aussi objectifs que possible. A l’estimation globale de la qualité de la production scientifique et du rayonnement d’un laboratoire, s’ajoute la prise en considération de l’organisation et de la répartition des travaux entre ses membres. L’un des indicateurs est une estimation de la proportion des chercheurs et enseignants-chercheurs "publiants".
Peut-être de nouveaux critères, selon les recommandations de l’Academie des Sciences au MESR
CNU
Voir site CP- CNU : http://91.121.210.124:8080/cpcnu/ qualification et… recommandation de chaque section : http://91.121.210.124:8080/cpcnu/sectionsCnu.htm
Principales Recommandations pourL’évaluation individuelle des chercheurs et des enseignants-chercheurs
en sciences exactes et expérimentales (Rapport Academie des Sciences du 8 juillet 2009 au MESR)
Pour une déontologie incontestable
1 -Assurer la qualité des évaluateurs à partir de pré-requis définis par l'AERES
2 -Imposer une déclaration obligatoire des conflits d'intérêt directs et indirects, signée par les évaluateurs, et remplacement au sein du comité si nécessaire
3 -Limiter la durée des mandats à trois ans avec rotation annuelle par tiers pour dissocier les lobbies
Évaluation de l’activité de rechercheÉvaluation de l’activité de recherche
4 -Réaffirmer la valeur primordiale de l'évaluation directe des travaux scientifiques à partir des publications originales et éventuellement d’auditions
...suite
5 -Encadrer la bibliométrie en s'assurant qu’elle soit utilisée de façon rigoureuse, en évitant tous les biais trop souvent négligés, en adaptant les indicateurs selon les disciplines, et en l’intégrant à l’évaluation qualitative. Encourager le développement d’une recherche critique de nouveaux indicateurs
6 -Donner la place qu'elle mérite à la recherche appliquée pour ceux qui s'y consacrent
7 -Prendre en considération les critères objectifs de notoriété scientifique nationale et internationale
Évaluation de l’activité d’enseignement
8 -Etablir une grille d'évaluation de l'enseignement en donnant une large place à l’appréciation des étudiants
9 -Intégrer des critères objectifs tels que le contenu et l’originalité de l’enseignement ou la production d’ouvrages pédagogiques
Évaluation des charges d’intérêt collectif
10 -Prendre en compte les charges d’intérêt collectif, plus particulièrement celles impliquant des responsabilités importantes
Autres mesures importantes
11 -Réduire le nombre des évaluations au strict nécessaire, en distinguant les évaluations approfondies (recrutements et autres étapes-clés de la carrière), des évaluations de suivi
12 -Procéder aux recrutements en deux étapes : admissibilité sur dossier, admission après audition et examen approfondis
13 -Toute évaluation ne doit être entreprise que si elle peut conduire à des conséquences significatives pour l’intéressé. Créer des structures de ressources humaines en vue d’une aide à une évolution de la carrière des personnels en difficulté
14 -Bien mettre en perspective le rôle de l’évaluation nationale (essentielle pour l’activité de recherche) et de l’évaluation locale (la mieux placée pour l’évaluation de l’enseignement et celle des charges d’intérêt collectif) en veillant néanmoins à ce que les structures locales d’évaluation incluent un pourcentage suffisant d’experts extérieurs.
...suite
Rapport de L’Inria
Les indicateurs sont des instruments de mesure importants mais qui doivent être utilisés de manière éclairée en respectant des règles de base :
• Les indicateurs actuels sont essentiellement des facteurs d'impact ce qui n'est pas synonyme de qualité.
• Il faut simplement s'attacher aux ordres de grandeur des indicateurs car même l'utilisation de sources diverses ne permet pas d'obtenir une grande précision.
• Il est nécessaire de corriger les indicateurs par l'avis d'experts.
• Il est nécessaire d'utiliser plusieurs indicateurs.
• Il est nécessaire de recouper des sources diverses pour obtenir une information pertinente.
Appropriation du « numérique »
(re)penser le cycle de l’info la communication scientifiquel’évaluation de la recherche
eScience
• Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès)
• Gain de productivité ? (bouclage rapide du cycle)
• Gain de créativité ? (tertiarisation documentaire)
Production scientifique et Compartimentation des savoirs
...vers l’interdisplinarité
D’après Swanson (1986)
• Spécialisation de la R• Évaluation de la R=> accroissement de la Pub. Sc. (données, textes, revues, etc)
Il faut :
Mieux connecter
Mieux partager
Ouvrir le spectre documentaire
La KDD
Communication scientifique modèle 2020
Source : Julie M. HurdJASIST 51(14), 2000Lien vers 1970
Retour sur la communication scientifique
Indicateurs émergents ?IF, Shanghai, h index et quoi d’autre ?
>Des spécificitésEx. SHS :
Importance Revues/Ouvrages ?Internationnalisation des disciplines ?
>Des pistes (les dia suivantes) :• Système d’information (SI) local• Interfaçage / Mashup• visibilité internationale des références “hors
marché de l’information” : le “scholar web” (AO, outils spécialisés,…)
Ce qui se met en place dans nos institutions (Univ et EPST)
• Système d’Information (SI) local (global ?) imposé par la LOLF (indicateurs d’activités)
• Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) • Ex. sur l’INRA : ProdInra• Connexions des entrepôts d’informations nationaux et
locaux (AO institutionelles notamment)
Pour l’univ : ses propres indicateurs au regard de ceux proposés par Ost - IPERU
Toutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD
disciplinaires en France, connectivité avec d’autres BdD (HAL, …) (Cf dia 35 - IRRA/RAE en Uk)
Interfaçage / Mashup>> des outils de croissement de référentiels,
pour mesures ou visualisation différentes.
• SCEAS System http://sceas.csd.auth.gr/ (DBLP)
• SCImago : http://www.scimagojr.com (Scopus - Elsevier)
• Eigenfactor : http://www.eigenfactor.org/index.php (JCR)
• Authoratory : http://www.authoratory.com/ (Pubmed)
• Scival : http://www.scival.com/ (Elsevier)
• ...
Le « scholar web »“ISI” factor vs. “web” factor
• Référencement établi vs. visibilité• usage/accès aux BdD commerciales vs. usage/accès
généralisé/libre• Evaluation maîtrisée par une méthode et une
entreprise vs. une multitude d’évaluations, méthodes, projets, ...
• Publier autrement
Déjà à l’œuvre : CiteBase, Citeseer, Scholar google, webometric, clickstream, F1000, enquête… (dia suivante)
De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place)
Autres indicateurs• Citebase, 1999, rapport téléchargements/citations
http://citebase.eprints.org • Citeseer, Associations des refs, commentaires et votes
http://citeseer.ist.psu.edu
• F1000, 2002, « groupes qualités » http://www.f1000biology.com/home/
• IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories : http://irra.eprints.org/white/
• Google scholar 2004, http://scholar.google.com/
• Enquête SHS/CNRS (Sciences de l’Homme et de la Société, n 69, mai 2004)
• Ranking web (2006 - CSIC) http://www.webometrics.info/
• principe du Clickstream (cf. dia suivante)
Clickstream
Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche (y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autres lieux de citations, etc...)
Nouveaux modes d’évaluation de la recherche ?
En guise de conclusion
Quelques refs pour poursuivre
• S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996
• Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002
• Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271
• Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com
• Et les liens : http://wiki-urfist.unice.fr/wiki_urfist/index.php/Contexte_de_la_production_et_de_l%27%C3%A9valuation_Scientifique
Vos questions