introduction aux concepts et outils de la bibliométrie
Post on 13-Apr-2017
154 Views
Preview:
TRANSCRIPT
Introduction aux concepts et outils de la bibliométrie
Manuel Durand-Barthez - URFIST Paris 27 octobre 2016
Journée d’étude CentraleSupélec : « Les enjeux documentaires de la thèse »
Calculer ?
! Calculer pour qui ? ! Calculer comment ? ! Calculer pourquoi ?
www.htemeel.com
Tout ce qui est comptabilisable ne compte pas et tout ce qui compte n’est pas comptabilisable
William Bruce Cameron 1957, 1958 et 1963…? http://quoteinvestigator.com/2010/05/26/everything-counts-einstein/#more-455
Calculer pour qui ?
Contexte législatif français : ! Les Programmes de la LOLF
(loi organique relative aux lois de finances)
! IIs visent:
! La « production scientifique » alias les publications ! Le transfert de technologie (dépôt de brevets…) ! La participation aux Programmes de recherche &
Développement de l’Union européenne (ex.: H2020)
Les Programmes de la LOLF
! 3 programmes gérés par le MENESR : ! P150 : Enseignement supérieur &
Recherche = financement DGESIP ! P172 : Recherches scientifiques et
technologiques pluridisciplinaires = financement DGRI
! P193 : réservé exclusivement au CNES = financement DGRI
Indicateurs communs aux P 150, 172 et 193
a) Production scientifique desopérateurs du programme.Part des publications de référence internationale des opérateurs du programme dans la production scientifique de l’Union européenne, du monde et du trio France /Allemagne / Royaume-Uni.
Indicateurs communs aux P 150, 172 et 193
b) Reconnaissance scientifique des opérateurs du programme • Indice de citation à deux ans des publications des opérateurs du programme Source des données : Web of Science, Clarivate-Analytics (ex-Thomson-Reuters) Base de référence spécifiquement agréée par l’Administration (LOLF)
Indicateurs d’autres programmes LOLF
! P192 (Min. Économie, Industrie & Numérique)
! Bibliométrie des écoles ! Nombre moyen de publications
scientifiques de rang « A » rapporté au nombre de chercheurs (ETP)
Source: Consolidation des informations apportées par les organismes concernés
Calculer pour être classé ! Shanghai ! Times Higher Education World University
Rankings. ! QS [Quacquarelli Sysmonds] World
University Rankings ! U-Multirank ! Leiden Ranking ◦ Les classements ne sont pas, en France, un
objectif officiellement avoué, mais toujours implicitement visé
Calculer pour être classé
! Les classements en vigueur sont plutôt mal adaptés au cas français ◦ Recensent pour l’essentiel les établissements
d’E.S. => Orientation des étudiants avancés pour la suite de leurs études ◦ Ne concernent les grands organismes français
de Recherche que par le biais de la « contamination » UMR/Universités, le cas échéant => inadéquation du modèle
Calculer pour être classé
! En France, le recensement est faussé par l’hétérogénéité importante des Affiliations
! Le millefeuille des signatures croît avec le poids politique des superstructures (COMUÉs etc.) et un usage immodéré de la syntaxe multilignes ou de monolignes mal construits
EVALUATION DES PUBLICATIONS
13875 titres revendiqués sur la Plate-Forme propriétaire de
l’ISI WEB OF SCIENCE (WoS)
[2016]
Répartition par Domaines
! 8854 titres en Sciences Technologie Médecine
Base Science Citation Index ! 3242 titres en Sciences sociales Base Social Science Citation Index ! 1779 titres en Sciences humaines Base Arts & Humanities Citation Index
EVALUATION DES SOURCES (Titres des revues)
JOURNAL CITATION REPORT (J.C.R.)
Tableau statistique annuel paraît à la fin du 1er semestre
de l’année « n+1 » 2015 (paru en 2016): 8757 titres analysés en STM 3206 en Sci. sociales
Calcul du Facteur d’Impact ISI C
hristina Welsh – C
C-
BY N
D
Journal: EMBO J
Impact Factor: 9,643 Cites in 2015 to articles published in: 2014 = 1630
2013 = 2285 14+13 = 3915
Number of articles published in: 2014 = 181 2013 = 225 14+13 = 406
Calculation: Cites to recent articles 3915 = 9,643 Number of recent articles 406
Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités :
Certaines peuvent mieux supporter 5 ans de délai
Notamment parce que la nature des articles publiés possède un caractère plus pérenne et
plus fondamental, appréciable (et donc "citable") sur une plus longue durée
Facteurs de pondération: - Périodicité + ou – grande: 2 ou 52 num. par an ?
- Nombre d’articles par numéro
- Changement de titre en cours d’année
- « Jeune » périodique (libre, par ex.)
- Nombre de textes type « review »
- Langue, alphabet
Facteurs d’Impact et Axes de Recherche
! 177 Subject Categories du JCR S.T.M. regroupées en 8 disciplines académiques par l’Observatoire des Sciences et des Techniques (O.S.T.) + 1 pluridisciplinaire (type Science ou Nature)
! Les Subject Categories font l’objet d’un
Facteur d’Impact agrégé sur le JCR dont la variation annuelle peut éventuellement se répercuter sur les politiques de recherche
Chercher la « bonne » revue
! Les « bonnes revues » d’un domaine définies à partir du Journal Citation Reports
! Une investigation sujette à caution ! La notion de rang A est multiforme et
varie suivant les contextes ! Néanmoins, quelle méthode brute permet
un défrichage basique ?
Méthode des 10 + 15 % Subj. Cat. /JCR
! Sélectionner 1, 2, voire 3 Subject Categories (parmi les 177) correspondant au domaine de recherche
! Afficher le premier Quartile dans l’ordre décroissant des facteurs d’impact
! Les 10 premiers pour-cent = rang A ! Les 15 suivants = rang B ! Après, cela n’a plus beaucoup d’intérêt…
Cette Catégorie comporte 135 revues
2015, Science Citation Index Expanded (SCIE)
Select Quartile n°1
Bloc Quartile n°1 Top 10% = 13 / 135
Grands écarts entre les 3 premières positions
Fin du premier Quartile 15 % suivant le Top 10 = de 14 à 33
Remarquer l’Eigenfactor en dernière colonne (commentaire + loin)
Si 2 ou 3 catégories englobent le domaine recherché, comparer les Q1 de chacune, avec éventuellement des titres communs dont le rang sera différent
I.F. du 1er = 25,4 I.F. du 33ème = 2,57 Soit 1/10
Évaluation des Auteurs Facteur de HIRSCH Calcul d’une moyenne faisant
coïncider: ! Nb de Publications et ! Nb de Citations
= indice h
Facteur H Jorge Hirsch, Univ. San Diego (Cal.)
Si 25 articles cités au moins 25 fois, alors H=25
Facteur H ! Si H = 25 : 25 articles cités au moins
20 fois ! H = √Σcit. ⁄ 1,82 (racine carrée du
nombre total de citations recueillies [sauf auto-] par un nombre défini d’articles sur une période définie, divisée par 1,82)
Principaux problèmes liés au H index ! Cumul arithmétique associé à
l’ancienneté: le jeune chercheur très talentueux n’est pas reconnu
! Le plus souvent (sauf par ex. en biomédecine), tous les co-auteurs capitalisent les citations de manière identique, quelle que soit leur contribution intellectuelle réelle
! Calcul contaminé par les biais du système de citations
Comment calculer ?
! L’Administration tend à privilégier les mesures expéditives. ◦ Pour les publications : facteur d’impact du
JCR combiné au WoS mentionné par la LOLF ◦ Pour les auteurs : facteurs H
! Comme les classements : souvent dénigrés, toujours adulés…
Dérivés de l’impact
! Score SIGAPS (recherche médicale) ! 5 catégories de publis (ordre décroissant
de notoriété suivant l’IF de la revue) ! Données bibilio extraites de PubMed,
catégorisation issue du WoS ! Attribution corrélative de 8,6,4,3,2,1
point(s) ! Les points sont cotés en équivalent €
pour la subvention au labo
Dérivé du H (valorisation de l’auteur)
! Score SIGAPS en signatures : ◦ Premier ou Dernier auteur : 4 points ◦ Deuxième auteur : 3 points ◦ Troisième ou avant-dernier auteur : 2 points ◦ Autres positions d’auteurs : 1 point
! Le score Auteur est combiné par multiplication avec le score Publi pour affiner l’attribution financière
Duncan C, 2006, FlickR
Typologie des publications
! «Journaux stratégiques » vs. « outils de travail »
! Impact artificiel des reviews ! Incidence de calculs sur des moyennes ≠ des
médianes ! Indices de notoriété, « boîtes à
moustaches » Box Plots M.-H. Magri, INRA - CREBI Jouy-en-Josas (distribution de type Lotka)
Facteur d’impact agrégé vs. médian
" Calcul effectué sur les moyennes et médianes des F.I. des revues d’une discipline
! Biologie cellulaire # F.I. agrégé = 5,734 ; médian = 3,200
! Mathématiques # F.I. agrégé = 0,716 ; médian = 0,565 # Delta proportionnellement très inférieur
(culture de publication ≠ biol.)
Variantes du Facteurs d’impact
! Traçabilité des citations : par qui la publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-même citée etc…
! Exécution itérative du PageRank de Google (méthode de la « marche aléatoire »)
! Eigenfactor lié au J.C.R. (Clarivate) 5 ans ! Scimago Journal Rank lié à Scopus (Elsevier) 3 ans ! Facteur Y = produit de l’I.F.-WoS par le Weighted Page
Rank (J.Bollen et al. 2006)
Variantes du Facteur « H »
! Facteur « G » de Leo Egghe (Univ. Anvers) ! Nombre « g » d'articles dont la somme des
nombres de citations est au moins « g2 » ◦ un « g-index » de 10 indique que l'auteur a écrit 10
papiers dont la somme des citations est au moins de 100
! Il est censé remédier au « gel » des publications captées au-dessus de l’indice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes d’entre elles
Variantes du Facteur « H »
! Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google, tenant compte de: ◦ L’ancienneté de l’article ◦ Du nombre d’auteurs ◦ 6 combinaisons résultent de l’intersection de
ces deux paramètres
Variantes du Facteur « H »
! Nb de citations des chercheurs d’un laboratoire rapporté à l’âge de chacun.
! Calcul effectué à partir de l’âge du plus jeune de l’équipe
! Étude de la croissance du taux de citation annuel moyen pour toute la carrière
! Disparition constatée de l’effet d’âge ! Calculs de médianes
Variantes du Facteur « H » ! BORNMANN, L., MUTZ, R., DANIEL, H.D.
(2009). Do we need the h Index and its variants in addition to standard bibliometric measures? Journal of the American Society for Information Science and Technology, vol. 60, n° 6, p. 1286-1289.
! BORNMANN, L., MUTZ, R., HUG, S.E., DANIEL, H.D. (2011) A multilevel meta-analysis of studies reporting correlations between the h index and 37 different h index variants Journal of Informetrics, 5(3), 346-359
Max Planck, ETH et Univ. Zürich
Réseaux de co-citations et de citations partagées
! Définition de collèges invisibles ! CiteseerX (Pennsylvania State Univ.)
domaines de l’informatique et des mathématiques appliquées
! Cartographie induite d’un article et de ses (co)auteurs …/…
Réseaux de co-citations et de citations partagées
! CiteseerX : partant de l’article source ! Quels articles cite-t-il ? ! Quels sont les articles qui citent tout ou
partie des articles qu’il cite ? ! Quels sont les articles qui sont cités en
même temps que lui par d’autres ?
Bibliographie en fin d’article
Onglet Active Bibliography
⇒ Liste d’articles citant en bibliographie des articles cités par la bibliographie de celui-ci
Onglet Co-Citation
⇒ Liste d’articles cités en même temps que celui-ci par d’autres articles
Histogramme chrono. des citations de cet article
Combinaison de facteurs multicritères
« Méthode Langevin » Section 17 CNRS, 2007 => Adjacence de 14 critères. L’impact bibliométrique n’est cependant pas déterminant (recrutement DR2)
Comparatif 4 métriques : SNIP et SJR (Elsevier) I.F. et 5-years I.F. (Clarivate) Chemical Engineering Journal - 2016
Evaluations alternatives qualitatives
! A l’origine sur les preprints d’ArXiv ! Sur l’article, dans la revue même, type
Open Access. Ex : European Geological Union
! Sur des articles publiés dans diverses revues, par des collèges thématiques: Faculty of 1000 liée à l’éditeur
BioMed Central (absorbé par Springer)
Altmetrics
! « Manifesto » du 26 octobre 2010 par: o Jason Priem, University of North Carolina-Chapel
Hill o Dario Taraborelli, Wikimedia Foundation o Paul Groth, VU University Amsterdam o Cameron Neylon, Science and Technology Facilities
Council ! Mis en avant notamment par PLoS One,
revue biomédicale U.S. en open access
Altmetrics
! Évaluation à partir des Tweets, des Blogs, des systèmes de gestion bibliographique partagée (Mendeley, Zotero) ou des réseaux professionnels de type LinkedIn ou Google Groups
An investigation of the false discovery rate and the m
isinterpretation of p-values D
. Colquhoun R
Soc O
pen Sci 2014 N
ov; 1(3): 140216
Classements internationaux alternatifs
Classement de Leyde (Leiden-NL) • Impact moyen d’une équipe rapporté à celui d’un champ, i.e. d’une catégorie de sujet • En rapport avec la taille de l’organisme • Analyse du taux de collaboration • Prise en compte du facteur linguistique U-Multirank Projet européen multicritère
Classement de Leiden sur 4 ans : 2011-2014 Physique et Sci. de l’Ingénieur Europe Seuil plancher : 100 publis Calcul en compte fractionnaire
En guise de conclusion(s)?
! Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités
! Recenser, certes oui, mais pour qui, pourquoi, à quelles fins ?
! A-t-on ici réellement répondu à ces questions ? $ On peut en douter…
top related