contexte de la production et de l’évaluation scientifique
DESCRIPTION
Contexte de la production et de l’évaluation scientifique. Gabriel Gallezot. Plan. Usage de l’IST par les chercheurs La communication Scientifique L’évaluation scientifique … vers une appropriation profonde « du numérique ». Bases Bibliographiques. Banques de données. Revues, ouvrages. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/1.jpg)
Contexte de la production et de l’évaluation scientifique
Gabriel Gallezot
![Page 2: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/2.jpg)
Plan
• Usage de l’IST par les chercheurs• La communication Scientifique• L’évaluation scientifique• … vers une appropriation profonde
« du numérique »
![Page 3: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/3.jpg)
Types de documents
Formats de documents
Modalités d’accès aux documents
…
Usage de l’information
Rechercher: IR/épistémè
Bases Bibliographiques
Banques de données
Revues, ouvrages
Colloques
Site web, page perso, blog
Liste de discussion
Editeurs, agrégateurs
Archives Ouvertes
Bibliothèques
Les ressources
![Page 4: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/4.jpg)
Communication Scientifique(schéma dia suivante)
• un processus au cœur de la recherche• le chemin "traditionnel" qu'emprunte l'IST• Montre les types de doc et les statuts des doc
Schéma bouleversé par• l’accès réseaux• prod. numérique• les entrepôts numériques
--> en terme rapidité et spectre documentaire
![Page 5: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/5.jpg)
Communication scientifique modèle 70’
Source : Julie M. HurdJASIST 51(14), 2000 Lien vers 2020
![Page 6: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/6.jpg)
Cycle de l’information
(usage de l’information et production de résultats)
Cycle de publication
(chaîne éditorial)
Contexte de la recherche
Communication scientifique
(diffusion des résultats)
Acteurs :Pairs
Editeursinstitutions
La question de l’évaluation
![Page 7: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/7.jpg)
Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, …
•Auto-évaluation
•Collègues de labo (évaluation)
•Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)
•Comité de rédaction (sélection)
•Comité scientifique (évaluation)
•Editeur (évaluation/correction)
•Lecteur (évaluation)
![Page 8: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/8.jpg)
… Publication pour l’évaluation Evaluation quantitative : a posteriori, la bibliométrie
• À l’origine : Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)
• Des référentiels : SCI (ISI), JCR (ISI), , OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes…
• Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, …
• Des évaluations : AeRES, CNU, Université, …
Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…
![Page 9: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/9.jpg)
Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, …
Comment ?
un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)
Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)
Evaluer l’activité “recherche” ?
![Page 10: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/10.jpg)
Quel(s) réfentiel(s) ?-> Examen des sources disponibles comme référent(s)
possible(s) des instances d’évaluation
• Science Citation Index (S.C.I) - 1961 éval. auteurs,
• Journal Citation Reports (J.C.R.) -1975 éval. revues - cf. portail BU de l’univ.
• L’agence d’évaluation de la recherche et de l’enseignement supérieur - AeRES : http://www.aeres-evaluation.fr/La-liste-des-revues-scientifiques
• European Reference Index for the Humanities - ERIH : http://www.esf.org/research-areas/humanities/research-infrastructures-including-erih/erih-initial-lists.html
• Journal Quality List (JQL) : http://www.harzing.com/jql.htm • Scholar Google : http://scholar.google.fr/
• Repositories (OpenDOAR, ROAR, …)• … autres listes, Bases de Données
![Page 11: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/11.jpg)
Quelle(s) Mesure(s) ?
![Page 12: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/12.jpg)
Facteur d’impact
• ISI calcule le facteur d’impact d’une revue de la façon suivante:Le nombre total de citations faites en 2004 d’articles publiés au cours
des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes
Citations en 2004 d’éléments publiés en 2003 et 2002Nombre total d’articles publiés en 2003 et 2002
1630
523= 3.117
Source : ISI thomson
![Page 13: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/13.jpg)
Classement de Shanghai sensibiliser le monde universitaire à son
positionnement international (dynamique)2008 : http://www.arwu.org/rank2008/ARWU2008_A(EN).htm • Calculé sur les données du WoS qui présentent
déjà de nombreux biais (notamment la langue, type de doc)
• Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …)
• Pb de nos univ dans la mondialisation: éparpillement , petites tailles, pluridisciplinaires, …
![Page 14: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/14.jpg)
h index et
variantes
• H index : Jorge E. Hirsch (2005) www.pnas.org/cgi/doi/10.1073/pnas.0507655102. Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois
• G index : Egghe, Leo (2006) http://dx.doi.org/10.1007%2Fs11192-006-0144-7 : un g-index de 10 => 10 papiers dont la somme des citations est au moins de 100
• A- index, H-b index , scHolar index, …
• Démo avec POP ou ScholarIndex
http://insitu.lri.fr/~roussel/projects/scholarindex/
![Page 15: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/15.jpg)
facteur y• tient compte de la distinction entre les deux
notions de « popularité » et de « prestige ». C’est le produit de « ISI IF and Weighted PageRank »
![Page 16: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/16.jpg)
Quelle(s) Evaluation(s)
• AeRES : http://www.aeres-evaluation.fr/Presentation-de-la-rubrique ex : « chercheur publiant » http://www.aeres-evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf
• CNU : http://91.121.210.124:8080/cpcnu/ qualification et… ex : recommandation de chaque section : http://91.121.210.124:8080/cpcnu/sectionsCnu.htm
• Université : (ex: comité de sélection : http://portail.unice.fr/jahia/page7736.html
• … toutes vos activités
![Page 17: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/17.jpg)
Appropriation du « numérique »
(re)penser le cycle de l’info la communication scientifiquel’évaluation de la recherche
![Page 18: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/18.jpg)
eScience un exemple : La recherche « in silico »
• Dialectique entre la technique , la production de savoir et sa diffusion
• Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès)
• Gain de productivité ? (bouclage rapide du cycle)
• Gain de créativité ? (tertiarisation documentaire)
![Page 19: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/19.jpg)
Production scientifique et Compartimentation des savoirs
D’après Swanson (1986)
• Spécialisation de la R• Évaluation de la R=> accroissement de la Pub. Sc. (données, textes, revues, etc)
Il faut :
Mieux connecter
Mieux partager
Ouvrir le spectre documentaire
La KDD
![Page 20: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/20.jpg)
Communication scientifique modèle 2020
Source : Julie M. HurdJASIST 51(14), 2000Lien vers 1970
![Page 21: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/21.jpg)
Nouveaux modèles de publication ?
L’auto-publication sur web perturbe le modèle traditionnel de la publication
Accessibilité (relation auteur/lecteur, hébergements) D’autres visibilités (couverture et calculatoire) D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer,
Opcite…IRRA) D’autres productions scientifiques (Cf supra) Pas nouveau, mais phénomène accru par le web (libre
diffusion, expression directe, d’échange, …) Modèle alternatif pour la publication scientifique, dynamique
non-marchande Prise en charge de la pérennisation ? (institutions, éditeurs),
Modèles hybrides ?
![Page 22: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/22.jpg)
Retour sur la communication scientifique
![Page 23: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/23.jpg)
•Enregistrement public des connaissances
•Société savante
•Coût de revient min
•Echanges personnels, communautaires, publiques
•Diffusion mondiale multilatérale publique
•Effet des non déposants ?•Possibilité d'évaluation des institutions cf IRRA de RAE•Priorité à l'article => intérêt Sc. du contenu
•Dépot de pré-print et post-print•Dépot des adjuvants de la recherche•Recherche sur des champs et full text•Mémoire scientifique publique
16601665
19701989
En ref à 1963
•arXiv•OAI-PMH•Eprint.org•BOAI•Protocole•…
… les transforme ou en propose d'autres
Reprend les éléments de communication ...
![Page 24: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/24.jpg)
IF, Shanghai, h index et quoi d’autre ?
Des spécificitésEx. SHS :
Importance Revues/Ouvrages ?Internationnalisation des disciplines ?
Des pistes :• Système d’information (SI) local• visibilité internationale des références “hors
marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)
![Page 25: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/25.jpg)
Le « scholar web »“ISI” factor vs. “web” factor
• Référencement établi vs. visibilité• usage/accès aux BdD commerciales vs. usage/accès
généralisé/libre• Evaluation maîtrisée par une méthode et une
entreprise vs. une multitude d’évaluations, méthodes, projets, ...
• Publier autrement
Déjà à l’œuvre : CiteBase, Citeseer, Scholar google, F1000… (dia suivante)
De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place)
![Page 26: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/26.jpg)
Autres indicateurs• Citebase, 1999, rapport téléchargements/citations • Citeseer, Associations des refs, commentaires et
votes
• F1000, 2002, « groupes qualités »• IRRA (2005, Institutional Repositories and Research
Assessment), RAE Software for Institutional Repositories
• Google scholar 2004• Enquête SHS/CNRS (Sciences de l’Homme et de la Société, n 69, mai 2004)
• … indicateurs émergents
![Page 27: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/27.jpg)
Ce qui se met en place dans nos institutions (Univ et EPST)
• Système d’Information (SI) local (global ?) imposé par la LOLF (indicateurs d’activités)
• Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) • Ex. sur l’INRA : ProdInra• Connexions des entrepôts d’informations nationaux et
locaux (AO institutionelles notamment)
Pour l’univ : ses propres indicateursToutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD
disciplinaires en France, Connectivité avec d’autres BdD (HAL, …)
![Page 28: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/28.jpg)
Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0
ISI, OST,
BdD fr, commercial
es
par citation
bases biblio
Publication
Ref biblio
archives ouvertes
institunionnelles et
disciplinaires, revues en lignesDigital Library
…
Web 2.0blog, social
bookmarking,
Social Search,
…?
par Hitpar note,
avis
Et par …. Xmetrie
ISI, OST, SI local, CCSD,
schoolar google, …
CCSD, moissonneursPlateforme revues
InextensocitebaseF1000 …
Plateforme blogsScientifiquesTrackback
![Page 29: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/29.jpg)
Quelques refs pour poursuivre
• S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996
• Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002
• Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271
• Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com
![Page 30: Contexte de la production et de l’évaluation scientifique](https://reader034.vdocuments.mx/reader034/viewer/2022042822/5681402f550346895dab9092/html5/thumbnails/30.jpg)
Vos questions