perspectives de l’évaluation ouverte dessinée par la voie verte de l’open access, quelle...

Perspectives de l’évaluation ouverte dessinée par la voie verte de l’Open Access, quelle réflexion portée par le Service Edition Scientifique Inria ?

Nice, journée nationale d’étude URFIST 2014

Episciences IAM - Journée URFIST 2014 - 2

Introduction : Quelques mots sur InriaDe l’IST à l’IES

Episciences IAM Du journal à l’épi-journal : pour un partage plus équitable des

connaissancesWorkflow éditorialDeux premières revues: JDMDH et DMTCSServices proposés

Evaluation ouverte :DéfinitionHistorique de l’évaluationLes enjeuxEvaluation Ouverte et édition scientifique Inria

Conclusion : L’épi-journal et son environnement futur ?

Institut National de Recherche en Informatique et Automatique


Inria

4

•un établissement public de recherche dédié aux

sciences du numérique (EPST) créé en 1967

•institut public de recherche entièrement dédié aux

sciences du numérique

•à l’interface des sciences informatiques et des

mathématiques

•développement des technologies numériques de

demain

Episciences IAM - Journée URFIST 2014

Axes de recherche

• STIC pour les sciences de la vie et

de l’environnement

• Mathématiques appliquées, calcul & simulation

• Perception, cognition, interaction

• Réseaux, Systèmes et services, calcul distribué

• Algorithmique, programmation, logiciels et

architectures


Les chiffres clés

6

4,400 Personnes (dont 60 % salariés

d’Inria)

Equipes associées dans le monde entier

62Centres de Recherche en france

8

Equipes projets181

Publicationsscientifiques

4,450

Conférencesinternationales

41

UN BUDGET DE

Brevets en activité

(au total)

250

265 M€

Dont plus de 29% de ressources propres

Scientifiques3,400

1250 Doctorants280 Post-Doctorants460 ingénieurs R&D

Budget IST/IES Env. 1 M€/anDont 85% abonnement électronique


L’Open Access chez Inria


2004 – 2014 dix ans s’investissement

• 2004-2005 : début de la collaboration avec le CCSD pour créer HAL-Inria

lancement le 01/04/2005

• 2005 – 2013 : le temps de l’incitation

–Investissement des documentalistes : Formation communication et gestion

des dépôts

–Reprises de corpus : base des publications du Loria

–Migration de la gestion des Rapports de Recherche et Rapports Techniques

dans HAL-Inria


2004 – 2014 dix ans s’investissement

• Développement d’outils et services pour les chercheurs et les documentalistes :

haltools et haltools-gestion

• Accompagnement de certaines conférences pour la diffusion des actes

• 2013 - -> HAL-Inria référentiel officiel de la production scientifique Inria

–Listes des publications pour les évaluations et rapport d’activité extraites

quasi exclusivement de HAL

–Indicateurs bibliométriques réalisés à partir de HAL

–Mise en place des services Édition Scientifique Inria et Archives Ouvertes

dans la cadre de l’évolution de l’IST vers l’IES.


Traduction dans la politique Inria

• Gold

–Adoption maîtrisée et inquiétudes

–Rejet du modèle hybride

–Mise en place d’un suivi sur le modèle Gold

–Tableau de bord des revues: coût, qualité, prédateurs

–Financement centralisé

–Bilan et suivi annuel


Traduction dans la politique Inria

• Green

–Priorité forte sur le (épi)-green

–Dépôt obligatoire de toutes les publications Inria sur HAL

–Utilisation exclusive des listes extraites de HAL pour nos

évaluations et nos rapports d’activité

–Projet de plate-forme ouverte d’epi-journaux


Vers une offre de service Green

• HAL-Inria pour l’ensemble de la production

• Episcience pour les revues

• SciencesConf pour les conférences


De l’IST à l’IES


IST => IES

• Création du service Edition Scientifique Inria

• Création du service Archives Ouvertes

• Dans un réseau Information et Edition Scientifique de la

direction scientifique Inria.


Présentation de l’équipe 1, 95 ETP


Laurent ROMARY(Scientific Information and Publishing Service Advisor)

Hélène LOWINGER(Scientific Information and Publishing Service Officer)

0,75 ETP

Gaëlle RIVERIEUX (Scientific Information and Publishing Service Coordinator )

0,1 + 0,9 ETP Alain MONTEIL(Scientific Information and Publishing Service Officer)

0,2 ETP

Episciences IAM


Du journal à l’épi-journal pour un partage plus équitable des connaissances

• Qui crée de la valeur ?–recherches conduites par les chercheurs–articles écrits par les chercheurs–relecture et sélection des articles chercheurs–promotion et dissémination de l’information défis pour les

chercheurs

• Interrogeons le système–Qui finance la recherche et les chercheurs ?–Comment les chercheurs et leurs institutions prennent-ils en compte les

problématiques liées à l’information scientifique ?

• Les partenaires–Les éditeurs : offrent-ils le bon service au bon tarif ?–Les sociétés savantes : dans quelle mesure travaillent-elles au service

de la recherche ?


L’épi-journal: une réponse à un déséquilibre ?


Du journal à l’épi-journal pour un partage plus équitable des connaissances

[Holzschuch 2012] « There is room for a new publication model,

combining Open Archives for immediate access with editorial

peer-reviewing »

Attentes concernant un nouveau modèle de publication

–Permettre les échanges entre scientifiques

–Réunir plusieurs objets : images, codes, vidéos…en liaison

avec l’article

–Outil souple et robuste

–Multidisciplinaire

–Lié à un processus éditorial de haute qualité scientifique

–Indépendant financièrement, durable et stable

–Non lié au modèle « Gold » pour conserver son

indépendance scientifique


L’Epi-Journal : définition

L’épi-journal (Overlay Journal) : journal électronique

en libre-accès, soumission des articles via une ou

plusieurs archive(s) ouverte(s) ;

Offrir un accès définitif, libre et immédiat aux résultats

scientifiques, sans embargo, ni contrepartie financière

Rupture chez Episciences IAM : libre accès via un

« fair access » ; Proposer une alternative à l’édition

classique qui soit scientifiquement viable


La vision d’episciences IAM

Un projet qui se trouve à la croisée des chemins,

entre rupture et continuité

21

Des contenus scientifiques de

haut niveau « accessibles » pour le lecteur

et l’auteur

Reprise en main par les

communautés scientifiques de

leurs revues

Rôle des epi-comités pour

garantir cohérence, haute

qualité et candidatures des

revues

S’adresse à toutes revues « migrantes », « émergentes », ou «à des revues indépendantes »


ContinuitéContinuité Rupture

Rupture

Episciences : les acteurs

• Le CCSD et sa plateforme pour le

peer-reviewing et l’édition d’epi-

journaux

• Des communautés thématiques :

–Episciences Maths – Institut

Fourier–http://episciences.org/page/epimath

–Episciences IAM Informatics &

Applied Mathematics – Inria –http://episciences.org/page/epiiam


http://episciences.org/page/epimath

http://episciences.org/page/epiiam

L’auteur dépose un pre-print dans une archive ouverte compatible (Hal, Arxiv, CWI….)1L’auteur soumet son article à un épi-journal (saisie de l’ID, remontée des informations et du pdf)

Le Rédacteur en Chef assigne des relecteurs qui peuvent commencer leur travail de relecture et d’évaluation de l’article

Les relecteurs peuvent demander des corrections avant de donner leur accord pour publication ou rejet de l’article par la revueValidation par le Rédacteur en Chef pour la publication d’un n° de revue après mise en page, mise en forme, puis actions de communication

Workflow éditorial

23

2

3

4

5


L’epi-comité gère les candidatures de revues via un collège scientifique et international de haut niveau

Le rédacteur en chef est assisté d’un comité éditorial

Epi-comité comme chercheur d’Innovation

L’épi-journal : « Go »


L’épi-journal : « No Go »


JDMDH : Journal of Data Mining and Digital Humanities

• Revue nativement créée via Episciences

• Humanités numériques et fouille de données : domaine

encore peu structuré au niveau éditorial

• Un comité scientifique qui a collectivement décidé de passer

en OA

• Le rédacteur en chef avait été contacté par un éditeur

prédateur recherche de partenaire sérieux en OA

• Parution trimestrielle

• En ligne depuis le 24 juin, avec 6 articles pour le volume 0 …



http://jdmdh.episciences.org

http://jdmdh.episciences.org/

DMTCS : Discrete Mathematics and Theoretical Computer Science • Sujets à l’intersection entre ces deux domaines

• Existe depuis 1997 : serveur interne (+mail), puis OJS, puis abandon

• Problématique de reprise de données dans HAL pour 34 n° de

revues en 15 volumes, 411 articles (dont n° spéciaux et

proceedings) ; croisement d’infos (DBLP, BibTeX…) , corrections des

métadonnées pour l’import dans HAL.

• Délai d’acceptation d’un article : 12 mois ; édition : 2 semaines

• Recherche de qualité et d’immédiateté

• Pourquoi Episciences ?

–Rejoindre une communauté et une mutualisation de services

–Bénéfice de services « supports »



http://dmtcs.episciences.org

http://dmtcs.episciences.org/

Services proposés

• Management : peer-reviewing, feedback, relances, parution des

revues et des numéros

• Qualité : bibliographies, métadonnées, références…

• Communication et animation de communautés : publicité,

réseaux sociaux, modération des discussions en ligne

• Visibilité, indexation, référencement (DBLP, Scopus…)

• Services techniques via infrastructure HAL

• Archivage à long terme

• Web design, Archivage des échanges sur la plateforme

• Coordination copy-editing (via un prestataire probablement)

• Licence auteur : CC-BY


Evaluation ouverte…


Rapide historique de l’évaluation par les pairs

• Longtemps aucune évaluation scientifique n’était appliquée. Le temps de la

correspondance scientifique et des sociétés savantes…

• Avec l’arrivée des éditeurs, professionnalisation dans la forme et la diffusion.

Face à l’augmentation des volumes appel aux experts pour l’évaluation. Pas

d’anonymisation…

• Au cours du XXème siècle et surtout après la seconde guerre mondiale mise en

place de l’anonymisation : deux modèles :

–anonymisation des auteurs seul

–anonymisation des auteurs et des relecteurs

• Le temps du Web retour sur l’anonymisation et sa pertinence


Le contexte Green Open Access

• Anonymisation des auteurs disparait

• Le document est public immédiatement

• Il peut être accompagné de commentaires


Une offre de service à la carte par Episcience IAM en matière d’évaluation

• Un principe fondamental : la politique est définie par la revue sur le

socle du principe de l’épijournal

• Classique : évaluation menée en interne, aller/retour avec l’auteur

=> aucune visibilité externe

• Semi-ouvert : une partie des éléments de l’évaluation est accessible à

tous =>défini par le comité éditorial

• Ouvert : tous les éléments de l’évaluation sont public

• Social : intégrer la dimension réseau social scientifique où chacun peut

apporter un commentaire ou un avis sur un document scientifique


Communication scientifique et évaluation ouverte

• L’évaluation ouverte vue comme un échange / débat

• Quel degré de participation : des relecteurs, un comité, un éditeur

etc…

• Intégrée à la publication par les versions ou mis en annexe

• La communication sera-t-elle figée ou évolutive ?

• Notion d’auteurs collectifs


Bénéfices attendus de l’ouverture de l’évaluation

• Meilleur niveau scientifique des documents soumis

• Meilleure argumentation dans l’évaluation

• Compléter le document par les commentaires pour améliorer sa

lisibilité

• Réduire considérablement les conflits d’intérêts

• Participe à la lutte contre le plagiat et les junk documents

• Meilleure gestion des versions du document

• Evolution du peer-review modèle MyScienceWork par exemple « folks

peer reviewing »


https://www.mysciencework.com/

Conclusion

L’épi-journal et son environnement futur ?


L’épi-journal et son environnement futur ?

• Flexibilité pour epi-sciences IAM : ne rien imposer aux

revues

• Explorer et accompagner de nouveaux modèles en

matière d’évaluation

• Intégrer dans un environnement de type réseau social

scientifique


L’epijournal : au cœur de la revue de demain

41

« Green Open Access »

Solidité des archives ouvertes (Hal, ArXiv….)

Réduction des délais de publications

Pour la communauté IAM : aider à répondre aux attentes en termes d’adéquation des rôles entre revues et actes de conférences, normaliser les activités de communication scientifique

Les revues « augmentées »

Le « collège invisible »

Donner accès au plus grand nombre Documenter les

programmes et algorithmes

epi-journaux

Echanger

Discuter, partager, contribuer aux réseaux sociaux scientifiques…. Critiquer dans une approche constructive

Chercher à faire progresser la qualité des pre-prints

Chercher la pépite, l’innovation qui se cache peut-être derrière des formulation maladroites

Reproductibilité des programmes

Permettre le contrôle des calculs, preuves…

Tester des jeux de données pour lancer de nouvelles applications (sérendipité)

Aller vers plus de transdisciplinarité

Référencer, indexer ces programmes, (DOI), changer la granularité : du document vers la donnée


Références



Références :

Bernat, Andrew P. «Thoughts on the publication culture in computing research.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.

John Bohannon. Who's Afraid of Peer Review? In Science 4 October 2013: Vol. 342 no. 6154 pp. 60-65 DOI: 10.1126/science.342.6154.60

Chen, Jilin and Konstan, Joseph A. «Conference Paper Selectivity and Impact.» in Commun. ACM, June 2010: 79--8.

Fortnow, Lance. «Separating the Editorial from the distribution in CS publications.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.

Francke, H. (2014). Dimensions of Credibility: Review as a Documentary Practice. In iConference 2014 Proceedings (p. 1051–1055). doi:10.9776/14379

Grudin, Jonathan. «Conferences, Journals and the competitive exclusion principles.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.

Hermenegildo, Manuel V. «Conferences vs. Journals in CS, what to do ? Evolutionary ways forward ICLP/TPLP Model.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.

Holbrook, J. Britt. Does open access really threaten peer review?. UNT Digital Library. http://digital.library.unt.edu/ark:/67531/metadc84328/. Accessed September 17, 2014

http://www.sciencemag.org/search?author1=John+Bohannon&sortspec=date&submit=Submit

http://digital.library.unt.edu/ark:/67531/metadc84328/


Références :

Holzschuch, Nicolas. «Open Archives and the Invisible College: driving forces towards a new publication model.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.

Mabe, Michael. «Scholarly publishing.» European Review 17, n° 1 (2009): 3-22.

Mabe, Michael; Ware, Mark . « The STM report : an overview of scientific and scholarly journal publishing «, 3rd edition, STM, 2012.

Matthew Sullivan, Peer Review and Open Access. OpenStax CNX. 23 avr. 2014 http://cnx.org/contents/1137808f-5dd6-40d0-b60f-3ddb518122c2@2@2.

Patterson, David ; Snyder, Lauwrence ; Ullman,Jeffrey. «Best Practice Memo : Evaluating computer scientists and engineers for promotion and tenure.» in Computing Research News, Computing Research Association, sept. 1999.

Pontille, D., and Torny, D. (2014) The Blind Shall See! The Question of Anonymity in Journal Peer Review. Ada: A Journal of Gender, New Media, and Technology, No.4. doi:10.7264/N3542KVW

van Leeuwen, Jan. «Where to send your paper.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.

http://dx.doi.org/10.7264/N3542KVW

Merci ….

Contact : [email protected] Episciences IAM - Journée URFIST 2014 - 46

perspectives de l’évaluation ouverte dessinée par la voie verte de l’open access, quelle...

Presentations & Public Speaking

journe nationale dtude

systmes et services

service green halinria

ladirection scientifique

linformation scientifique

service archives ouvertes

halinria rfrentiel officiel

halmise en