« Bibliométrie, scientométrie et métriques alternatives : quels outils pour quelles stratégies? »
1er avril 2015
Bibliométrie et Open Access à ULg Paul Thirion, ULg
Dialogue de sourds… Il faut mesurer !
La qualité des chercheurs Leur produc>on scien>fique Pas le temps ! Des chiffres ! Le facteur d’impact ! Très précis !
Mesurer quoi ?
C’est quoi ça ?
Ah ! OK. Lisons là alors Mesurer le qualita>f par du quan>ta>f ?!
Eh….
Un peu de mesure, s’il vous plaît ! • • • •
Qualité d’un chercheur > la qualité de sa produc>on scien>fique Qualité d’un ar>cle s’évalue d’abord qualita'vement : en le lisant Fondamentalement plurielle. Tout sauf univoque La mesurer et la résumer en un nombre – honteusement simplificateur – illusoire
Mesure de la qualité « indicateurs » de « notoriété » Mais rejeter d’un revers toute évalua>on est illusoire et contreproduc>f…
• Constat : – Ce n’est pas les metrics qui posent problème, – C’est l’usage magique et abusif qui en est fait sans en connaître les caractéris>que, la portée, les limites – Évalua>on inévitable => préférer la plus correcte, complète et transparente possible
• Que faire ? Nos éléments de réponses… – – – – –
Pragma>sme Transparence et rigueur Apprendre du tatami Pédagogie subliminale Et volonté d’u>liser des données solides
OA@ULg : une longue histoire et un rôle de pionnier… Sous l’impulsion de B. Ren>er et des bibliothèques
Open Repository and Bibliography « user oriented » Un système, deux objec>fs : • Bibliographie ins>tu>onnelle complète • Répertoire ins>tu>onnel OA pour FT (+ adjuvants, Open Data…)
Dépôt en>èrement à charge des auteurs ULg (*) • L’équipe ORBi developpe, améliore le système, ajoute des fonc>onnalités, forme, communique…
• MAIS n’introduit pas les références !
Caractéris)ques principales Respect de chacun (auteur, éditeur, ins>tu>on) • Open Access • Restricted Access
→ DEMANDES DE TIRÉ-‐À-‐PART
(*) éventuellement aidé par un mandataire
« Le Mandat ULg » ...ou comment dépasser l’anecdodique…
Le « mandat ULg » Mai 2007 : défini>on d’un mandat fort par le Conseil d’Administra>on ULg (à l’époque : 10ème dans le monde)
Les références de TOUTES les publica>ons depuis 2002 de TOUS les membres de l’ULg doivent être déposées dans ORBi Pour TOUS les ar>cles de périodique depuis 2002, il faut également déposer le texte intégral sur ORBi
Accès ouvert ou restreint en fonc9on de la poli9que de l’éditeur Obligatoire ? (ID/OA immediate deposit – op9onal access) Mais pas du tout ! C’est juste votre choix ! 😃 Avec un incitant fort...
Seules les publica)ons reprises dans ORBi seront prises en compte dans toute procédure d’évalua)on, promo)on, aon des chercheurs !
Quelles metrics ? • Impact factor
=
C N
C = nombre de citations reçues par la revue venant d’articles publiés au cours des 2 dernières années N = nombre d’articles publiés par cette revue au cours des 2 dernières années
(pour autant que le titre fasse partie des titres examinés par JCR !)
En finir avec la tyrannie du IF pour l’évalua>on des chercheurs ? • Très nombreuses cri>ques – – – – – – – – –
Prédominance linguis>que et culturelle Manque de transparence de sélec>on des >tres Défavorable par construc>on aux sciences à cycles longs Très lié aux caractéris>ques d’une discipline (nombre de chercheurs…) => pas de comparaison possible entre disciplines sinon percen>le Sensibilité TRES rela>ve (2 décimales ?!) Ingéniérerie des revues Effet d’auto-‐entraînement... Avec toutes les conséquences (concentra>on, explosion des prix…. Et développement OA !) … Niveau de granularité !
• Mais reste très largement u>lisé 😟
… souvent horriblement mal 😡
Des metrics au niveau de la revue
A venir - Scopus
En cours - Thomson Reuters
•
Impact factor – Le plus récent – Celui de l’année de publica>on
•
IF5 (idem que IF mais sur 5 ans) – Le plus récent – Celui de l’année de publica>on
•
Eigenfactor (basé sur JCR. « influence totale » du
•
Ar'cle Influence (= Eigenfactor divisé par le nombre d’ar9cles publiés dans ceSe revue)
•
IPP (Impact Per publica>on) (idem que IF mais sur 3 ans et sur données Scopus)
•
SJR (Scimago Journal Rank) (une variante Elsevier de Eigenfactor)
•
SNIP (Source Normalized Impact per Paper) (nombre moyen de cita9ons par
journal = 9ent compte de importance des journaux qui citent. Sur 5 ans. Ajusté selon les disciplines. Re9re auto-‐cita9ons. Somme de tous les Eigenfactor = 100)
ar9cle d’une revue divisé par le nombre moyen poten9el de cita9ons dans la discipline)
Mais aussi Des metrics au niveau du document
Ce qui compte, c’est avant tout ce que le chercheur a produit. Pas l’endroit où il l’a diffusé Vers des indicateurs moins indirects
Des metrics au niveau du document Oui… mais à quel niveau ? Publié/diffusé Utilisé
Découvert Accédé
Nbre de références
Nbre de views Nbre de downloads
Lu Utilisé Cité Citations repérées par WoS, Scopus, Medline…
Des metrics au niveau du document • Nombre de views • Nombre de downloads
Views et downlaods : quelle portée ?
A par>r du site de l'éditeur
Par échanges mails A par>r d'autres fournisseurs d'accès BDB, JSTOR…)
A par>r de pages WWW perso A par>r d'ORBi A par>r de photocopies, PEB….
Des metrics au niveau du document • Total Views/downloads = X + Y +… + ORBi • Enfin des donnés systéma>ques ! Très difficile/impossible d’avoir des données complètes et systéma>ques sur ces X, Y… (granularité, diversité…) • Présupposé : un certain niveau de corréla>on
Stats ORBi sont un indicateur de l’ensemble des views et downloads …moins limitatif !
Uniquement « accès humains » « apparemment » simple, mais…
Humains : 5,1 M 17%
Spiders, bots… : 24,8 M
Views : Origine des accès à ORBi sur 15 jours
179 pays différents
0 sept.-‐14
mai-‐14
janv.-‐14
sept.-‐13
mai-‐13
janv.-‐13
sept.-‐12
mai-‐12
janv.-‐12
sept.-‐11
mai-‐11
janv.-‐11
sept.-‐10
mai-‐10
janv.-‐10
sept.-‐09
mai-‐09
janv.-‐09
sept.-‐08
Téléchargements des documents (de 2008 à septembre 2014)
120000
100000
80000
60000
40000
20000
0 janv.-‐15
sept.-‐14
mai-‐14
janv.-‐14
sept.-‐13
mai-‐13
janv.-‐13
250000
sept.-‐12
300000
mai-‐12
janv.-‐12
sept.-‐11
mai-‐11
janv.-‐11
sept.-‐10
mai-‐10
janv.-‐10
sept.-‐09
mai-‐09
janv.-‐09
sept.-‐08
350000
Téléchargements des documents (de 2008 à mars 2015)
En mars 2015 : +9300 downloads/jour !
200000
150000
100000
50000
En Chine, les robots sont-‐ils aussi bridés ?!
déc.-‐14
août-‐14
avr.-‐14
déc.-‐13
août-‐13
avr.-‐13
déc.-‐12
août-‐12
avr.-‐12
déc.-‐11
août-‐11
avr.-‐11
déc.-‐10
août-‐10
avr.-‐10
500 450 400 350 300 250 200 150 100 50 0
déc.-‐09
Évolu'on des téléchargements par mois de « Les décrets oraculaires pris en l’honneur d’Hénouons – Scopus – (Google Scholar 😟 )
• Par référence (visible par tous les membres ULg) • Nombre • Évolu9on • Pays d’origine • Par auteur (synthèse : par tous, détail pour auteur) • Top 20, top 100 • …
Des metrics au niveau du document • Nombre de views – Total – Venant de ULg
• Nombre de downloads – Total – Venant de l’ULg
• Nombre de cita>ons
• Par référence (visible par tous les membres ULg) • Nombre • Évolu9on • Pays d’origine • Par auteur (synthèse : par tous, détail pour auteur) • Top 20, top 100 • …
– Scopus – (Google Scholar 😟 )
• Almetric : la visibilité web 2.0 – – – – – –
Twi‚er Facebook Wikipedia Blogs Mendeley CiteUlike …
• Pour papiers publiés après juillet 2011 • DOI seulement (handle en cours)
Des metrics au niveau de l’ensemble de la produc>on scien>fique d’un auteur • Nombre de publica>ons
ORBi, un indicateur réaliste de la produc>on scien>fique ULg ?
Estimation totale avant ORBi Selon Scopus Selon WoS Selon Medline
Nombre de publica>ons : Taux de compliance •
Comparaison Scopus – ORBi (décembre 2012) : année 2011
•
Comparaison WoS – ORBi (septembre 2013) : année 2012 Publis ULg dans WoS
Publis ULg dans Scopus
ORBi Étude internationale mars 2015 (Swan et al) : ORBi : 87%
Des metrics au niveau de l’ensemble de la produc>on scien>fique d’un auteur • Nombre de publica>ons • H-‐index ou index de Jorge Hirsch (2005) ou le « nouveau Graal »
H-‐index de ORBi H-‐index de Scopus x de e d n i H-‐ ine Medl
H-‐index de WoS
Nombre de cita'ons
Un souhait d’absolu, une réalité toute rela9ve…
de x e d H-‐in cholar le S H-‐index de Goog ….
250 200
H-‐index de 30 = au moins 30 publica>ons qui ont chacune au moins 30 cita>ons (dans l’ensemble considéré !)
150 100
Oh yes! What a high H-‐index I have!
50 0
Publica'ons
Le tatami et la pédagogie subliminale Vous voulez des metrics ? En voici plus que vous ne l’espérez – Au niveau de la revue : • IF last, IF PY, IF5 last, IF5 PY, EigenFactor, Ar>cle influence • (IPP, SNIP, SJR)
– Au niveau du document : • Views, Views ULg, Downloads Downloads ULg, Cita>ons Scopus, Almetrics • (Cita>ons Google Scholar, cita>ons ???)
– Au niveau de l’ensemble de la produc>on scien>fique : • Nombre de publica>ons/communica>ons • H-‐index
Donc rela'visons un peu ces indicateurs …et surtout retournons lire le document (OA ou RA)
Impact de l’OA sur les cita>ons Mean number of cita'ons for a randomized sample of 2009 ULg references on Scopus
Mean number of cita'ons for ALL 2007-‐2011 ULg references on WoS
(n=351; data 2011)
(n=7673; data January 2012)
8
8
7
7
6
6
5
5,915
7,046
5
4
4
3
3
2,957
2
2
1
1
0
0 References on ORBi
3,455
References NOT on ORBi
References on ORBi
Selon WoS : propor>on de références 2007-‐2011 jamais citées • Présentes sur ORBi : 28,9 % • Absentes sur ORBi : 55,8 %
• Trouver variables parasites • Répéter analyse dans d’autres contextes
References NOT on ORBi
Impact de l’OA sur les cita>ons Nombre moyen de cita'ons Scopus par référence dans l’année de publica'on 0,9 0,8 0,7 0,6
Moyenne • 2003-‐2007 : 0,51 • 2008-‐2013 : 0,71
0,5 0,4 0,3 0,2 0,1 0
2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Avant ORBi
Depuis ORBi
Deux mots pour conclure… • • • • •
Exploiter des metrics nouvelles En complément aux autres « indicateurs » Pour autant qu’elles soient de qualité Les RI : assurément un effet sur la visibilité ! Sans doute aussi sur les cita>ons
• Mais l’essen>el de l’OA n’est pas là
– Équité dans l’accès à l’informa>on – Perme‚re de « juger sur pièce » – Changer le mode d’accès à l’informa>on
h‚p://orbi.ulg.ac.be
[email protected] @PaulThir
…Merci pour votre aSen9on
Face aux défis de notre temps (Ebola, réchauffement climatique, crise financière, biodiversité…), il n’est pas normal que le développement du savoir soit encore freiné par des barrières économiques !
Un savoir enfermé est un savoir stérile !
Crédit photographique : Annie Roi
