Evaluation et bibliométrie

Aujourd’hui encore plus qu’hier, l’évaluation de la recherche est au cœur des débats au sein des institutions de recherche. Les indicateurs et référentiels dans ce domaine se sont multipliés très rapidement au point de ne plus trop s’y retrouver afin de savoir quel indice utiliser pour quelle métrique.

Pour rappel, les indicateurs bibliométriques permettent d’évaluer quantitativement une revue, un texte publié ou même un chercheur. Ces indicateurs peuvent ensuite être utilisés par une institution ou un centre de recherche pour statuer sur les promotions de chercheurs, le recrutement, la titularisation,… Vous trouverez ci-dessous, des explications sur quelques indices métriques qui peuvent servir à l’évaluation de la recherche et ce à différents niveaux :

Le résultat de recherche

La Citation est certainement l’indice le plus utilisé pour l’évaluation de la recherche en tout cas pour tout ce qui touche aux articles de recherche y compris les éditoriaux, les reviews, … Il existe une multitude d’indices de citation en fonction des corpus évalués, pris en compte. (Web of Science, Scopus, PubMed, Google Scholar, …) Le nombre de citations va être distinct entre ces différents fournisseurs de bases de données étant donné une couverture de leur corpus de références non-identique. Par exemple, nous pouvons considérer que Scopus est légèrement plus faible par rapport aux références plus anciennes (… < 1990) mais cette base possède, par contre, un nombre plus élevé de références en sciences sociales par rapport à son concurrent Web of Science. L’analyse des citations, quel que soit leur provenance, a toutefois ses limites et même quelques désavantages tels que : la difficulté d’identifier le travail réel de chaque co-auteur, l’autocitation ou la citation exclusive d’articles de la revue dans laquelle l’auteur publie, …

Depuis quelques années déjà, un référentiel complémentaire voire même une alternative aux indices de citations "traditionnels" a vu le jour avec les Altmetrics (Article Level Metrics). Cette mesure repose sur le principe de la visibilité des articles sur le Web et même plus particulièrement sur les réseaux sociaux. Les indices donnés recensent le nombre de fois ou un article est renseigné, visualisé ou même téléchargé via les réseaux sociaux (académiques ou généraux), les archives ouvertes (institutionnelles ou thématiques), les blogs, les sites des éditeurs, …

Plusieurs outils permettent d’obtenir ces données (CitedIn, ImpactStory, Altmetric ou encore PlumAnalytics (EBSCO). La mesure de l’impact donnée par les Altmetrics est quasiment immédiate. Elle permet également des interactions, des discussions avec le public autour du résultat de recherche. Néanmoins, une partie de la communauté scientifique critique cette nouvelle forme d’évaluation en lui reprochant de juger d’avantage l’impact social direct plutôt que l’impact scientifique réel d’un article, d’une revue ou d’un chercheur. Il est également reproché aux Altmetrics de se baser presque majoritairement sur des réseaux sociaux dont le futur reste incertain.

La revue

• L’Impact Factor (IF) : Cet indice, généré par Thomson Reuters, présente le rapport entre le nombre de citations reçues pour les années X-2 (voir X-5) et le nombre d’articles "citables" publiés pour les années X-2 (voir X-5). Cet indice permet alors de situer une revue par rapport à une autre et/ou d’observer le positionnement de celle-ci à travers les années. Si cet indice est certainement le plus connu, il est aussi celui qui a fait l’objet d’un grand nombre de discussions et de critiques. En effet, les articles cités dans une revue avec un IF élevé ne sont pas forcément tous cités de la même façon. De plus, le rythme de publication peut varier fortement d’une discipline à l’autre (SSH, SST et SSS) et donc le nombre de publications dans ces revues. Enfin, il est démontré qu’une revue prestigieuse avec des moyens financiers confortables qui permettent d’assurer une bonne communication voit son IF augmenter proportionnellement en partie pour sa popularité et non pour l’impact réel de ses publications.
• Schimago Journal Rank (SJR) : Cet indice est généré à partir des revues indexées dans la base de données Scopus. Le SJR d’une revue reflète le nombre de fois où un article de cette revue est cité par d’autres articles pendant les 3 années qui suivent sa publication. Un algorithme particulier s’occupe de pondérer la valeur d’une citation en fonction de la notoriété de la revue. Le chiffre collecté est ensuite divisé par le nombre d’articles publiés dans la revue en question sur les 3 dernières années.
• Eigenfactor (EF) : Cet indice est généré à partir des revues indexées dans la base de données Web of Science. L’Eigenfactor se base sur le ratio du volume de publication et le nombre de citations sur une durée de 5 ans. Une matrice permet également de pondérer la valeur d’une citation en fonction de la notoriété d’une revue. Les valeurs de l’Eigenfactor (EF) sont normalisées de telle sorte que la somme des valeurs EF de toutes les revues classées soit égale à 100. Les autocitations d’une revue ne sont pas prises en compte dans le calcul de l’Eigenfcator.
• Source Normalized Impact per papoer (SNIP) : Cet indice est généré à partir des revues indexées dans la base de données Scopus. Le SNIP permet d’évaluer l’impact d’une revue à l’intérieur d’une discipline donnée. Il s’agit du ratio entre le nombre de citations d’une revue X pour les 3 dernières années et le nombre d’articles publiés par cette même revue X sur ce même laps de temps, le tout étant pondéré par un indice lié à la discipline concernée.

Le chercheur

• < > : Cet indice permet d’évaluer la production d’un chercheur ou d’un collectif de chercheurs. Il s’agit d’un ratio entre le nombre d’articles publiés par un chercheur X et le nombre de fois que ces articles ont été cités. Ce calcul est effectué à partir du corpus de différentes bases de données (Scopus, Google Scholar et WoS). L’H-Index d’un même chercheur pourra donc être (très) différent d’une base à l’autre en fonction du corpus analysé. Cet index est fortement utilisé pour la promotion ou l’engagement d’un chercheur au sein d’une institution. Toutefois, celui-ci a le désavantage de privilégier les chercheurs avec une longue carrière mais aussi de ne pas prendre en compte l’aspect positif/négatif d’une citation.
  

  Exemples :

• 50 articles et aucun cité : indice h = 0

• 50 articles dont 10 cités 10 fois ou plus : indice h = 10

• < > Cet indice représente une variante de l’H-Index et mesure la productivité d’un chercheur sur base du nombre de ses publications
  

  
  
  Exemple : facteur g = 7 si les 7 articles les plus cités totalisent au moins 49 citations (7 x 7)

  Avantages et limites :

• identiques à ceux du H-Index
• différence : valorise les articles à très gros impact ou à impact durable.

Publish or Perish

Il s’agit d’un logiciel simple d’utilisation qui permet notamment à un chercheur d’analyser ses citations. Ce logiciel a été développé par A. W. Harzing et est accessible via ce site. Publish or Perish analyse l’impact et la visibilité des travaux de recherche et des chercheurs à partir du corpus de Google Scholar. Ce corpus permet de couvrir des revues, des travaux qui ne sont pas indexés par le WoS ou Scopus. ‘Publish or Perish’ donne une information détaillée sur l’H-Inde et le G-Index.

Consulter les indices bibliométriques :