L'évaluation des manuscrits scientifiques soumis aux revues doit être mieux prise en compte dans l'évaluation des scientifiques !

Dans nos organisations d'enseignement supérieur, nos partenaires industriels nous réclament aujourd'hui que nous formions bien les "collègues plus jeunes" (ma terminologie pour désigner les étudiants qui bénéficient d'une carte d'étudiant) à l'évaluation des articles scientifiques.
J'ai bien dit l'évaluation, et non pas seulement la lecture. Pour la lecture, c'est fait, mais ce qui est en jeu, c'est de reconnaître si un article scientifique est fiable ou non... preuve que je ne suis pas complètement insensé de dire que les revues scientifiques font mal leur travail, et publient bien trop d'articles médiocres.
Dans notre groupe de recherche, nous en sommes réduits, quand nous nous échangeons des textes, après une étude bibliographique, à les assortir d'un mmm (exécrable), mm (très mauvais), m (mauvais), b (bon), bb (très bon), bbb (excellent)... et nos statistiques montrent, hélas, que la balance penche puissamment du mauvais côté. Je ne compte pas ces textes qui commencent par "la couleur des aliments est le paramètre le plus important de l'appréciation gustative" ; ces textes dont la description des matériels et des méthodes est insuffisante pour reproduire l'expérience   ces textes où fleurissent les adjectifs et adverbes, qui auraient dû être remplacés par la réponse à la question "Combien ?" ; ces textes où les interprétations se résument à "nos résultats sont conformes à ceux de XXXX"... Il y a du ménage à faire, et cela de façon urgente !

Nous sommes bien d'accord : les scientifiques doivent faire de la recherche scientifique, et chercher les mécanismes des phénomènes, en mettant en oeuvre cette si belle méthode scientifique que j'ai décrite bien des fois dans ce blog.

Toutefois, dans la mesure où nous publions les résultats en les soumettant à des pairs (les "rapporteurs" sollicités par les revues scientifiques), n'avons-nous pas une obligation morale d'accepter à notre tour d'évaluer des manuscrits ? D'ailleurs, il s'agit moins d'évaluer, à savoir déterminer la valeur, que de discuter des manuscrits afin que les auteurs puissent les améliorer, jusqu'à ce que ces textes soient acceptables (et acceptés) pour publication.
Bref, je me demande si nous ne devrions pas expertiser autant que nous sommes expertisés, voire davantage à mesure que nous devenons plus capables de mieux conseiller nos amis, de mieux dépister des erreurs ou des imprécisions qu'ils font, toujours avec l'idée de mieux élaborer ce qu'Albert Einstein nommait le Temple de la science. 

Être rapporteur demande du temps, du soin. Il faut tout autant être vigilant quant aux interprétations que s'intéresser aux références, qu'il faut connaître ou lire. Il faut traquer les erreurs méthodologiques, mais aussi identifier des ambiguïtés de simple rédaction... Bref, ce sont des heures de travail pour chaque manuscrit expertisé. Et l'on doit bien dire, en ces temps de publication à outrance, avec un nombre de scientifiques qui a explosé, un nombre de manuscrit qui a démesurément augmenté, notamment avec l'ouverture de la Chine ou de l'Inde, que les rapporteurs ne suffisent plus à la tâche. Alors que, déjà, nous avions le sentiment qu'expertiser des articles n'était pas "notre métier", lequel était de produire des connaissances.

Mais le présent est un appel : nos systèmes d'évaluation, qu'il s'agisse des HCERES ou des systèmes particuliers à chaque organisme de recherche, font la part très faible à l'évaluation des manuscrits scientifiques, et cela n'est pas bon. Déjà, les facteurs H, d'impact ou autres sont des indices bibliométriques que je déteste pour mille raisons qu'il serait trop long de donner, mais rien n'est dit, dans ces indices de cette activité essentielle qu'est l'évaluation scientifique.  Il faut changer cela rapidement !

Mais ai-je bien raison d'évoquer l'absence de prise en compte de l'activité de rapporteurs ? 
Allons, regardons, par exemple, les critères d'évaluation de la section 13 du CNRS :

SECTION 13
Chimie physique, théorique et analytique

Ces critères sont ouverts, non exclusifs, non hiérarchisés et non strictement cumulatifs.
Evaluation périodique des chercheurs
Critères communs à tous les chercheurs

Les chercheurs seront avant tout évalués sur la qualité et l'originalité de leurs contributions scientifiques sans se contenter d’un simple examen de critères quantitatifs ou bibliométriques. Ces derniers seront pris en considération en intégrant les spécificités des différentes sous-disciplines qui composent la section et en considérant le contexte local, national et international. L'évaluation périodique prend également en compte les autres dimensions de l'activité de recherche comme la diffusion de la culture scientifique, la valorisation ou le transfert des connaissances, les responsabilités collectives ou de management de la recherche, etc. L’évaluation d’un chercheur est par essence «multicritères».

Contributions scientifiques: La section examinera l’ensemble des productions (publications, conférences invitées, ...) en cherchant à faire apparaître le poids relatif des différentes contributions (travail de thèse, travail de post-doc, nouveau(x) sujet(s), ...). L’originalité et l’impact des travaux dans la communauté scientifique seront au cœur de l'évaluation, ainsi que les interactions avec les chercheurs d’autres disciplines ou sous disciplines. L’implication dans des programmes de recherche nationaux et internationaux sera évidemment considérée.

Enseignement, formation, encadrement et diffusion de l’information scientifique: La section examinera attentivement tout type de participation à des actions de formation, de dissémination de savoir-faire, de vulgarisation scientifique, d’encadrement, d’organisation de réunions scientifiques ...

Mobilité: Il s’agit de la mobilité thématique aussi bien que géographique. Elle ne constitue pas une valeur ajoutée par elle-même, mais par la nouveauté et la dynamique scientifique qu’elle permet.

Transfert technologique, valorisation, relations industrielles: La section prendra en compte toute action de valorisation ou de transfert technologique dont les brevets, les procédés brevetés effectivement exploités ayant un poids particulier. Par ailleurs, ces critères seront examinés suivant les spécificités de la sous-discipline du chercheur, celles-ci pouvant se présenter sous différentes formes et chacune ayant son bénéfice, direct ou indirect.

Objectifs et dynamisme de la recherche: Ce dernier critère est éminemment qualitatif. Il s’agit d’évaluer en quoi le projet de recherche, à court et moyen terme, s’inscrit dans une dynamique et dans un contexte national et international porteur. Le rôle moteur, le travail en équipe et la prise de risque seront ici, autant que possible, évalués.

Remarques importantes pour la rédaction du dossier: La section conseille vivement de présenter la liste des publications en faisant clairement la distinction entre les articles parus dans des revues internationales à comité de lecture, les actes de congrès, les revues sans comité de lecture et les articles de vulgarisation. Il est également conseillé de faire apparaître l’auteur correspondant. De même pour les présentations orales, il conviendra de préciser la nature de celles-ci (communication orale, invitée, séminaire, etc.) et le rôle du chercheur (orateur ou co-auteur). Il est important qu’un résumé signalétique puisse être communiqué aux membres de la section, que les relations entre l’information scientifique et les données quantifiables apparaissent de manière claire et que les rapports d’activité «à vague» et «mi-vague» soient concis.


Donc, je n'avais pas tort : pas une ligne -explicite- sur l'activité d'évaluation des manuscrits. Cela n'est pas bon, et doit être changé rapidement, vu la qualité médiocre de bien trop  d'articles publiés actuellement !