L'évaluation des manuscrits scientifiques soumis aux revues doit être mieux prise en compte dans l'évaluation des scientifiques !

Dans nos organisations d'enseignement supérieur, nos partenaires industriels nous réclament aujourd'hui que nous formions bien les "collègues plus jeunes" (ma terminologie pour désigner les étudiants qui bénéficient d'une carte d'étudiant) à l'évaluation des articles scientifiques.
J'ai bien dit l'évaluation, et non pas seulement la lecture. Pour la lecture, c'est fait, mais ce qui est en jeu, c'est de reconnaître si un article scientifique est fiable ou non... preuve que je ne suis pas complètement insensé de dire que les revues scientifiques font mal leur travail, et publient bien trop d'articles médiocres.
Dans notre groupe de recherche, nous en sommes réduits, quand nous nous échangeons des textes, après une étude bibliographique, à les assortir d'un mmm (exécrable), mm (très mauvais), m (mauvais), b (bon), bb (très bon), bbb (excellent)... et nos statistiques montrent, hélas, que la balance penche puissamment du mauvais côté. Je ne compte pas ces textes qui commencent par "la couleur des aliments est le paramètre le plus important de l'appréciation gustative" ; ces textes dont la description des matériels et des méthodes est insuffisante pour reproduire l'expérience   ces textes où fleurissent les adjectifs et adverbes, qui auraient dû être remplacés par la réponse à la question "Combien ?" ; ces textes où les interprétations se résument à "nos résultats sont conformes à ceux de XXXX"... Il y a du ménage à faire, et cela de façon urgente !

Nous sommes bien d'accord : les scientifiques doivent faire de la recherche scientifique, et chercher les mécanismes des phénomènes, en mettant en oeuvre cette si belle méthode scientifique que j'ai décrite bien des fois dans ce blog.

Toutefois, dans la mesure où nous publions les résultats en les soumettant à des pairs (les "rapporteurs" sollicités par les revues scientifiques), n'avons-nous pas une obligation morale d'accepter à notre tour d'évaluer des manuscrits ? D'ailleurs, il s'agit moins d'évaluer, à savoir déterminer la valeur, que de discuter des manuscrits afin que les auteurs puissent les améliorer, jusqu'à ce que ces textes soient acceptables (et acceptés) pour publication.
Bref, je me demande si nous ne devrions pas expertiser autant que nous sommes expertisés, voire davantage à mesure que nous devenons plus capables de mieux conseiller nos amis, de mieux dépister des erreurs ou des imprécisions qu'ils font, toujours avec l'idée de mieux élaborer ce qu'Albert Einstein nommait le Temple de la science. 

Être rapporteur demande du temps, du soin. Il faut tout autant être vigilant quant aux interprétations que s'intéresser aux références, qu'il faut connaître ou lire. Il faut traquer les erreurs méthodologiques, mais aussi identifier des ambiguïtés de simple rédaction... Bref, ce sont des heures de travail pour chaque manuscrit expertisé. Et l'on doit bien dire, en ces temps de publication à outrance, avec un nombre de scientifiques qui a explosé, un nombre de manuscrit qui a démesurément augmenté, notamment avec l'ouverture de la Chine ou de l'Inde, que les rapporteurs ne suffisent plus à la tâche. Alors que, déjà, nous avions le sentiment qu'expertiser des articles n'était pas "notre métier", lequel était de produire des connaissances.

Mais le présent est un appel : nos systèmes d'évaluation, qu'il s'agisse des HCERES ou des systèmes particuliers à chaque organisme de recherche, font la part très faible à l'évaluation des manuscrits scientifiques, et cela n'est pas bon. Déjà, les facteurs H, d'impact ou autres sont des indices bibliométriques que je déteste pour mille raisons qu'il serait trop long de donner, mais rien n'est dit, dans ces indices de cette activité essentielle qu'est l'évaluation scientifique.  Il faut changer cela rapidement !

Mais ai-je bien raison d'évoquer l'absence de prise en compte de l'activité de rapporteurs ? 
Allons, regardons, par exemple, les critères d'évaluation de la section 13 du CNRS :

SECTION 13
Chimie physique, théorique et analytique

Ces critères sont ouverts, non exclusifs, non hiérarchisés et non strictement cumulatifs.
Evaluation périodique des chercheurs
Critères communs à tous les chercheurs

Les chercheurs seront avant tout évalués sur la qualité et l'originalité de leurs contributions scientifiques sans se contenter d’un simple examen de critères quantitatifs ou bibliométriques. Ces derniers seront pris en considération en intégrant les spécificités des différentes sous-disciplines qui composent la section et en considérant le contexte local, national et international. L'évaluation périodique prend également en compte les autres dimensions de l'activité de recherche comme la diffusion de la culture scientifique, la valorisation ou le transfert des connaissances, les responsabilités collectives ou de management de la recherche, etc. L’évaluation d’un chercheur est par essence «multicritères».

Contributions scientifiques: La section examinera l’ensemble des productions (publications, conférences invitées, ...) en cherchant à faire apparaître le poids relatif des différentes contributions (travail de thèse, travail de post-doc, nouveau(x) sujet(s), ...). L’originalité et l’impact des travaux dans la communauté scientifique seront au cœur de l'évaluation, ainsi que les interactions avec les chercheurs d’autres disciplines ou sous disciplines. L’implication dans des programmes de recherche nationaux et internationaux sera évidemment considérée.

Enseignement, formation, encadrement et diffusion de l’information scientifique: La section examinera attentivement tout type de participation à des actions de formation, de dissémination de savoir-faire, de vulgarisation scientifique, d’encadrement, d’organisation de réunions scientifiques ...

Mobilité: Il s’agit de la mobilité thématique aussi bien que géographique. Elle ne constitue pas une valeur ajoutée par elle-même, mais par la nouveauté et la dynamique scientifique qu’elle permet.

Transfert technologique, valorisation, relations industrielles: La section prendra en compte toute action de valorisation ou de transfert technologique dont les brevets, les procédés brevetés effectivement exploités ayant un poids particulier. Par ailleurs, ces critères seront examinés suivant les spécificités de la sous-discipline du chercheur, celles-ci pouvant se présenter sous différentes formes et chacune ayant son bénéfice, direct ou indirect.

Objectifs et dynamisme de la recherche: Ce dernier critère est éminemment qualitatif. Il s’agit d’évaluer en quoi le projet de recherche, à court et moyen terme, s’inscrit dans une dynamique et dans un contexte national et international porteur. Le rôle moteur, le travail en équipe et la prise de risque seront ici, autant que possible, évalués.

Remarques importantes pour la rédaction du dossier: La section conseille vivement de présenter la liste des publications en faisant clairement la distinction entre les articles parus dans des revues internationales à comité de lecture, les actes de congrès, les revues sans comité de lecture et les articles de vulgarisation. Il est également conseillé de faire apparaître l’auteur correspondant. De même pour les présentations orales, il conviendra de préciser la nature de celles-ci (communication orale, invitée, séminaire, etc.) et le rôle du chercheur (orateur ou co-auteur). Il est important qu’un résumé signalétique puisse être communiqué aux membres de la section, que les relations entre l’information scientifique et les données quantifiables apparaissent de manière claire et que les rapports d’activité «à vague» et «mi-vague» soient concis.


Donc, je n'avais pas tort : pas une ligne -explicite- sur l'activité d'évaluation des manuscrits. Cela n'est pas bon, et doit être changé rapidement, vu la qualité médiocre de bien trop  d'articles publiés actuellement !

A propos de revues prédatrices

L'annonce du fait que 5000 scientifiques allemands -dont certains parmi les meilleurs- ont publié dans des revues dites "prédatrices" mérite d'être commentée.

Les faits, d'abord :

1. jadis, les Académies étaient chargées de la publication des travaux scientifiques, et c'est à ce titre, par exemple, que l'Académie des sciences publiait les Comptes rendus de l'Académie des sciences, ou que l'Académie d'agriculture de France publiait les Comptes rendus de l'Académie d'agriculture.

2. jadis, les revues scientifiques étaient imprimées, sur du papier, donc, et cela coûtait cher, de sorte qu'il fallait  des abonnements par les bibliothèques (universitaires)

3. comme la place était comptée, il fallait limiter le nombre d'articles publiés, et c'est ainsi que l'Académie des sciences introduisit une règle pour limiter à un article par auteur et par semaine, quand Henri Poincaré, au summum de sa production, faisait un article par jour ! On visait la brièveté, pour des raisons de coût.

4. mais, depuis la dernière guerre mondiale, le nombre  de scientifiques a considérablement augmenté

5. et l'on a voulu évaluer ces personnes sur leur production ; comme souvent, on a jugé plus facile de juger la quantité que la qualité ; c'est plus "objectif", n'est-ce pas ?

6. mais les revues scientifiques, face à un afflux de texte, ont commencé  à refuser  les textes sous des prétextes variés,

7. ce qui a suscité la création de nouvelles revues, qui ont également été encombrées, et ainsi de suite

8. tandis que les scientifiques publiaient jusqu'au moindre résultat : ne le leur demandait-on pas ?

9. arriva le numérique, et la possibilité de ne plus avoir de papier : tout simple, donc, de créer une "revue"... de sorte que de petits malins proposèrent un nouveau  type de publication, dites "open", où les scientifiques payent pour voir leur article publié

10. et bien sûr, quand il est question d'argent, de la malhonnêteté peut s'introduire facilement : on imagine des revues peu rigoureuses, acceptant tous les articles pourvu qu'elles soient payées, et des scientifiques peu rigoureux, payant pour voir des articles médiocres publiés rapidement.



Nous en sommes là, et l'institution se rend bien compte que le système ne fonctionne plus bien.
Les éditeurs commerciaux sont sur la brèche, parce qu'ils sont concurrencés, mais, aussi, parce que leur avidité n'est plus justifiée : on n'a pas besoin d'eux pour faire l'édition des textes (qui était restée faite par les scientifiques) ni pour faire l'évaluation des manuscrits (qui était faites par des scientifiques). Depuis deux ou trois ans, c'est la fronde des institutions contre ces groupes d'édition, au point que les abonnements ne sont pas renouvelés.

Où allons-nous ? C'est le moment que les institutions (académies, centres de recherche scientifique, universités...) reprennent en main l'évaluation de la production scientifique, que l'on n'aurait jamais dû confier à des tiers. La chose est simple, puisqu'il suffit d'un secrétariat, pour épauler les comités scientifiques qui existent déjà dans lesdites institutions.

D'autre part, c'est peut-être le bon moment, aussi, pour que l 'on rénove les règles d'évaluation de la recherche scientifique, sans considérer le nombre, mais la qualité des travaux. L'évaluation ne peut être une simple comptabilité du nombre d'articles produits... car que veut-on juger, au juste ?
La question a sa réponse : les scientifiques visent des "découvertes", et cela se saurait si l'on faisait cela tous les jours. Bien sûr, des données peuvent être publiées (à condition d'être bien produites), mais on peut s'alerter que, ces dernières années, il ait fallu passer par des cours de communication scientifique pour avoir ses articles acceptés : c'est la preuve que l'on se préoccupait de la forme, et non du fond.

Revenons donc au fond.

Comment signer soixante dix publications scientifiques par an ?

Une revue interroge un collègue qui signe 70 publications par an, et notre homme d'expliquer que si l'on a un bon réseau, alors on a son nom sur de nombreuses publications, et l'on est bien évalué par les institutions scientifiques. Evidemment, le titre de l'article "Comment signer 70 publications par an" est fait pour choquer, preuve qu'il n'est pas décemment possible de signer 70 publications par an. D'ailleurs, le collègue n'est pas l'égal d'Albert Einstein, qui ne signait certainement pas 70 publications par an, et il n'est pas non plus l'égal de Henri Poincaré, qui publiait tant que l'Académie des sciences a introduit une règle afin qu'il n'encombre pas les Comptes rendus de l'Académie des sciences, à une époque où l'on imprimait sur du papier. Donc ces 70 publications sont indues, et je crois très néfastes que nos institutions mettent ce genre de comportements en avant.

 Car il ne s'agit pas d'être bien évalué, personnellement ou collectivement, mais de faire de la bonne science, de faire avancer la connaissance ! Cela ne se fait pas au rythme ici prôné. Oui il faut publier ce que l'on découvre... mais il faut d'abord découvrir. Et cela ne se fait pas rapidement, même quand on est très actif.

Oui, aussi, on hésite toujours entre les gros articles importants, et les petits textes, montrant un résultat localisé... mais même pour de tels résultats, il ne s'agit pas de s'arrêter à un résultat de mesure : il faut aussi des interprétations solides, intelligentes, profondes, conceptuelles. Soixante dix par an ? Allons, soyons sérieux.