Pour celles et ceux qui râlent contre les rapporteurs

 Voici un texte très utile, encourageant : https://www.nature.com/articles/d41586-026-01615-4

 

 

Pourquoi il est essentiel que les publications scientifiques soient aussi parfaites que possible

 
Que croire quand il y a du doute ? On verra ici que des exemples techniques ont un écho essentiel en recherche scientifique.

D'abord, en cuisine

 Commençons par la technique culinaire : en plus des "définitions" (une compote de poire, c'est des poires, pelées, additionnées d'eau et de sucre, chauffées), il y a des indications techniques qui précisent le procédé, ce que j'ai nommé des "précisions culinaires".
 Or c'est un fait que beaucoup d'entre elles sont fausses, même quand elles sont propagées par les plus grands cuisiniers (dont il faut reconnaître que ce sont plus des artistes que des techniciens).
 
 Je ne donne pas ici la liste des erreurs que j'ai trouvées, car elle est beaucoup trop longue, mais les séminaires de gastronomie moléculaire, chaque mois depuis 21 ans, montrent à l'envi que ce que je viens d'annoncer est juste.
 
 De ce fait, se pose la question de la confiance que l'on peut accorder à des personnes qui disent des choses fausses (les cuisiniers, fussent-ils triplement étoilés qui propagent les idées erronées) ?
 
 A ce propos, la seule réponse que je puisse entrevoir est la suivante : si un cuisinier qui a de jolies réussites dit des choses techniquement fausses, c'est que son procédé est robuste, et que les indications fausses qu'il transmet, à défaut d'être justes (puisqu'elles sont établies fausses), ne sont pas nuisibles au point de compromettre la réussite technique.
 
 Au jardin
 
 Aujourd'hui, alors que je m'intéresse au bouturage des rosiers et à la taille des arbres, je retrouve la même question. Oui, si l'on explore ce qui se dit sur internet, on voit tout et n'importe quoi à propos de ces deux questions : des boutures que l'on fait la tête en bas, la tête en haut, avec de l'hormone de bouturage, sans hormone de bouturage, avec des billes d'argile au fond du pot, sans bille d'argile au fond du pot...
 
 Mais, après avoir passé l'été à planter dans de la terre pas spécialement préparée de petites tiges de rosier débarrassées de la moitié de leurs feuilles, j'ai aujourd'hui une vingtaine de boutures avec des feuilles parfaitement propres, et que je repiquerai dès que cela sera possible. Mais je ne veux pas ici étaler mon plaisir d'avoir réussi des boutures de rosiers : je ne prends cet exemple que parce que je veux faire état de ce que le transfert des connaissances, à propos de jardinage, s'apparente à celui de la cuisine : il y a tout et n'importe quoi, et se pose la question de la confiance.
 
 La question scientifique
 
Cette question -j'arrive maintenant au point essentiel que je veux discuter se pose en sciences de la nature, et l'on pourra se reporter à des textes didactiques que j'ai publiés pour mieux voir que la question est essentielle, lors des études de science et de technologie : quand on lit une publication scientifique, il n'est absolument pas certain qu'elle soit bonne, et la première des choses à faire est non pas de recueillir les informations de cette publication, mais de se demander ce qu'elle vaut.
C'est au point où les industriels qui embauchent les étudiants de nos cursus nous ont dit, il y a quelques années, qu'ils étaient très bien, mais qu'il leur manquait le regard critique sur les informations qu'ils utilisent. Nous n'avons évidemment pas tardé à corriger le tir, mais reste cette grave question la confiance.

Imaginons que nos recherches nous fassent arriver sur un article scientifique qui traite d'un sujet qui nous intéresse, qui donne des informations dont nous aurions besoin. Et supposons que notre crible nous montre que cet article est mauvais.

Que pouvons-nous en conserver ? Que pouvons-nous utiliser de ce qu'il annonce ? Un article qui a de graves faiblesses est-il entièrement mauvais ? Localement mauvais ? Quelles sont les données ou les idées que nous pouvons retenir ? Quelles sont celles que nous devons rejeter ? La question est épineuse.

A ce jour, j'ai conclu que les articles identifiés comme mauvais devaient être rejetés en bloc. Et peut-être signalés publiquement, parce que ces articles sont non seulement mauvais, mais nuisibles : ils risquent d'induire en erreur des personnes qui les utiliseraient sans être capables d'en voir les failles. C'est une grave question, car la science est "cumulative" : il nous faut des résultats des collègues pour avancer, souvent.

Vos conseils ?

Assez avec les publications scientifiques mal conçues, mal pensées, mal faites, mal évaluées, mal publiées

Faisant ce matin ma veille bibliographique, je trouve un article qui évoque le possible remplacement des conservateurs par des huiles essentielles. 

Cet article est doublement scandaleux. 

Il l'est, d'une part, parce que déjà il y a 30 ans il y a eu le même contenu publié... et qui n'est pas cité. 

D'autre part, il est scandaleux par sa naïveté : les huiles essentielles sont des composés tout aussi efficaces et tout aussi toxiques que les composés de synthèse, et  il n'y a pas de vertus particulières parce qu'un composé vient ou non d'une plante. Il faut rappeler que la ciguë est un poison végétal terrible, tout comme la baie de l'if, et ce ne sont pas là des exceptions que je cite :   la plupart des plantes sont toxiques... et les composés toxiques qu'elles renferment sont terribles quand elles sont concentrées. 

Il faut se demander comment de tels articles peuvent être publiés ? Je crois qu'il y a lieu de dénoncer le travail minable des grands éditeurs commerciaux, le travail complètement insuffisant de leurs équipes éditoriales, qui ne sont en réalité que des secrétariats, le travail bâclé de trop nombreux rapporteurs incompétents, pas formés, laxistes, et, évidemment, le travail insuffisant des auteurs qui soumettent de tels articles. 

J'ajoute que l'article que j'ai trouvé n'est pas éthique puisque ses citations ne renvoient pas vers les premiers auteurs qui ont découvert les faits, d'une part,  et que,  d'autre part, les auteurs ont glissé des résultats des résultats personnels dans une synthèse bibliographique,  ce qui est strictement interdit : si un article est une revue, il est évalué comme une revue mais si c'est une note de recherche, il était évalué comme une note de recherche. La confusion des genres ne vaut rien, s'apparente à une malhonnêteté. 

Je prédis que ce modèle des publications scientifiques ne fera pas long feu et en tout cas je ferai tout pour le combattre (la preuve).

Les références dans un article ? Il y a le meilleur et le pire selon le comportement de celles et ceux qui les donnent.

Dans un article scientifique, tout doit être justifié : pour chaque fait que l'on cite, on doit donner la référence à l'article publié par la personne qui a établi le fait ; pour chaque idée publiée, il doit y avoir la référence aux personnes qui l'ont proposée et ainsi de suite : tout doit être référencé.

C'est là une manière élémentaire de faire des publications scientifiques ou technologiques, et il n'y a pas lieu d'en discuter en toute généralité, sauf à observer que bien trop souvent, les citations ne sont sont ni éthiques, ni bien faites.
Une manière déplorable de donner des références consiste à citer le premier texte qui passe et qui discute des points que l'on veut établir. C''est non seulement un travail de feignant,  mais c'est aussi malhonnête : il faut vraiment qu'une référence que l'on cite établisse vraiment l'idée qui vient à l'appui de la référence. Evidemment !
De surcroît,  il n'est pas éthique de faire ainsi car on prive les auteurs véritables de la paternité de leur travail, ce qui peut avoir des conséquences sur leur carrière par exemple : en ces temps où les avancements sont souvent décidés par le nombre de citations, d'articles et cetera, il faut créditer celles et ceux qui le méritent.

Un autre cas déplorable : la citation de mauvais articles, sans évaluation critique de ces derniers. Là, non seulement on ne rend pas service au lecteur (que l'on guide vers de mauvais textes), mais de surcroît, on endosse en quelque sorte la responsabilité de la médiocrité des articles que l'on cite. A éviter absolument si l'on tient un minimum à sa réputation, ou, mieux,  à l'estime qu'on a de soi-même.

Dans les cas pathologiques, il y a l'absence de citation bien sûr, mais elle devrait constituer une sorte de barrage à la publication des articles dans les revues de bonne qualité.  

Levons le nez, regardons le ciel bleu : la recherche bibliographique est un acte de science, en ce qu'il permet de bien voir le paysage scientifique. Et creuser jusqu'aux vrais faits bien établis réserve toujours des surprises. Ayant passé de longs moments à vouloir comprendre ce mythe de Louis Pasteur "découvrant la chiralité", j'ai trouvé bien mieux que l'admiration naïve d'une statue qui avait été érigée de façon indue : le merveilleux paysage des travaux qui ont conduit à la notion moderne (que n'avait pas Pasteur, puisqu'il n'avait pas l'idée de molécules) de chiralité. Et c'est ainsi que l'on a raison d'admirer Jean-Baptiste Biot et bien d'autres. 

Voir https://www.academie-agriculture.fr/publications/notes-academiques/n3af-note-de-recherche-des-cristaux-dauguste-laurent-et-des

Combattons le mercantilisme

 Pas de place pour le mercantilisme, en sciences de la nature !

Je vois apparaître des adjectifs honteux dans des publications qui se disent scientifiques ou technologiques. Par exemple, je vois l'adjectif "unique" ou "remarquable" ou "extraordinaire",  ou encore un "ultrastable" qui doit nous faire penser à cet "ultra-transformé" qui ne signifie rien ; et tout cela n'a rien à faire dans le titre des publications : la science, ce n'est pas le commerce des savonnettes.

D'ailleurs, ces mots n'ont aucun sens, en science, et ils doivent toujours être remplacés par la réponse à la question "Combien ?".

Certes, une caractéristique physique d'une système, par exemple, peut être supérieure à celle d'autres systèmes mieux connus, mais supérieur de combien ? Et c'est une faiblesse d'esprit bien grande (;-)) de croire que c'est   en ajoutant un adverbe qu'on résoudra la question.

Décidément, les éditeurs des journaux scientifiques  et technologiques feraient bien d'être un peu plus rigoureux  : ils ne devraient pas tolérer l'emploi de tels mots, car il en va de la crédibilité du monde scientifique et,  aussi, de la crédibilité de leur journal.

D'ailleurs je me demande si cela ne vaudrait pas la peine de toujours signaler aux éditeurs l'erreur qu'ils font quand ils admettent des titres indus ?

Si l'on n'est pas entièrement charitable, on peut aussi penser que les éditeurs de ces journaux ne sont pas les scientifiques les meilleurs : bien souvent, ceux qui détournent de leur temps de recherche scientifique pour la participation à des comités éditoriaux... privent leur recherche scientifique de ce temps-là : ce ne sont pas les plus compétents, dirions-nous en litote.

Et quand le ver est dans le fruit...

"Maladresse de style"

L'évaluation par les pairs peut être la meilleure ou la pire des choses. Elle est la pire quand les collègues sollicités n'ont pas toute la grandeur qu'ils devraient avoir,  et elle est la meilleure quand elle est faite par des personnes de qualité.

Aujourd'hui, je rencontre un cas qui m'émeut un peu  : nous avions envoyé un manuscrit à un rapporteur scientifiquement compétent, mais cet homme a produit un texte de rapport parfaitement inadmissible :  au lieu de seulement critiquer factuellement les phrases du manuscrit, il évoque des "maladresses de style". Non seulement l'expression est déjà contestable, mais, surtout, notre homme écrit comme un pied, avec des relatives emboitées mal maîtrisées, et autres... maladresses.

Ce cas n'est pas isolé : j'ai moi-même reçu, il y a peu de temps, des évaluations qui comportaient de telles appréciations aussi désobligeantes que déplacées, par des collègues qui, ignorant mon identité, ne savaient pas que chaque mot que je pose a été mûrement choisi, non seulement pour son sens mais aussi pour ses connotations.
Ma naïveté est totale : plus j'y pense et moins je comprends comment certaines personnes peuvent se laissert aller à des appréciations blessante. Qui pis est, l'anonymat que je fais régner dans les évaluations est un motif supplémentaire de délicatesse que nos rapporteurs devraient avoir :  c'est une lâcheté que d'en profiter.

Naguère, je déplorais que Dieu n'ait pas réserveé l'intelligence aux individus bons et droits. J'ai fini par comprendre que si cela avait été le cas, la vie en communauté aurait été impossible, car il y  aurait eu les bons d'un côté, et les méchants de l'autre... sans compter qu'on est jamais parfaitement bon ni parfaitement méchant. Je n'oublie pas le "Il faut tendre avec effort vers l'infaillibilité sans y prétendre" de Michel Eugène Chevreul.

Mais, quand même, quel dommage que des individus compétents n'aient pas grandi au point d'être bons et droits ! Quel dommage que, comme en rêvait le merveilleux Michael Faraday, la science ne rende pas plus aimable !

Manuscrits retirés, articles publiés

Je m'étonne de voir certaines revues qui se disent "scientifiques" publier des articles dont les manuscrits qui ont été soumis à des revues scientifiques dont je m'occupe, et pour lesquels les rapporteurs ont fait des remarques pertinentes dont il n'est tenu aucun compte dans les publications que je vois paraître.

Le cas s'est hélas produit plusieurs fois, avec toujours le même mécanisme :
1. un manuscrit est soumis,
2. il est envoyé (de façon anonyme) à des rapporteurs qui font des commentaires et appellent des corrections du manuscrit (parfois, il y a lieu de corriger des erreurs graces, comme par exemple quand des auteurs confondent de la toxicité et de l'immunité);
3. les auteurs font une première révision du manuscrit
4. cette révision est envoyée aux rapporteurs, qui dépistent des corrections encore bien insuffisantes;
5. et les auteurs retirent leur manuscrit et le publient sans rien modifier de plus dans une autre revue minable,  qui accepte le texte tel qu'il est, avec ses fautes, ses erreurs, ses insuffisances.

Il y a là une très mauvaise pratique, à la fois pour les auteurs et pour les revues qui publient finalement les articles fautifs.

Il faut dénoncer de telles revues, et sans doute écrire pour commenter négativement les articles qu'elles publient.  

Bien sûr, il n'est jamais agréable d'avoir à fournir un travail supplémentaire après la production d'un manuscrit, ce qui demande beaucoup de temps et d'énergie, mais l'objectif des textes n'est-il pas de produire des résultats de qualité ?

Personnellement, je suis très reconnaissant aux rapporteurs qui m'aident, qui m'aident à comprendre, qui m'aident à apprendre, et quand les rapports sont bien fait, c'est un véritable atout pour la qualité finale des publications.

On ne dira jamais que  l'évaluation par les pairs, bien conduite, est une pratique merveilleuse de notre communauté scientifique.

Je veux surtout frayer avec des gens gentils

 Je veux surtout frayer avec des gens gentils

1. Discutant avec un collègue d'un comité éditorial, nous évoquons le cas de ces rapporteurs qui mêlent des jugements de valeurs désobligeants aux critiques fondées qu'ils peuvent faire.

2. Mais,  pour expliquer la question, il faut reprendre à la base & expliquer que quand un manuscrit est soumis à une revue, le secrétariat de rédaction confie à un éditeur le soin de chercher deux rapporteurs, qui vont donc lire le manuscrit & en faire une analyse.
Il y a des situations variées, notamment certaines revues veulent simplement une évaluation du manuscrit, mais généralement, les rapporteurs doivent analyser le texte ligne à ligne & identifier toutes les corrections qui devront être faites pour que le texte soit publiable par la revue.

3.  C'est là où commence la difficulté car "analyse critique" ne signifie pas critique, mais seulement dépistage factuel d'erreurs de tous ordres : les rapporteurs doivent relever les erreurs, les imprécisions, etc., & cela concerne tout aussi bien le projet  scientifique que les fautes d'orthographe.

4. Or la communauté scientifique sait très bien qu'il y a l'écueil de ces rapporteurs qui mêlent des jugements de valeurs à leurs analyses, & cela n'est pas bon :  on a le droit de signaler beaucoup d'erreurs, mais on n'a pas le droit de dire que l'article est "mauvais", & c'est donc la tâche de l'éditeur que de gommer ces phrases qui peuvent être selon les cas méprisantes,  désobligeantes, déplacées, hors de propos...  sachant de surcroit que, comme je le montrerai dans un autre billet, les rapporteurs ne sont pas parfaits, loin s'en faut.

5. Il y a donc lieu d'être prudent quand on est éditeur d'un article à propos de ce que l'on transmets aux auteurs, & c'est là que notre discussion d'aujourd'hui commence : mon collègue avec qui je discutais me disait que, étant scientifiques, nous ne devons pas avoir à craindre les blessures narcissiques & que tout cela n'est pas très grave.

6. Je m'oppose absolument à cette idée & non pas seulement pour ce qui me concerne mais surtout pour tous les jeunes scientifiques nous voulons encourager. Ce n'est pas en tapant sur les cornes de l'escargot qu'on lui permettra d'avancer, ce n'est pas en blessant nos amis que nous créerons une communauté soudée, amicale, cohérente...

7.  D'autant que les rapporteurs sont loin d'être parfaits, & que, bien souvent, on voit des commentaires fautifs !

8. Mon collègue, à qui je réponds cela, me rétorque que si l'on récuse ces rapporteurs déplaisants, personne n'acceptera plus de faire le travail de rapporteur... Mais pas du tout : c'est seulement que nous n'aurons plus ces rapporteurs détestables, & ce sera tant mieux !  

9. En tout cas, il n'y a pas lieu d'encourager un état d'esprit agressif, dans les évaluations (terme mal choisi) de manuscrits. Au contraire, il faut enseigner (je dis  bien "enseigner")  à nos collègues à être civils, gentils, indulgents, encourageants...

10. C'est d'ailleurs la raison pour laquelle j'avais moi-même publié un article qui disait en substance que nous avions moins besoin d'évaluations que d'analyse des manuscrits & de conseils à donner aux auteurs pour qu'ils améliorent ces derniers jusqu'au point de les rendre publiables.

11. En disant cela, je ne cède en rien sur la qualité des textes publiés, qui doit être parfaite. Il doit y avoir autant d'aller-retours que nécessaires pour arriver à la publication, & il est hors de question de publier des articles scientifiques insuffisants.

12. Le jugement des textes par les pairs est un bon principe, qu'il faut conserver (en plus du double anonymat ; voir https://www.academie-agriculture.fr/publications/notes-academiques/lanalyse-critique-des-manuscrits-et-les-conseils-damelioration-donnes), & améliorer. Pour cela, il faut encourager  la gentillesse,  l'intelligence, la droiture... & les qualités scientifiques.

Les matériels et les méthodes : avant les résultats !

Je suis très opposé à cette pratique de certaines publications scientifiques qui mettent les descriptions de matériels et de méthodes à la fin des articles.

En effet, il y a de nombreuses façon de présenter des résultats scientifiques, mais une des façons les plus courantes -ça n'a pas toujours été le cas- est de commencer par une introduction, pour poser le problème exposé, puis de présenter les matériels et les méthodes qui ont été mis en œuvre pour réaliser les expériences avant d'arriver aux résultats, et,  enfin seulement, les discussions.

Cette méthode me semble tout à fait bonne, et en tout cas bien supérieure à plusieurs autres.
Par exemple, il y a des revues qui imposent la présentation des matériels et des méthodes en fin d'article. Mais comment pouvons-nous juger des résultats si nous ne savons pas comment ils ont été obtenus ?
Cela n'a guère de sens de sorte qu'en pratique, pour ce qui me concerne en tout cas, je vais toujours d'abord en fin d'article chercher les informations méthodologiques avant de revenir aux résultats... preuve que cette méthode est mauvaise.
Au fond, donner des résultats sans donner aux lecteurs la possibilité  d'évaluer  leur pertinence,  c'est  une forme d'argument d'autorité que je déteste absolument et qui n'a pas sa place dans les sciences de la nature.

Une autre manière criticable consiste à mêler les résultats et les discussions. Là, je trouve que c'est tout à fait mauvais, car on ne peut interpréter que des résultats qui ont été d'abord été donnés,  et l'expérience prouve que le mélange les résultats et des interprétations conduit à des fautes. Il est tellement plus clair de présenter les résultats, et ensuite seulement la discussion de ces derniers : pourquoi s'en priver.
Ajoutons que même des journalistes qui font bien leur travail savent que l'on ne mêle pas les faits et les interprétations. Hubert Beuve-Méry, qui fut une grande figure du journal Le Monde l'avait mis en exergue alors qu'il était en activité.

A propos du rejet de manuscrits par les revues scientifiques

Dans un texte que j'ai publié dans les Notes académiques de l'Académie d'Agriculture de France (N3AF),   j'évoquais la question du rejet des manuscrits par les publications scientifiques. Et c'est là un sujet dont il est important de parler, parce que, même si nous savons que cela arrive à tous, et pas seulement à nous-mêmes, il est très désagréable qu'un éditeur nous dise, se fondant sur des rapporteurs, qu'un manuscrit que nous proposons n'est pas publiable, alors que nous y avons passé beaucoup de temps, que nous sommes passés sous les fourches caudines de la préparation particulière et de la soumission, que nous avons fait de notre mieux.

Dans mon article aux N3AF, je commence par observer que, aujourd'hui, la question de limiter les publications -qui s'imposait quand on imprimait les revues scientifiques sur du papier- ne tient plus. D'ailleurs, il s'agit moins de journaux que de publications, et de publications en ligne.

En outre, il faut se souvenir de l'histoire de la publication scientifique pour comprendre pourquoi nous en sommes arrivés à une situation paradoxale.
Jadis, les auteurs  recopiaient leurs manuscrits à la main pour les distribuer.

Puis les académies et des scientifiques ont créé des revues pour éviter cela. Initialement, les auteurs touchaient des droits d'auteur, parce que les journaux étaient vendus, ce qui rapportait de l'argent.
Progressivement, l'édition scientifique a évolué vers un nouvel état où les auteurs ne touchaient plus d'argent pour leur texte, cédant gratuitement la propriété de leurs textes aux éditeurs, ce qui est sans doute un peu léonin.
Puis est venu le temps où les auteurs ont dû payer pour être publiés...

Alors que les scientifiques font tout le travail :
- l'écriture des textes
- la préparation des manuscrits selon des normes fixes
- l'évaluation des textes des collègues.

L'abondance excessive (plus exactement : excessive pour le système d'il y a plusieurs décennies) des manuscrits a conduit des éditeurs internationaux à s'engraisser indûment sur la communauté scientifique. Il est temps que cela cesse... car le numérique a donné un coup de pied dans la fourmillière.

D'autre part, dans mon texte, je dis que l'heure n'est plus aux rejets, qui font perdre le temps de tout le monde, et qui abattent le moral des courageux qui veulent publier. Notamment les "rejets", qui étaient souvent fondés sur de mauvaises excuses, en vue de limiter les soumissions, doivent cesser. Non pas qu'il faille éviter de publier des manuscrits impubliables, bien sûr.
Non, il est temps que les rapporteurs apprennent d'autres manières, à savoir une bienveillance qui doit permettre aux auteurs d'améliorer leurs manuscrits.

D'ailleurs, il faut absolument que les "évaluations" soient doublement anonymes : que les auteurs ignorent qui sont les rapporteurs, et que les rapporteurs ignorent qui sont les auteurs... car ils seront ainsi plus prudents : je me souviens d'un de mes manuscrits à propos duquel un des rapporteurs avait eu des mots douteux, et je peux assurer qu'il l'a regretté, ensuite, quand il a su que j'étais l'auteur et que, surtout, il avait outrepassé ses droits de rapporteur, faisant des demandes indues.

Pour autant -j'insiste-, il ne s'agit pas de lâcher sur la qualité des textes : il doit y avoir autant d'allers-retours que nécessaire entre les auteurs et les rapporteurs, afin que les textes publiés soient de grande qualité.

Et il faut bien sûr que les auteurs entendent quand leurs textes sont fautifs. Il faut que les jeunes auteurs apprennent à mieux rédiger des textes scientifiques. Où tout soit justifié, par exemple ; où des validations sont données ; et ainsi de suite. Cela s'apprend, et les rapporteurs ont donc une mission essentielle dans notre communauté.

Et d'abord une obligation de bienveillance : vita brevis, ars longa... et il faut apprendre lentement.

Il est temps, aussi, de bien expliquer qu'il n'est pas vrai que les revues rejettent les textes qui font mention de  "résultats négatifs", car les résultats sont toujours des résultats, et, quand ils sont contraire aux hypothèses que nous avons faites, ce sont des découvertes ! C'est une faute de la part des auteurs que de penser que des résultats puissent être négatifs.

Et tout résultat obtenu dans de bonnes conditions (contrôlées, reproductibles) doit être publié ! Evidemment, les interprétations sont parfois difficiles, mais j'insiste : les résultats sont là, et il faut les communiquer à la communauté scientifique.

D'ailleurs, bien plus généralement, nous devons faire nôtre la règle de Michael Faraday : work, finish and publish*... car une idée dans un tiroir n'est pas une idée !  


*    “The secret is comprised in three words — Work, finish, publish.”

An advice to the young William Crookes, who had asked him the secret of his success as a scientific investigator, as quoted in Michael Faraday (1874) by John Hall Gladstone, p. 123

L'évaluation des manuscrits scientifiques soumis aux revues doit être mieux prise en compte dans l'évaluation des scientifiques !

Dans nos organisations d'enseignement supérieur, nos partenaires industriels nous réclament aujourd'hui que nous formions bien les "collègues plus jeunes" (ma terminologie pour désigner les étudiants qui bénéficient d'une carte d'étudiant) à l'évaluation des articles scientifiques.
J'ai bien dit l'évaluation, et non pas seulement la lecture. Pour la lecture, c'est fait, mais ce qui est en jeu, c'est de reconnaître si un article scientifique est fiable ou non... preuve que je ne suis pas complètement insensé de dire que les revues scientifiques font mal leur travail, et publient bien trop d'articles médiocres.
Dans notre groupe de recherche, nous en sommes réduits, quand nous nous échangeons des textes, après une étude bibliographique, à les assortir d'un mmm (exécrable), mm (très mauvais), m (mauvais), b (bon), bb (très bon), bbb (excellent)... et nos statistiques montrent, hélas, que la balance penche puissamment du mauvais côté. Je ne compte pas ces textes qui commencent par "la couleur des aliments est le paramètre le plus important de l'appréciation gustative" ; ces textes dont la description des matériels et des méthodes est insuffisante pour reproduire l'expérience   ces textes où fleurissent les adjectifs et adverbes, qui auraient dû être remplacés par la réponse à la question "Combien ?" ; ces textes où les interprétations se résument à "nos résultats sont conformes à ceux de XXXX"... Il y a du ménage à faire, et cela de façon urgente !

Nous sommes bien d'accord : les scientifiques doivent faire de la recherche scientifique, et chercher les mécanismes des phénomènes, en mettant en oeuvre cette si belle méthode scientifique que j'ai décrite bien des fois dans ce blog.

Toutefois, dans la mesure où nous publions les résultats en les soumettant à des pairs (les "rapporteurs" sollicités par les revues scientifiques), n'avons-nous pas une obligation morale d'accepter à notre tour d'évaluer des manuscrits ? D'ailleurs, il s'agit moins d'évaluer, à savoir déterminer la valeur, que de discuter des manuscrits afin que les auteurs puissent les améliorer, jusqu'à ce que ces textes soient acceptables (et acceptés) pour publication.
Bref, je me demande si nous ne devrions pas expertiser autant que nous sommes expertisés, voire davantage à mesure que nous devenons plus capables de mieux conseiller nos amis, de mieux dépister des erreurs ou des imprécisions qu'ils font, toujours avec l'idée de mieux élaborer ce qu'Albert Einstein nommait le Temple de la science. 

Être rapporteur demande du temps, du soin. Il faut tout autant être vigilant quant aux interprétations que s'intéresser aux références, qu'il faut connaître ou lire. Il faut traquer les erreurs méthodologiques, mais aussi identifier des ambiguïtés de simple rédaction... Bref, ce sont des heures de travail pour chaque manuscrit expertisé. Et l'on doit bien dire, en ces temps de publication à outrance, avec un nombre de scientifiques qui a explosé, un nombre de manuscrit qui a démesurément augmenté, notamment avec l'ouverture de la Chine ou de l'Inde, que les rapporteurs ne suffisent plus à la tâche. Alors que, déjà, nous avions le sentiment qu'expertiser des articles n'était pas "notre métier", lequel était de produire des connaissances.

Mais le présent est un appel : nos systèmes d'évaluation, qu'il s'agisse des HCERES ou des systèmes particuliers à chaque organisme de recherche, font la part très faible à l'évaluation des manuscrits scientifiques, et cela n'est pas bon. Déjà, les facteurs H, d'impact ou autres sont des indices bibliométriques que je déteste pour mille raisons qu'il serait trop long de donner, mais rien n'est dit, dans ces indices de cette activité essentielle qu'est l'évaluation scientifique.  Il faut changer cela rapidement !

Mais ai-je bien raison d'évoquer l'absence de prise en compte de l'activité de rapporteurs ? 
Allons, regardons, par exemple, les critères d'évaluation de la section 13 du CNRS :

SECTION 13
Chimie physique, théorique et analytique

Ces critères sont ouverts, non exclusifs, non hiérarchisés et non strictement cumulatifs.
Evaluation périodique des chercheurs
Critères communs à tous les chercheurs

Les chercheurs seront avant tout évalués sur la qualité et l'originalité de leurs contributions scientifiques sans se contenter d’un simple examen de critères quantitatifs ou bibliométriques. Ces derniers seront pris en considération en intégrant les spécificités des différentes sous-disciplines qui composent la section et en considérant le contexte local, national et international. L'évaluation périodique prend également en compte les autres dimensions de l'activité de recherche comme la diffusion de la culture scientifique, la valorisation ou le transfert des connaissances, les responsabilités collectives ou de management de la recherche, etc. L’évaluation d’un chercheur est par essence «multicritères».

Contributions scientifiques: La section examinera l’ensemble des productions (publications, conférences invitées, ...) en cherchant à faire apparaître le poids relatif des différentes contributions (travail de thèse, travail de post-doc, nouveau(x) sujet(s), ...). L’originalité et l’impact des travaux dans la communauté scientifique seront au cœur de l'évaluation, ainsi que les interactions avec les chercheurs d’autres disciplines ou sous disciplines. L’implication dans des programmes de recherche nationaux et internationaux sera évidemment considérée.

Enseignement, formation, encadrement et diffusion de l’information scientifique: La section examinera attentivement tout type de participation à des actions de formation, de dissémination de savoir-faire, de vulgarisation scientifique, d’encadrement, d’organisation de réunions scientifiques ...

Mobilité: Il s’agit de la mobilité thématique aussi bien que géographique. Elle ne constitue pas une valeur ajoutée par elle-même, mais par la nouveauté et la dynamique scientifique qu’elle permet.

Transfert technologique, valorisation, relations industrielles: La section prendra en compte toute action de valorisation ou de transfert technologique dont les brevets, les procédés brevetés effectivement exploités ayant un poids particulier. Par ailleurs, ces critères seront examinés suivant les spécificités de la sous-discipline du chercheur, celles-ci pouvant se présenter sous différentes formes et chacune ayant son bénéfice, direct ou indirect.

Objectifs et dynamisme de la recherche: Ce dernier critère est éminemment qualitatif. Il s’agit d’évaluer en quoi le projet de recherche, à court et moyen terme, s’inscrit dans une dynamique et dans un contexte national et international porteur. Le rôle moteur, le travail en équipe et la prise de risque seront ici, autant que possible, évalués.

Remarques importantes pour la rédaction du dossier: La section conseille vivement de présenter la liste des publications en faisant clairement la distinction entre les articles parus dans des revues internationales à comité de lecture, les actes de congrès, les revues sans comité de lecture et les articles de vulgarisation. Il est également conseillé de faire apparaître l’auteur correspondant. De même pour les présentations orales, il conviendra de préciser la nature de celles-ci (communication orale, invitée, séminaire, etc.) et le rôle du chercheur (orateur ou co-auteur). Il est important qu’un résumé signalétique puisse être communiqué aux membres de la section, que les relations entre l’information scientifique et les données quantifiables apparaissent de manière claire et que les rapports d’activité «à vague» et «mi-vague» soient concis.


Donc, je n'avais pas tort : pas une ligne -explicite- sur l'activité d'évaluation des manuscrits. Cela n'est pas bon, et doit être changé rapidement, vu la qualité médiocre de bien trop  d'articles publiés actuellement !

A propos de revues prédatrices

L'annonce du fait que 5000 scientifiques allemands -dont certains parmi les meilleurs- ont publié dans des revues dites "prédatrices" mérite d'être commentée.

Les faits, d'abord :

1. jadis, les Académies étaient chargées de la publication des travaux scientifiques, et c'est à ce titre, par exemple, que l'Académie des sciences publiait les Comptes rendus de l'Académie des sciences, ou que l'Académie d'agriculture de France publiait les Comptes rendus de l'Académie d'agriculture.

2. jadis, les revues scientifiques étaient imprimées, sur du papier, donc, et cela coûtait cher, de sorte qu'il fallait  des abonnements par les bibliothèques (universitaires)

3. comme la place était comptée, il fallait limiter le nombre d'articles publiés, et c'est ainsi que l'Académie des sciences introduisit une règle pour limiter à un article par auteur et par semaine, quand Henri Poincaré, au summum de sa production, faisait un article par jour ! On visait la brièveté, pour des raisons de coût.

4. mais, depuis la dernière guerre mondiale, le nombre  de scientifiques a considérablement augmenté

5. et l'on a voulu évaluer ces personnes sur leur production ; comme souvent, on a jugé plus facile de juger la quantité que la qualité ; c'est plus "objectif", n'est-ce pas ?

6. mais les revues scientifiques, face à un afflux de texte, ont commencé  à refuser  les textes sous des prétextes variés,

7. ce qui a suscité la création de nouvelles revues, qui ont également été encombrées, et ainsi de suite

8. tandis que les scientifiques publiaient jusqu'au moindre résultat : ne le leur demandait-on pas ?

9. arriva le numérique, et la possibilité de ne plus avoir de papier : tout simple, donc, de créer une "revue"... de sorte que de petits malins proposèrent un nouveau  type de publication, dites "open", où les scientifiques payent pour voir leur article publié

10. et bien sûr, quand il est question d'argent, de la malhonnêteté peut s'introduire facilement : on imagine des revues peu rigoureuses, acceptant tous les articles pourvu qu'elles soient payées, et des scientifiques peu rigoureux, payant pour voir des articles médiocres publiés rapidement.



Nous en sommes là, et l'institution se rend bien compte que le système ne fonctionne plus bien.
Les éditeurs commerciaux sont sur la brèche, parce qu'ils sont concurrencés, mais, aussi, parce que leur avidité n'est plus justifiée : on n'a pas besoin d'eux pour faire l'édition des textes (qui était restée faite par les scientifiques) ni pour faire l'évaluation des manuscrits (qui était faites par des scientifiques). Depuis deux ou trois ans, c'est la fronde des institutions contre ces groupes d'édition, au point que les abonnements ne sont pas renouvelés.

Où allons-nous ? C'est le moment que les institutions (académies, centres de recherche scientifique, universités...) reprennent en main l'évaluation de la production scientifique, que l'on n'aurait jamais dû confier à des tiers. La chose est simple, puisqu'il suffit d'un secrétariat, pour épauler les comités scientifiques qui existent déjà dans lesdites institutions.

D'autre part, c'est peut-être le bon moment, aussi, pour que l 'on rénove les règles d'évaluation de la recherche scientifique, sans considérer le nombre, mais la qualité des travaux. L'évaluation ne peut être une simple comptabilité du nombre d'articles produits... car que veut-on juger, au juste ?
La question a sa réponse : les scientifiques visent des "découvertes", et cela se saurait si l'on faisait cela tous les jours. Bien sûr, des données peuvent être publiées (à condition d'être bien produites), mais on peut s'alerter que, ces dernières années, il ait fallu passer par des cours de communication scientifique pour avoir ses articles acceptés : c'est la preuve que l'on se préoccupait de la forme, et non du fond.

Revenons donc au fond.

Comment signer soixante dix publications scientifiques par an ?

Une revue interroge un collègue qui signe 70 publications par an, et notre homme d'expliquer que si l'on a un bon réseau, alors on a son nom sur de nombreuses publications, et l'on est bien évalué par les institutions scientifiques. Evidemment, le titre de l'article "Comment signer 70 publications par an" est fait pour choquer, preuve qu'il n'est pas décemment possible de signer 70 publications par an. D'ailleurs, le collègue n'est pas l'égal d'Albert Einstein, qui ne signait certainement pas 70 publications par an, et il n'est pas non plus l'égal de Henri Poincaré, qui publiait tant que l'Académie des sciences a introduit une règle afin qu'il n'encombre pas les Comptes rendus de l'Académie des sciences, à une époque où l'on imprimait sur du papier. Donc ces 70 publications sont indues, et je crois très néfastes que nos institutions mettent ce genre de comportements en avant.

 Car il ne s'agit pas d'être bien évalué, personnellement ou collectivement, mais de faire de la bonne science, de faire avancer la connaissance ! Cela ne se fait pas au rythme ici prôné. Oui il faut publier ce que l'on découvre... mais il faut d'abord découvrir. Et cela ne se fait pas rapidement, même quand on est très actif.

Oui, aussi, on hésite toujours entre les gros articles importants, et les petits textes, montrant un résultat localisé... mais même pour de tels résultats, il ne s'agit pas de s'arrêter à un résultat de mesure : il faut aussi des interprétations solides, intelligentes, profondes, conceptuelles. Soixante dix par an ? Allons, soyons sérieux.