Pour celles et ceux qui râlent contre les rapporteurs

 Voici un texte très utile, encourageant : https://www.nature.com/articles/d41586-026-01615-4

 

 

Pas de jugement de valeur : soyons factuels

 
Dans une des revues dont je m'occupe, je reçois d'un collègue, qui avait accepté d'être l'éditeur d'un manuscrit, le retour des rapporteurs, que je dois transmettre aux auteurs.

Je prends bien soin, chaque fois que je fais une telle transmission, de bien vérifier que les commentaires sont anonymes, tout d'abord, mais aussi factuels et, en l'occurrence, bien m'en prend, car un des deux rapporteurs écrit "ce manuscrit est médiocre".

Il s'agit là d'un jugement de valeur, intolérable, qui n'a pas sa place dans une évaluation d'un manuscrit : c'est à la fois inutile et blessant, et c'est la marque d'un petit esprit... incapable de faire une telle évaluation.

Surtout, voir ce commentaire dans une évaluation mon montre que mon message aux rapporteurs n'est pas encore passé  :  on ne leur demande pas si les manuscrits sont bons ou mauvais : on leur demande factuellement d'indiquer ce qui doit être amélioré dans le manuscrit qui est soumis.  Et aux éditeurs : ils doivent veiller à ne pas transmettre de tels jugements.

En corollaire de cette observation, je comprends qu'il y a lieu de publier un article qui explique ce qui doit être fait et ce qui doit être évité, quand on évalue un manuscrit.

Je vois aussi que nos enseignements doivent inclure une formation à l'évaluation des manuscrits.

Et mieux encore, je crois qu'une telle formation pourrait être envisagée  dès le mater : j'imagine par exemple de mettre les étudiants dans la position d'évaluation pour des manuscrits qu'on leur fournirait, car cela leur serait plus facile que de produire eux-mêmes des manuscrits publiables, car on voit mieux la paille dans l'oeil du voisin que la poutre dans son propre œil.

Un grand merci aux rapporteurs

L'évaluation par les pairs : un privilège ! 

Il faut le dire et le redire :  l'évaluation par les pairs n'est pas une sanction, mais une un cadeau que nous font nos collègues.

Discutant avec des amis scientifiques, je les entends régulièrement se plaindre des rapporteurs de leurs manuscrits, et je suis en profond désaccord avec eux. Ils voient les commentaires des rapporteurs comme des critiques, alors que je les vois plutôt comme de belles possibilités.

Un rapporteur, c'est un scientifique qui accepte de prendre sur son temps pour lire un manuscrit et le commenter, l'analyser de façon critique, en vue d'aider les auteurs à améliorer leur texte jusqu'au point où il est publiable, c'est-à-dire jusqu'au point où les auteurs seront assurés de ne pas avoir honte d'avoir publié l'article plus tard.

C'est beaucoup d'intelligence et d'expertise mises en oeuvre, beaucoup de temps passé à analyser, à commenter : un beau cadeau, je vous dis.

Certes, certains rapporteurs outrepassent un peu leurs prérogatives, font parfois des commentaires un peu désobligeants, mais cela n'est pas important : la seule chose qui compte, c'est que cette analyse permet aux auteurs d'améliorer leur texte.

De sorte que les auteurs doivent être très reconnaissants à leurs collègues de les avoir ainsi aidé.

A contrario, un manuscrit insuffisamment commenté par les rapporteurs, c'est une occasion perdue d'améliorer l'article. Une erreur qui n'aurait pas été signalée subsistera, une  formulation imprécise restera à jamais.

De même que nous devons passer beaucoup de temps à améliorer nos manuscrits, à les relire et les relire encore, nous devons profiter absolument des commentaires de nos collègues qui évaluent nos manuscrits.

Je ne dis pas que les rapporteurs ont toujours raison mais en tout cas, quand il font un commentaire, il y a certainement lieu d'en tenir compte pour effectuer des changements, soit que ces changements aillent dans le sens des commentaires effectués, soit qu'il aille ils aillent dans un autre sens.

Merci à toutes celles et tous ceux qui ont accepté par le passé de rapporter mes articles !

A propos de rapporteurs et d'évaluation des manuscrits pour des revues scientifiques

A propos de la publication de Zimmer K. 2025. Lipstick on a pig, Nature, 654, 809-812, un auteur d'un manuscrit se plaint à moi des rapporteurs qui auraient fait des observations déplacées à propos de son texte. Et voici ma réponse :

 

Cher Ami

Je ne suis pas certain d'être d'accord avec toi. Les rapporteurs de ton texte ont été respectueux, et, sans connaître le sujet, je ne pense pas qu'ils demandent des choses impossibles ni déplacées. Au contraire -et toujours sans être spécialistes de ces matières- je crois que cela améliorerait ton manuscrit de faire les quelques modifications demandées.

D'autre part, je crois savoir que les rapporteurs ne sont pas des xxx(une discipline particulière)xxx, comme tu le suppose.

Tu proposes une grille d'évaluation ? Je sais d'expérience que ce n'est pas la bonne solution. Mais si tu as une grille à proposer, pourquoi pas ; tout ce qui peut nous faire progresser est bon à prendre. 

Enfin, tu parles d'échec parce que tu as été critique, mais je crois qu'il n'y a pas lieu d'utiliser un tel mot : je peux t'assurer que, sur des manuscrits que j'ai moi-même proposés récemment, j'ai eu bien plus d'observations que tu n'en as eues, avec deux ou trois tours d'échanges. Par exemple, si mon "cours sur les synthèses bibliographiques" a été si gros, une fois publié, c'est parce que des rapporteurs ont insisté pour que j'ajoute des tas de choses, sur l'IA, par exemple. Mais, finalement, le cours est plus complet.

Autre exemple, pour mon article sur la rigueur terminologique, j'ai eu un rapporteur très pointilleux, et j'ai fait BEAUCOUP de changements, non pas parce que j'étais d'accord avec lui, mais parce que je me suis appliqué l'idée que je donnais aux auteurs  quand j'étais éditeur scientifique, dans une vie antérieure : un bon auteur est quelqu'un qui saisit la moindre observation non pas pour suivre nécessairement ce que le lecteur lui dit mais pour changer son texte et faire grandir ce dernier (évidemment il y a des cas où nos taches aveugles sont des taches aveugles, qui appellent des modifications telles que les lecteurs les proposent).

Dépasse donc tes réticences en modifiant ton manuscrit... pour en faire un article que j'ai hâte de lire en détail.

Les rapporteurs doivent être factuels !

 J'ai reçu hier l'évaluation d'un manuscrit par un collègue. Certes le manuscrit était mauvais mais en l'occurrence c'est le collègue évaluateur que je veux critiquer parce qu'il a dépassé les faits et s'est autorisé des jugements de valeur qui n'avaient pas lieu d'être.
 

J'insiste : tout était critiquable, de la mise en œuvre des méthodes jusque dans leur justification, de la production de résultats  jusqu'à l'expression de ces derniers, notamment avec l'affichage de chiffres significatifs qui n'avaient pas lieu d'être (par exemple).

Mais j'arrive au point épineux : le collègue évaluateur a écrit dans son rapport que ce manuscrit était du niveau d'un étudiant médiocre, et cela n'est pas acceptable.

Je sais, nous savons tous, que les auteurs du manuscrit auraient été froissés d'une telle déclaration. Nécessaire ? Judicieuse ? Pertinente ? Non.
Éditeur de la revue, je me suis permis de proposer à l'auteur de ces mots de les supprimer.

Ce cas se produit souvent, notamment avec les mauvais articles, parce que leur lecture irrite, donne progressivement envie d'en interdire la publication. C'est légitime mais il n'y a pas lieu de charger la barque, et la simple description, factuelle, de la médiocrité du texte suffit à faire  comprendre à tous  l'ampleur du travail nécessaire pour que le manuscrit soit publiable. A tous, et notamment aux auteurs... qui retireront sans doute leur manuscrit.

Commençons par de sains principes : Une bonne pratique pour les journaux scientifiques, c'est le double anonymat

Les journaux scientifiques envoyent les manuscrits à des rapporteurs qui doivent les évaluer, c'est-à-dire... quoi au juste ?

Il s'agit essentiellement d'être utile à l'auteur, au journal, à la communauté.


La première des choses est d'éviter la publication de documents de mauvaise qualité, qui seraient ensuite cités, utilisés comme arguments pour des interprétations erronées ou fautives (dans "errroné", il y a seulement le fait de se tromper ; dans "fautif", il y a l'idée supplémentaire de faute!).



D'autre part, les articles publiés doivent être clairs, dans l'exposition des motifs de l'expérimentation ou du calcul, dans la présentation des méthodes mises en oeuvre, dans la présentation des résultats ; pour les interprétations, je propose de reporter la discussion pour plus tard.

 

Pour avoir de bons articles publiés, un bon principe est que les rapporteurs, ou évaluateurs, aient comme tâche principale de conseiller les auteurs pour qu'ils améliorent leur manuscrit, afin qu'un texte de bonne qualité soit finalement publié.

Et si les rapporteurs sont utiles aux auteurs, ils le sont aussi journal, donc à la  communauté. 

Etre un bon rapporteur s'apprend : pourquoi si peu d'écoles doctorales  l'enseignent-elles ?

Evidemment, je crois qu'il y a lieu d'organiser des évaluations doublement anomymes : les rapporteurs doivent ignorer qui sont les auteurs, et les auteurs doivent ignorer qui sont les éditeurs...

La rédaction scientifique s'apprend

Il y a quelques semaines, j'ai publié un article qui considère l'évolution de l'évaluation par les pairs, pour la publication scientifique, et je concluais notamment que les manuscrits doivent être publiés après que les auteurs les ont portés à une qualité publiable.

Le problème, c'est ce mot de "publiable", qui n'est pas clair, surtout  pour les plus jeunes, de sorte qu'il y a lieu d'être plus explicite.

À la réflexion, un article est publiable quand les pairs ont décrété qu'il était, et c'est donc une sorte de consensus fondée sur les pratiques professionnelles qui s'imposent.
D'où mon emphase sur les "règles de bonnes pratiques en science".

Par ailleurs, j'ai fait une liste des conditions précises qui s'imposent pour la préparation de bons articles scientifiques et, j'espère avoir été clair.

Tout cela étant dit, je viens d'être sollicité par une grande revue  de physique pour faire le rapport d'un manuscrit qui était soumis : il s'agissait d'un texte de physique, mais qui considérait largement des questions de chimie, et  je crois pouvoir dire que c'était exactement ma compétence.

Un beau matin, donc, j'ai pris le fichier du manuscrit, et j'ai ouvert un autre fichier à côté pour y noter d'abord mes remarques au fil de la lecture, ligne à ligne.

Mais, chemin faisant, j'ai vu apparaître ces adjectifs que je récuse, parce qu'ils doivent être  remplacés par la réponse à la question combien. J'ai vu des adverbes qui étaient... complètement... déplacés. Par exemple, les auteurs utilisaient le mot "évidemment" pour des idées la phrase qui n'avaient  rien d'évident. J'ai vu des fautes de structure de l'article ;  j'ai vu de l'imprécision, etc., de sorte que, après avoir passé beaucoup de temps à discuter mot à mot ce qui n'allait pas, je me suis arrêté, en me disant qu'il valait mieux demander aux auteurs de faire la suite du travail, à partir des règles que je pouvais leur donner.

Ce n'est pas à moi de pallier leurs insuffisances, et je perds mon temps à corriger tous les points un à un.

Oui, je sais que, dans le premier article que j'ai mentionné plus haut, je disais que nous devions être positifs et accepter les textes a priori à condition qu'ils soient publiables. Oui, je sais bien qu'il faut conseiller les auteurs des manuscrits pour qu'ils améliorent leurs textes, mais on ne va pas aller jusqu'à les border dans leur lit, n'est-ce pas ? Ce ne sont plus des enfants, et  il faut qu'ils apprennent la rédaction scientifique et, a minima, qu'ils appliquent les conseils que j'ai donnés.

Au fond, il y a derrière tout cela, il y a des question de compétences. De compétence, car la rédaction scientifique, cela s'apprend. Pour moi, je propose que l'on distribue très largement mon document donné ici : https://hervethis.blogspot.com/2021/09/le-temple-de-la-science-lever-un-coin.html.

Je veux surtout frayer avec des gens gentils

 Je veux surtout frayer avec des gens gentils

1. Discutant avec un collègue d'un comité éditorial, nous évoquons le cas de ces rapporteurs qui mêlent des jugements de valeurs désobligeants aux critiques fondées qu'ils peuvent faire.

2. Mais,  pour expliquer la question, il faut reprendre à la base & expliquer que quand un manuscrit est soumis à une revue, le secrétariat de rédaction confie à un éditeur le soin de chercher deux rapporteurs, qui vont donc lire le manuscrit & en faire une analyse.
Il y a des situations variées, notamment certaines revues veulent simplement une évaluation du manuscrit, mais généralement, les rapporteurs doivent analyser le texte ligne à ligne & identifier toutes les corrections qui devront être faites pour que le texte soit publiable par la revue.

3.  C'est là où commence la difficulté car "analyse critique" ne signifie pas critique, mais seulement dépistage factuel d'erreurs de tous ordres : les rapporteurs doivent relever les erreurs, les imprécisions, etc., & cela concerne tout aussi bien le projet  scientifique que les fautes d'orthographe.

4. Or la communauté scientifique sait très bien qu'il y a l'écueil de ces rapporteurs qui mêlent des jugements de valeurs à leurs analyses, & cela n'est pas bon :  on a le droit de signaler beaucoup d'erreurs, mais on n'a pas le droit de dire que l'article est "mauvais", & c'est donc la tâche de l'éditeur que de gommer ces phrases qui peuvent être selon les cas méprisantes,  désobligeantes, déplacées, hors de propos...  sachant de surcroit que, comme je le montrerai dans un autre billet, les rapporteurs ne sont pas parfaits, loin s'en faut.

5. Il y a donc lieu d'être prudent quand on est éditeur d'un article à propos de ce que l'on transmets aux auteurs, & c'est là que notre discussion d'aujourd'hui commence : mon collègue avec qui je discutais me disait que, étant scientifiques, nous ne devons pas avoir à craindre les blessures narcissiques & que tout cela n'est pas très grave.

6. Je m'oppose absolument à cette idée & non pas seulement pour ce qui me concerne mais surtout pour tous les jeunes scientifiques nous voulons encourager. Ce n'est pas en tapant sur les cornes de l'escargot qu'on lui permettra d'avancer, ce n'est pas en blessant nos amis que nous créerons une communauté soudée, amicale, cohérente...

7.  D'autant que les rapporteurs sont loin d'être parfaits, & que, bien souvent, on voit des commentaires fautifs !

8. Mon collègue, à qui je réponds cela, me rétorque que si l'on récuse ces rapporteurs déplaisants, personne n'acceptera plus de faire le travail de rapporteur... Mais pas du tout : c'est seulement que nous n'aurons plus ces rapporteurs détestables, & ce sera tant mieux !  

9. En tout cas, il n'y a pas lieu d'encourager un état d'esprit agressif, dans les évaluations (terme mal choisi) de manuscrits. Au contraire, il faut enseigner (je dis  bien "enseigner")  à nos collègues à être civils, gentils, indulgents, encourageants...

10. C'est d'ailleurs la raison pour laquelle j'avais moi-même publié un article qui disait en substance que nous avions moins besoin d'évaluations que d'analyse des manuscrits & de conseils à donner aux auteurs pour qu'ils améliorent ces derniers jusqu'au point de les rendre publiables.

11. En disant cela, je ne cède en rien sur la qualité des textes publiés, qui doit être parfaite. Il doit y avoir autant d'aller-retours que nécessaires pour arriver à la publication, & il est hors de question de publier des articles scientifiques insuffisants.

12. Le jugement des textes par les pairs est un bon principe, qu'il faut conserver (en plus du double anonymat ; voir https://www.academie-agriculture.fr/publications/notes-academiques/lanalyse-critique-des-manuscrits-et-les-conseils-damelioration-donnes), & améliorer. Pour cela, il faut encourager  la gentillesse,  l'intelligence, la droiture... & les qualités scientifiques.

A propos du rejet de manuscrits par les revues scientifiques

Dans un texte que j'ai publié dans les Notes académiques de l'Académie d'Agriculture de France (N3AF),   j'évoquais la question du rejet des manuscrits par les publications scientifiques. Et c'est là un sujet dont il est important de parler, parce que, même si nous savons que cela arrive à tous, et pas seulement à nous-mêmes, il est très désagréable qu'un éditeur nous dise, se fondant sur des rapporteurs, qu'un manuscrit que nous proposons n'est pas publiable, alors que nous y avons passé beaucoup de temps, que nous sommes passés sous les fourches caudines de la préparation particulière et de la soumission, que nous avons fait de notre mieux.

Dans mon article aux N3AF, je commence par observer que, aujourd'hui, la question de limiter les publications -qui s'imposait quand on imprimait les revues scientifiques sur du papier- ne tient plus. D'ailleurs, il s'agit moins de journaux que de publications, et de publications en ligne.

En outre, il faut se souvenir de l'histoire de la publication scientifique pour comprendre pourquoi nous en sommes arrivés à une situation paradoxale.
Jadis, les auteurs  recopiaient leurs manuscrits à la main pour les distribuer.

Puis les académies et des scientifiques ont créé des revues pour éviter cela. Initialement, les auteurs touchaient des droits d'auteur, parce que les journaux étaient vendus, ce qui rapportait de l'argent.
Progressivement, l'édition scientifique a évolué vers un nouvel état où les auteurs ne touchaient plus d'argent pour leur texte, cédant gratuitement la propriété de leurs textes aux éditeurs, ce qui est sans doute un peu léonin.
Puis est venu le temps où les auteurs ont dû payer pour être publiés...

Alors que les scientifiques font tout le travail :
- l'écriture des textes
- la préparation des manuscrits selon des normes fixes
- l'évaluation des textes des collègues.

L'abondance excessive (plus exactement : excessive pour le système d'il y a plusieurs décennies) des manuscrits a conduit des éditeurs internationaux à s'engraisser indûment sur la communauté scientifique. Il est temps que cela cesse... car le numérique a donné un coup de pied dans la fourmillière.

D'autre part, dans mon texte, je dis que l'heure n'est plus aux rejets, qui font perdre le temps de tout le monde, et qui abattent le moral des courageux qui veulent publier. Notamment les "rejets", qui étaient souvent fondés sur de mauvaises excuses, en vue de limiter les soumissions, doivent cesser. Non pas qu'il faille éviter de publier des manuscrits impubliables, bien sûr.
Non, il est temps que les rapporteurs apprennent d'autres manières, à savoir une bienveillance qui doit permettre aux auteurs d'améliorer leurs manuscrits.

D'ailleurs, il faut absolument que les "évaluations" soient doublement anonymes : que les auteurs ignorent qui sont les rapporteurs, et que les rapporteurs ignorent qui sont les auteurs... car ils seront ainsi plus prudents : je me souviens d'un de mes manuscrits à propos duquel un des rapporteurs avait eu des mots douteux, et je peux assurer qu'il l'a regretté, ensuite, quand il a su que j'étais l'auteur et que, surtout, il avait outrepassé ses droits de rapporteur, faisant des demandes indues.

Pour autant -j'insiste-, il ne s'agit pas de lâcher sur la qualité des textes : il doit y avoir autant d'allers-retours que nécessaire entre les auteurs et les rapporteurs, afin que les textes publiés soient de grande qualité.

Et il faut bien sûr que les auteurs entendent quand leurs textes sont fautifs. Il faut que les jeunes auteurs apprennent à mieux rédiger des textes scientifiques. Où tout soit justifié, par exemple ; où des validations sont données ; et ainsi de suite. Cela s'apprend, et les rapporteurs ont donc une mission essentielle dans notre communauté.

Et d'abord une obligation de bienveillance : vita brevis, ars longa... et il faut apprendre lentement.

Il est temps, aussi, de bien expliquer qu'il n'est pas vrai que les revues rejettent les textes qui font mention de  "résultats négatifs", car les résultats sont toujours des résultats, et, quand ils sont contraire aux hypothèses que nous avons faites, ce sont des découvertes ! C'est une faute de la part des auteurs que de penser que des résultats puissent être négatifs.

Et tout résultat obtenu dans de bonnes conditions (contrôlées, reproductibles) doit être publié ! Evidemment, les interprétations sont parfois difficiles, mais j'insiste : les résultats sont là, et il faut les communiquer à la communauté scientifique.

D'ailleurs, bien plus généralement, nous devons faire nôtre la règle de Michael Faraday : work, finish and publish*... car une idée dans un tiroir n'est pas une idée !  


*    “The secret is comprised in three words — Work, finish, publish.”

An advice to the young William Crookes, who had asked him the secret of his success as a scientific investigator, as quoted in Michael Faraday (1874) by John Hall Gladstone, p. 123

Ma position, en ce qui concerne les publications dans les N3AF

À l'Académie d'agriculture de France, nous avons créé un journal scientifique qui a pour nom "Notes académiques de l'Académie d'Agriculture de France", en abrégé N3AF.

C'est un journal qui a plusieurs avantages, mais le premier est qu'il n'est pas confié à un éditeur privé, c'est-à-dire une de ces sociétés qui, à mon sens, s'engraissent sur le dos de la communauté scientifique et des contribuables : je me suis déjà expliqué sur le fait que leurs services sont devenus nuls, puisque les éditeurs et les rapporteurs sont des scientifiques non rétribués spécifiquement, et que les articles sont en ligne : le monde scientifique n'a plus besoin d'eux.

D'autre part, notre revue ne cherche pas à refuser les manuscrits, contrairement aux revues classiques,  mais au contraire nous voulons favoriser la publication des manuscrits (de qualité) par des échanges anonymes entre les auteurs et les rapporteurs,  jusqu'à ce que la qualité académique soit suffisante et que les textes puisse être publiés.
 J'insiste un peu sur l'anonymat, car je suis toujours choqué de voir des revues laisser les rapporteurs savoir le nom des auteurs : le double anonymat doit être la règle, à savoir que, avant la publication, les auteurs ne doivent pas savoir qui sont les rapporteurs, et les rapporteurs ne doivent pas savoir qui sont les auteurs, sans quoi les jugements sont biaisés, l'évaluation mal faite.

Le fait que la revue soit en ligne, et non pas sous forme de papier,  permet de publier les textes in extenso,  sans sacrifier des détails importants, notamment dans la description des matériels et des méthodes. En effet, je réclame absolument que les articles scientifiques soient étayés,  pour que l'on puisse faire des interprétations fondées.

Et puis cette revue est libre et gratuite, c'est-à-dire que les auteurs n'ont pas à payer comme dans beaucoup de ces revues prédatrices qui fleurissent aujourd'hui sous prétexte qu'elles sont libres d'accès à la lecture. Les N3AF sont ainsi libres et gratuites. Cela est essentiel, car l'institution scientifique au sens large reçoit ses crédits de l'État, il est donc logique que le citoyen puisse accéder aux publications qui sont le fruit de ces travaux qu'il subventionne.

 

Un mot, maintenant,  à propos de mes propres publications.

Pour ce qui me concerne, j'ai décidé que je publierai autant que possible dans cette revue, dont je suis pourtant l'éditeur (au sens anglais du terme, disons le rédacteur en chef, ou plus justement le responsable du comité éditorial).


Est-ce compatible ? 

Absolument, car mes propres textes sont anonymisées avant d'être envoyés à la revue, ils sont confiés à un éditeur qui ignore tout de l'auteur et qui ensuite fait passer les manuscrits pour expertise à deux rapporteurs qui ignorent également tout de l'auteur.En sorte que mes  propres textes sont évalués comme tous les  autres, sans traitement de faveur.
J'insiste un peu sur la méthodologie. Quand un article est envoyé à la revue, on vérifie qu'aucune marque d'origine des auteurs n'apparaît. Puis le manuscrit anonymisé est envoyé à un éditeur, qui cherche deux rapporteurs, un à l'Académie et l'autre à l'extérieur de l'Académie, pour faire le travail d'évaluation. Les rapports repartent ensuite en sens inverse, et sont donc transmis de façon parfaitement anonyme aux auteurs,  et les échanges se poursuivent jusqu'à ce que les rapporteurs acceptent l'article quand ils jugent la qualité acceptable.
On ne cherche pas à refuser les manuscrits sous des prétextes variés et souvent mauvais tel que de considérer que le manuscrit n'est pas dans la ligne du journal. Au contraire, les Notes académique sont là pour favoriser des publications de qualité après les échanges scientifiques qui conduisent à la publication.