L'évaluation par les pairs peut être la meilleure ou la pire des choses. Elle est la pire quand les collègues sollicités n'ont pas toute la grandeur qu'ils devraient avoir, et elle est la meilleure quand elle est faite par des personnes de qualité.
Aujourd'hui, je rencontre un cas qui m'émeut un peu : nous avions envoyé un manuscrit à un rapporteur scientifiquement compétent, mais cet homme a produit un texte de rapport parfaitement inadmissible : au lieu de seulement critiquer factuellement les phrases du manuscrit, il évoque des "maladresses de style". Non seulement l'expression est déjà contestable, mais, surtout, notre homme écrit comme un pied, avec des relatives emboitées mal maîtrisées, et autres... maladresses.
Ce cas n'est pas isolé : j'ai moi-même reçu, il y a peu de temps, des évaluations qui comportaient de telles appréciations aussi désobligeantes que déplacées, par des collègues qui, ignorant mon identité, ne savaient pas que chaque mot que je pose a été mûrement choisi, non seulement pour son sens mais aussi pour ses connotations.
Ma naïveté est totale : plus j'y pense et moins je comprends comment certaines personnes peuvent se laissert aller à des appréciations blessante. Qui pis est, l'anonymat que je fais régner dans les évaluations est un motif supplémentaire de délicatesse que nos rapporteurs devraient avoir : c'est une lâcheté que d'en profiter.
Naguère, je déplorais que Dieu n'ait pas réserveé l'intelligence aux individus bons et droits. J'ai fini par comprendre que si cela avait été le cas, la vie en communauté aurait été impossible, car il y aurait eu les bons d'un côté, et les méchants de l'autre... sans compter qu'on est jamais parfaitement bon ni parfaitement méchant. Je n'oublie pas le "Il faut tendre avec effort vers l'infaillibilité sans y prétendre" de Michel Eugène Chevreul.
Mais, quand même, quel dommage que des individus compétents n'aient pas grandi au point d'être bons et droits ! Quel dommage que, comme en rêvait le merveilleux Michael Faraday, la science ne rende pas plus aimable !
Ce blog contient: - des réflexions scientifiques - des mécanismes, des phénomènes, à partir de la cuisine - des idées sur les "études" (ce qui est fautivement nommé "enseignement" - des idées "politiques" : pour une vie en collectivité plus rationnelle et plus harmonieuse ; des relents des Lumières ! Pour me joindre par email : herve.this@inrae.fr
samedi 2 juillet 2022
"Maladresse de style"
samedi 25 septembre 2021
Comment les auteurs doivent-ils se comporter vis à vis des rapporteurs ?
Comment les auteurs doivent-ils se comporter vis à vis des rapporteurs ?
Je reprends ici une discussion déjà bien entamée dans d'autres billets, à propos de la soumission des manuscrits revues scientifiques.
Rappelons, pour ceux qui ne le savent pas (on pourrait dire "qui l'ignorent", mais on m'a fait remarquer que c'était politiquement incorrect") que quand un article est soumis à une revue scientifique, il était confié à un "éditeur", qui était généralement chargé de trouver deux rapporteurs, c'est-à-dire deux collègues à qui il demandait un rapport à propos de la possibilité de publier l'article.
Il y a des rapports variés, et des relations variées entre les éditeurs et les rapporteurs, qui vont du simple avis de publication jusqu'à des analyses plus détaillées du manuscrit, en vue de permettre aux auteurs d'améliorer leur texte. Je préfère de loin cette deuxième possibilité, qui est plus positive et qui permet aux jeunes auteurs de s'améliorer, mais j'ai discuté aussi dans un autre billet le cas des rapporteurs qui outrepassent leur droit et qui émettent des jugements soit partiaux soit erronés.
Récemment, j'ai encore rencontré le cas d'un rapporteur qui refusait un article parce qu'il n'y était pas cité. Et je peux témoigner personnellement que cette pratique n'est pas exceptionnelle.
Egalement, dans un billet précédent, j'évoquais le cas où des jugements de valeur étaient mêlés à des avis péremptoires, et c'est évidemment la responsabilité de l'éditeur que de filtrer cela.
Mais on sait que la chose est difficile, à une époque où les scientifiques sont sans cesse sollicités par des revues. Je n'ai pas de statistiques, mais nombre de collègues refusent de passer du temps pour faire des travaux bénévoles, au point que certaines revues commencent à payer des rapporteurs.
Les conséquences sont claires : les éditeurs vont hésiter à récuser les rapporteurs qu'ils ont sollicités, car des rapporteurs déjugés n'accepterons plus à l'avenir de collaborer avec la revue qui n'a pas suivi leur avis.
Et c'est ainsi que l'on voit des rapports désobligeants arriver aux auteurs. Cela est un fait d'expérience que chacun d'entre nous connaît, de sortes que nous devons envisager maintenant la question des auteurs qui reçoivent de tels rapports : ouf, nous sommes arrivés au point que je voulais discuter ici !
À ce sujet, il y a lieu de dire que les rapporteurs ne sont pas ne sont pas tout-puissants, omniscients, parfaits, de sorte que les auteurs ont en réalité le devoir de discuter les avis des rapporteurs.
Bien sûr, nous somme tous conscients de ne pas produire des manuscrits parfaits, à moins d'être d'une prétention sans bornes, et nous devons absolument faire les corrections qui s'imposent. Mais pas plus : nous ne devons pas non plus nous laisser aller à courber la tête devant des imbéciles des autoritaires, des petites personnes.
Je me repens encore d'avoir accepté de valider des résultats de résonance magnétique nucléaire, par le passé, par des méthodes de HPLC qui étaient complètement périmées, bien moins intéressantes, revendiquées par un rapporteur qui manifestement n'avait fait cela que cela toute sa vie. Nous avons perdu une journée de travail, ce qui n'est pas beaucoup, et l'article a été accepté, ce qui est bien, mais en quelque sorte, nous nous sommes compromis en acceptant de citer les articles du rapporteur qui nous avait proposé cette validation sans intérêt. Cet homme, que nous avons parfaitement identifié, a bénéficié d'une citation indue.
Mais c'est surtout les débordements des rapporteurs que les auteurs doivent contester : tout ce qui n'est pas factuel doit être rejeté.
Il y a eu une époque où les revues étaient submergées par des afflux de manuscrit, ce qui les conduisait à refuser la majorité des manuscrits, et c'est ainsi que s'est installé ce jeu délétère qui consistait simplement à dire "cet article est bon" ou "cet article est mauvais", avec une majorité de cas de la deuxième catégorie. Au fond, nous étions insensés de soumettre nos textes à de telles revues, qui se targuaient d'ailleurs de facteurs d'impact plus ou moins manipulés.
La communauté tout entière avait tort de s'affilier à des journaux tenus par des éditeurs privés, qui s'engraissaient tout en faisant perdre un temps considérable aux scientifiques qui leur soumettaient des manuscrits.
Mais je me suis déjà exprimé ailleurs sur cette question et je n'y reviens pas, pour me concentrer sur la question des auteurs face à des rapporteurs irrespectueux (par exemple). Bien sûr, si l'article est immédiatement accepté, il n'y a pas de problème... quoi que l'acceptation d'un manuscrit ne signifie pas qu'il ne soit pas perfectible : pourquoi ne chercherions pas à l'améliorer ?
Mais c'est surtout au second cas d'un article refusé ou accepté avec des modifications que nous avons à nous consacrer parce que c'est un cas beaucoup plus fréquent.
Là, il y a des remarques des rapporteurs dont nous devons bien sûr tenir compte ; ou, plus exactement, nous avons intérêt en tenir compte, moins en vue d'avoir notre article ultérieurement accepté que parce que nous avons une possibilité d'améliorer notre texte, des pistes pour le faire.
Il ne faut donc pas hésiter à travailler notablement le manuscrit après ce premier retour et améliorer tout ce que nous voyons qui peut l'être. Il y a lieu de chasser les imperfections, d'ajouter des références quand elles sont nécessaires, de bien reserrer la présentation, de nous interroger sur notre méthodologie, sur nos résultats, sur les interprétations...
Oui, en matière scientifique, pour produire de bons articles, c'est-à-dire de bons résultats, il faut sans cesse chercher l'amélioration.
samedi 7 décembre 2019
A propos du travail des rapporteurs
J'y reviens : à propos de rapporteurs dans les revues scientifiques, je crois que tout tient dans une idée, à savoir que la question de l'évaluation est surtout d'avoir un peu de grandeur, et de chercher principalement à aider les auteurs à améliorer les articles qu'ils soumettent, et, de de fait, leur travail.
La question n'est pas de rejeter de mauvais manuscrits, mais de permettre à des collègues d'améliorer leurs textes jusqu'à ce qu'ils soient publiables. Elle n'est pas de faire état de son propre savoir, mais d'aider nos amis (anonymes). Elle n'est pas de censurer, mais d'encourager.
Inversement, les rapporteurs doivent être vigilants, car ils ont une lourde responsabilité : ils doivent éviter aux publications de publier ce qui l'a déjà été. Ils doivent être vigilants sur la concision du langage. Il doivent s'assurer chaque idée est proprement justifiée, soit par une bonne publication, soit par un résultat expérimental solide. Ils doivent veiller vigilant à la rigueur de la description des matériels et des méthodes, au point que les expériences doivent pouvoir être reproduites. Ils doivent aider les auteurs à apprendre à rédiger des publications scientifiques, le cas échéant.
Aujourd'hui, capté sur Twitter des engagements qu'un scientifique a pris, à propos du travail de rapporteur. J'amende en traduisant :
1. Rapporteur, j'écrirai mes rapports de façon aidante, bienveillante, respectueuse. Même si le manuscrit contient des fautes élémentaires, je ne ferai pas de commentaires brusques, excédés ou condescendants.
2. Mon objectif sera d'aider les auteurs à améliorer leur manuscrit, et non pas à critiquer sans indiquer de piste d'amélioration.
3. Quand je considérerai les interprétations, mon objectif ne sera pas d'imposer les miennes, mais d'examiner comment celles des auteurs sont étayées.
4. Je ne chercherai pas à orienter les interprétations dans le sens que je souhaite, et je considérerai le texte soumis, rien que le texte soumis.
5. J'accepterai toujours de faire l'analyse des manuscrits que l'on me soumet si je suis un expert du sujet.
6. Je ferai mon analyse aussi rapidement que possible. Et si je n'ai pas le temps, j'indiquerai aux éditeurs un autre rapporteur.
vendredi 15 février 2019
Les rapporteurs ne doivent pas outrepasser leurs droits
Dans une revue dont je m'occupe, le rapporteur d'un manuscrit écrit que le texte est trop long. Je suis très opposé à l'idée de transmettre cette observation aux auteurs, car une telle phrase dépasse les prérogatives du rapporteur. En effet, les textes scientifiques doivent être parfaitement justifiés, et l'on souffre trop de ces articles trop court, au contraire, où la description des matériels et des méthodes est insuffisante pour que l'expérience puisse être reproduite. Je veux au contraire des textes parfaitement détaillés, au point que l'on puisse refaire l'expérience, mais aussi au point que tout soit justifié et que rien ne soit arbitraire.
De sorte que je ne vais pas transmettre cette appréciation déplacée aux auteurs et, au contraire, je vais leur dire que tout ce qui doit figurer l'article... doit figurer dans l'article.
Pour autant, rien de ce qui a déjà été publié une fois ne doit l'être une second fois : c'est là une bonne pratique de l'écriture scientifique : on ne doit pas allonger inutilement les textes avec des informations déjà publiées, et les articles scientifiques ne sont pas des textes d'encyclopédie. Quand une information a déjà été publiée, la règle est de renvoyer vers la publication ou figure l'information.
Analysons plus en détails.
C'est souvent dans les parties d'introduction que les auteurs sont le plus long et parfois le plus hors sujet. La question devrait être, pour cette partie, de poser une question, de faire l'état de l'art succinct, et d'annoncer les travaux qui sont faits et que l'on rapporte ensuite. C'est à cet endroit qu'il y a lieu de pas faire d'encyclopédie.
Puis, pour la partie de matériels et de méthodes, j'aurais tendance à dire qu'on est jamais assez précis et détaillé. Tout doit être expliqué, et tout doit être justifié, notamment le choix des méthodes que l'on n'utilise. Mais si des méthodes ont déjà été mises en oeuvre, alors on renvoie vers la publication correspondante.
Pour la partie résultat, il faut détailler, aussi, car c'est la base de l'interprétation ultérieure.
Et pour les interprétations, c'est là où le plus souvent les articles sont trop succincts, parce que les interprétations sont verbeuses et non quantitatives. Il ne s'agit pas de dire "Nos résultat sont conformes à ce qui a déjà été vu", mais il faut plutôt s'interroger scientifiquement sur la signification des résultats, et c'est là où l'on gagne se souvenir des étapes de la science, à savoir que les ajustements conduisent à la production de lois, à partir desquelles on doit élaborer des théories, descriptions testables expérimentalement
vendredi 25 janvier 2019
Rapporter un manuscrit scientifique ? Le summum de l'intelligence, c'est la bonté et la droiture
La principale mission est de s'assurer que le manuscrit est digne de figurer dans le corpus des articles scientifiques publiés, à savoir des points solides de la pensée. Cela impose que le manuscrit soit rigoureux, bien fait, bien écrit, et, surtout, que le travail scientifique soit bon.
Un bon travail scientifique ? On aura raison de se reporter à la méthode des sciences de la nature, qui passent par cinq étapes essentielles, réunies ici sur la figure :
Le phénomène est-il bien, clairement, identifié ? Les caractérisations quantitatives sont-elles bien faites ? Les "ajustements" sont-ils rigoureux ? Les interprétations sont-elles prudentes ? Les expériences sont-elles validées ?
Pour chacune de ces questions, il y a mille points à vérifier, et, comme on peut se reporter aux règles des bonnes pratiques en science, je n'en prend qu'un : la description des expériences (partie "Matériels et méthodes") est elle suffisante pour que l'on puisse refaire l'expérience ? Et chaque matériel, chaque opération sont-ils justifiés ? Là encore, on pourra s'aider des "DSR" que nous avons proposés.
Mais passons sur tout cela, pour revenir à une autre perspective : l'état d'esprit avec lequel l'évaluation du manuscrit soumis doit se faire. On n'aura pas de difficulté à admettre que le travail d'évaluation doit se faire avec un état d'esprit positif et rigoureux, mais avec pour objectif l'avancement des sciences.
J'ajoute que je suis partisan d'une évaluation complètement anonyme. C'est une position personnelle, mais fondée sur l'expérience : quand un ami soumet un manuscrit, on est trop indulgent si l'on sait que c'est un ami et que l'on a un a priori favorable (parce que, évidemment, nos amis sont de bons scientifiques) ; inversement, quand on reçoit un manuscrit de quelqu'un que l'on n'aime pas ou dont on sait qu'il fait souvent du travail médiocre, on a un a priori négatif, et l'on risque d'être trop sévère. D'autre part, je crois que l'anonymat inverse, des éditeurs vis-à-vis des auteurs, permet que l'on puisse dire les choses telles qu'elles doivent être dites.
D'autre part, dans ces évaluations, l'objectif n'est pas de "soumettre à des pairs", comme on le dit trop souvent dans une formule trop vague pour être utile, mais de soumettre à des pairs en vue d'une amélioration du travail finalement publié. Oui, j'insiste : les rapporteurs doivent aider les scientifiques à améliorer leurs manuscrits.
À une certaine époque, quand les revues scientifiques étaient submergées et qu'elle n'avaient pas la place de tout publier, les rapporteurs avaient pour consigne d'être sévères et de proposer des raisons de rejet des manuscrits ; et, quand cette consigne n'était pas données, les éditeurs eux-mêmes étaient chargés de répondre aux auteurs que le manuscrit était en dehors du champ d'intérêt de la revue. C'était terrible pour les auteurs, qui, ayant parfois soumis de bons manuscrits, se voyaient obligés d'aller de revue en revue, changeant le format (du travail inutile), pour arriver à être publié... et en recevant parfois des conseils contradictoires, des rapporteurs qui n'étaient ni toujours bons, ni toujours bienveillants. Je me souviens, personnellement, avoir eu le même manuscrit refusé deux fois, d'abord au motif qu'il était verbeux, puis au motif qu'il était trop concis !
Mais, aujourd'hui que nous avons des documents en ligne, la place n'est plus limitée que par la nécessaire concision de la publication scientifique, par la clarté, avec de surcroît la possibilité de fournir les données par ailleurs, en "matériel supplémentaire" ou sur des sites de "données ouvertes".
Reste donc la question de l'évaluation des manuscrits, pour ce qu'ils sont, et non plus en fonction de circonstances extérieures. L'expérience de la revue "Notes Académiques de l'Académie d'agriculture de France" (N3AF) m'a montré que les rapporteurs ont tout intérêt à être mesurés dans leurs propos, et à ne pas outrepasser leurs droits. On ne leur demande pas de juger, mais de rapporter, à savoir commenter ce qui est écrit en vue de l'amélioration. On ne leur demande plus d'être des bourreaux, mais, au contraire, d'aider les auteurs à améliorer leurs manuscrits jusqu'à ce que ces derniers soient de qualité scientifique, publiables.
L'arbitraire, le goût personnel, ne sont pas de mise. La question est de savoir si l'argumentation est solide, si le texte est clair, si les données sont bien produites, si les interprétations sont prudentes, si les résultats sont validés... Bref, si le travail scientifique a été bien fait.
Et j'ajoute que la relation, qui doit changer, doit encourager le dialogue scientifique anonyme, en vue, donc, de la publication de manuscrits améliorés par ce dialogue.
Une nouvelle ère s'ouvre !
samedi 10 novembre 2018
Que faire d'un mauvais article scientifique ?
Il faut dire que la communauté scientifique est consciente du problème, et la question est explicitement posée dans des réunions scientifiques ou pédagogiques. Oui, le système d'évaluation par les pairs commence à être débordé, notamment depuis que des pays comme la Chine ont ouvert leurs frontières, submergeant les revues, les comités de lecture, les rapporteurs potentiels ; et c'est sans doute la brèche dans laquelle se sont engouffrées les revues "open", qui publient contre finances des textes que les auteurs ne parviennent pas à publier dans de bonnes revues. En corollaire, ce fléau pèse sur aussi les scientifiques qui font leurs recherches bibliographiques et doivent être particulièrement vigilant, quant à l'origine des données qu'ils conservent et utilisent.
Comment reconnaître un mauvais article ? Il y a des signes qui ne trompent pas. Par exemple :
- dès le début de l'article, des affirmations sans référence,
- ou encore des informations vagues (depuis longtemps, un certain nombre...),
- des adjectifs ou des adverbes au lieu d'utiles quantifications
- "essentiel" ou "important" : fuyons ces arguments d'autorité...
- des informations accessoires, qui ne seront pas utilisées dans la discussion scientifique, ou qui sont de la simple culture générale : ce n'est pas le lieu !
- des nombres avec des chiffres qui ne sont manifestement pas significatifs : cela, c'est plus grave, parce que si nos auteurs font des comparaisons, elles seront vraisemblablement nulles et non avenues, alors même qu'elles sembleront "établies". Et le plus grave, c 'est que l'article, s'il a été publié, a donc été mal édité, par des éditeurs et des rapporteurs également médiocres, pour ne pas dire plus
- puis, dans les "Matériels et Méthodes", il y a tout une série de fautes possibles, qui vont de l'imprécision dans les descriptions
- à la non justification des méthodes mises en oeuvre
- ou de méthodes qui n'ont pas été validées
- et, dans les résultats, la confusion entre les résultats et leur interprétation
- la publication de données sans évaluation d'une incertitude
- et des conclusions qui vont au delà de ce qui a été établi
Je m'arrête ici, parce que la liste est longue, et mériterait une collaboration de la communauté, afin d'aider les jeunes scientifiques à éviter ces erreurs.
Passons donc à la seconde question, qui est de savoir quoi faire des informations publiées dans un article qui a été reconnu mauvais ?
Par exemple, si les chiffres significatifs ne sont pas bien gérés, alors les comparaisons qui auront été faites d'après ces chiffres n'ont pas lieu d'être. Dans un tel cas, la marche à suivre est donc simple : on peut rien retenir des interprétations. Mais on pourrait aussi imaginer de refaire les calculs, à partir des valeurs ramenées à leur affichage correct, et, d'ailleurs, rendre service à la communauté en publiant un erratum... qui nous vaudra de nous brouiller avec l'équipe qui a publié les résultats initiaux.
Cela suppose évidemment que les données soient justes, à défaut d'être correctement affichées ! Et là se pose la question des "Matériels et méthodes" : je milite pour que cette partie soit toujours avant les résultats, car pourquoi perdre son temps à considérer des résultats qui pourraient être nuls, en raison d'une mauvaise méthode ?
Finalement, je ne vois pas de règle générale à appliquer, pour répondre à cette seconde question, et je compte sur mes amis pour m'aider à en élaborer une.
mercredi 12 juillet 2017
Qu'est-ce qu'un rapporteur ?
Il semble que j'ai été un peu vite, dans des billets précédents, car des correspondants m'interrogent : qu'est-ce qu'un rapporteur ?
La question est d'autant plus légitime que le Trésor de la langue française informatisé n'est pas bien clair. Expliquons donc, et notamment sur des exemples, que les commissions, les jurys sont composés de membres qui sont chargés de statuer, d'évaluer, de juger, de décider... Bien sûr, il y a des cas où chaque membre se fait individuellement une idée du dossier, après avoir fait lui-même la totalité de l'exploration, mais il y a aussi des cas où des membres sont mandatés pour faire un travail préparatoire, qui est alors exposé au groupe. Ces personnes sont des rapporteurs.
En science, on voit des rapporteurs d'abord pour les publications scientifiques: l'éditeur en charge d'un manuscrit soumis par publication, afin de rester en position d'arbitrage impartial, envoie le manuscrit à deux collègues, qui sont chargés d'en faire une analyse, suivie d'un rapport qui permettra de prendre une décision. Les deux collègues sont des "rapporteurs", et ils ont pour mission de vérifier d'abord que le travail est nouveau, et ensuite qu'il est de bonne qualité. Je passe sur les détails de ce travail, mais je veux quand même signaler que les bons rapporteurs font un travail considérable, de lecture des références, de recherche bibliographique de novo, d'évaluations de chaque mot, de chaque phrase, de chaque calcul... Car l'enjeu est considérable : la publication équivaut à une sorte de "brevet de qualité" scientifique.
Un autre cas se rencontre lors des thèses : deux rapporteurs sont chargés de lire la thèse dans le plus grand des détails, afin de garantir la qualité académique.
Mais il y a aussi les évaluations des scientifiques, avec des dossiers (personnels, d'équipe, etc.) qui sont envoyés à des rapporteurs. Ou encore des discussions, auquel cas les rapporteurs comme comme les examinateurs des examens.
Je propose évidemment que nos amis qui endossent ces habits de rapporteurs soient bienveillants, qu'ils n'abusent pas de la position "d'autorité" qu'ils ont, se souvenant -sans céder sur la qualité des travaux, sans compromission- qu'ils seront également évalués à leur tour. Je crois que les rapporteurs doivent être donc bienveillants, et qu'ils se limitent à interroger, afin de s'assurer, a minima, que les collègues audités n'ont pas fait les choses au hasard, qu'ils ont des réponses rationnelles -et donc justes- à toutes les questions qu'on peut leur poser.
mardi 11 juillet 2017
On peut être un rapporteur bienveillant... avec du recul
Mais, au fait, quel rapport entre naïveté et rapporteur ? Il se trouve que je ne cesse de proposer que les évaluations soient toujours faites par des individus a priori bienveillants, et qu'elles se limitent à s'assurer que les individus ou organisations évalués puissent répondre quand au choix des caractéristiques, comportements, méthodes, structures en place. Par exemple, si l'on fait de la recherche scientifique, il semble essentiel que l'on puisse expliciter le projet scientifique, les questions scientifiques posées. Puis, si l'on met en oeuvre une méthode d'analyse particulière, on doit pouvoir expliquer pourquoi on utilise celle-là et pas une autre. Si l'on publie des articles dans un journal particulier, on doit pouvoir dire pourquoi on a choisi ce journal. Et ainsi de suite.
On le voit, les rapporteurs sont là pour aider à faire mieux, en dépistant ce que l'on fait sans y penser, irrationnellement, c'est-à-dire peut-être mal. Tout va bien quand nos rapporteurs sont honnêtes, amicaux, justes, droits. Et je ne vais certainement pas revendiquer autre chose... mais de tels rapporteurs ne sont-ils pas un peu naïfs ? Ne devraient-ils pas être bienveillants, certes, mais avec plus de recul ?
On a compris au ton de ce billet que je demande plus, aux rapporteurs, que de la droiture et de la bienveillance. Je demande aussi de l'intelligence... et c'est évidemment le plus difficile.