Comment faire une évaluation d'un manuscrit scientifique ?

De plus en plus de revues scientifiques, cherchant des rapporteurs pour évaluer les manuscrits qui leur sont soumis, sollicitent de jeunes scientifiques, lesquels sont parfois démunis face à la tâche qui leur est proposée,  et il n'est pas inutile de réfléchir à des manières de le faire.

Je propose de ne pas foncer tête baissée dans l'utilisation des questionnaires qu'envoient les revues et de s'interroger plutôt sur l'objectif réel de la chose. 

Il s'agit donc d'être évaluateur d'un manuscrit c'est-à-dire bienveillant envers les auteurs, mais sans concession à propos de la qualité du texte qui sera publié, car il en va de tout l'édifice scientifiques : être rapporteur de manuscrit dans des revues scientifiques, c'est en réalité une responsabilité extrême qui dépasse le seul acte de juger des manuscrits. 

Il y a lieu d'être conscient que l'on participe alors à un grand mouvement intellectuel très enthousiasmant et que l'objectif de la science est bien de lever un coin du grand voile, comme  le disait Albert Einstein. 

C'est de cela dont il s'agit quand on lit le manuscrit qui est proposé : les auteurs ont-ils levé un coin du grand voile ?  

Et cela a comme conséquence que le travail doit être parfaitement rigoureux, que l'on ne doit pas avoir cédé au diable qui est tapis un peu partout, derrière nos expériences, derrière nos calculs, derrière nos interprétations... 

Et, toujours d'un point de général, il y a lieu de s'interroger : une question claire a-t-elle été posée ?  une réponse claire a-t-elle été donnée ? 

 

Pour arriver à répondre à ces deux questions, il y a lieu d'abord de lire le texte. Lire le texte de façon critique, le crayon à la main, en s'interrogeant sur chaque mot, sur chaque phrase. 

Par exemple, il y a lieu de se demander si chaque phrase est bien référencée, si chaque idée est bien établie, et établie par une référence  au premier auteur qui a dit la chose, ce qui est la seule manière éthique de faire. 

Si l'on voit des références à des articles qui ne sont pas les premiers à avoir établi la chose, alors il y a lieu de  le signaler dans le rapport. 

Il y a l'emploi des mots, qui doit être parfait. Il y a le fait que les adjectifs et les adverbes doivent être remplacés par la réponse à la question "combien ?", et ainsi de suite. 

Donc on lit crayon à la main ligne à ligne et mot à mot, en prenant des notes. Et plus on prend de notes mieux c'est, car ce seront des indications que l'on pourra transmettre aux auteurs afin qu'ils puissent améliorer leur texte. 

Un bon manuscrit, a contrario, est un manuscrit sur lequel il n'y a pas trop de tels commentaires,  et pour lequel on voit que les auteurs connaissent les règles de la science et les appliquent :  de bonnes références, de la quantification, pas de lieux communs  idiots, de la précision dans la terminologie et dans l'usage des concepts, et cetera. 

On avance donc ainsi,  pas à pas,  dans la première lecture. Puis, ayant compris ce dont il s'agissait, il est bon de mettre un chapeau avant tout cela,  c'est-à-dire quelque paragraphes pour dire à l'éditeur ce que contient le texte. 

Ayant fait tout cela on peut revenir aux deux  questions fondatrices évoquées précédemment, et s'interroger de façon plus générale sur la manière dont le sujet a été traité, la méthodologie... 

Évidemment, on retrouve des tas de choses que l'on aura vues auparavant notamment à propos de la répétition des expériences, de l'usage des statistiques pour évaluer des comparaisons quantitative, et cetera. 

Tout cela étant fait, on peut alors reprendre la lecture sans s'encombrer des détails et avoir un second niveau de lecture, plus éclairé en quelque sorte, et peut-être ensuite un troisième rapport détaillé, sans concession, bienveillant certes, mais qui aura pour objectif que l'article qui sera peut-être publié finalement sera de bonne qualité. 

Au fond, on aura raison de se rapporter à mon cours "comment évaluer la qualité d'un article" pour faire le rapport. 
Car en réalité évaluer pour soi ou évaluer pour les autres c'est bien la même chose

Rapporter un manuscrit scientifique ? Le summum de l'intelligence, c'est la bonté et la droiture

Rapporter un article ? Les scientifiques qui ont déjà publié des articles scientifiques sont ensuite souvent sollicités par des revues scientifiques pour être rapporteurs de manuscrits  : il s'agit... de quoi, au juste ?

La principale mission est de s'assurer que le manuscrit est digne de figurer dans le corpus des articles scientifiques publiés, à savoir des points solides de la pensée. Cela impose que le manuscrit soit rigoureux, bien fait, bien écrit, et, surtout, que le travail scientifique soit bon.
Un bon travail scientifique ? On aura raison de se reporter à la méthode des sciences de la nature, qui passent par cinq étapes essentielles, réunies ici sur la figure :

Le phénomène est-il bien, clairement, identifié ? Les caractérisations quantitatives sont-elles bien faites ? Les "ajustements" sont-ils rigoureux ? Les interprétations sont-elles prudentes ? Les expériences sont-elles validées ?
Pour chacune de ces questions, il y a mille points à vérifier, et, comme on peut se reporter aux règles des bonnes pratiques en science, je n'en prend qu'un  : la description des expériences (partie "Matériels et méthodes") est elle suffisante pour que l'on puisse refaire l'expérience ? Et chaque matériel, chaque opération sont-ils justifiés ? Là encore, on pourra s'aider des "DSR" que nous avons proposés.

Mais passons sur tout cela, pour revenir à une autre perspective : l'état d'esprit avec lequel l'évaluation du manuscrit soumis doit se faire. On n'aura pas de difficulté à admettre que le travail d'évaluation doit se faire avec un état d'esprit positif et rigoureux, mais avec pour objectif l'avancement des sciences.

J'ajoute que  je suis partisan d'une évaluation complètement anonyme. C'est une position personnelle, mais fondée sur l'expérience : quand un ami soumet un manuscrit,  on est trop indulgent si l'on sait que c'est un ami et que l'on a un a priori favorable (parce que, évidemment, nos amis sont de bons scientifiques) ; inversement, quand on reçoit un manuscrit de quelqu'un que l'on n'aime pas ou dont on sait qu'il fait souvent du travail médiocre, on a un a priori négatif, et l'on risque d'être trop sévère. D'autre part, je crois que l'anonymat inverse, des éditeurs vis-à-vis des auteurs, permet que l'on puisse dire les choses telles qu'elles doivent être dites.

D'autre part, dans ces évaluations, l'objectif n'est pas de "soumettre à des pairs", comme on le dit trop souvent dans une formule trop vague pour être utile, mais de soumettre à des pairs en vue d'une amélioration du travail finalement publié. Oui, j'insiste : les rapporteurs doivent aider les scientifiques à améliorer leurs manuscrits.
À une certaine époque, quand les revues scientifiques étaient submergées et qu'elle n'avaient pas la place de tout publier, les rapporteurs avaient pour consigne d'être sévères et de proposer des raisons de rejet des manuscrits ; et, quand cette consigne n'était pas données, les éditeurs eux-mêmes étaient chargés de répondre aux auteurs que le manuscrit était en dehors du champ d'intérêt de la revue. C'était terrible pour les auteurs, qui, ayant parfois soumis de bons manuscrits, se voyaient obligés d'aller de revue en revue, changeant le format (du travail inutile), pour arriver à être publié... et en recevant parfois des conseils contradictoires, des rapporteurs qui n'étaient ni toujours bons, ni toujours bienveillants. Je me souviens, personnellement, avoir eu le même manuscrit refusé deux fois, d'abord au motif qu'il était verbeux, puis au motif qu'il était trop concis !

Mais, aujourd'hui que nous avons des documents en ligne, la place n'est plus limitée que par la nécessaire concision de la publication scientifique, par la clarté, avec de surcroît la possibilité de fournir les données par ailleurs, en "matériel supplémentaire" ou sur des sites de "données ouvertes".

Reste donc la question de l'évaluation des manuscrits, pour ce qu'ils sont, et non plus en fonction de circonstances extérieures. L'expérience de la revue "Notes Académiques de l'Académie d'agriculture de France" (N3AF) m'a montré que les rapporteurs ont tout intérêt à être mesurés dans leurs propos, et à ne pas outrepasser leurs droits. On ne leur demande pas de juger, mais de rapporter, à savoir commenter ce qui est écrit en vue de l'amélioration. On ne leur demande plus d'être des bourreaux, mais, au contraire, d'aider les auteurs à améliorer leurs manuscrits jusqu'à ce que ces derniers soient de qualité scientifique, publiables.
L'arbitraire, le goût personnel, ne sont pas de mise. La question est de savoir si l'argumentation est solide, si le texte est clair, si les données sont bien produites, si les interprétations sont prudentes, si les résultats sont validés... Bref, si le travail scientifique a été bien fait.
Et j'ajoute que la relation, qui doit changer, doit encourager le dialogue scientifique anonyme, en vue, donc, de la publication de manuscrits améliorés par ce dialogue.

Une nouvelle ère s'ouvre !