La principale mission est de s'assurer que le manuscrit est digne de figurer dans le corpus des articles scientifiques publiés, à savoir des points solides de la pensée. Cela impose que le manuscrit soit rigoureux, bien fait, bien écrit, et, surtout, que le travail scientifique soit bon.
Un bon travail scientifique ? On aura raison de se reporter à la méthode des sciences de la nature, qui passent par cinq étapes essentielles, réunies ici sur la figure :
Le phénomène est-il bien, clairement, identifié ? Les caractérisations quantitatives sont-elles bien faites ? Les "ajustements" sont-ils rigoureux ? Les interprétations sont-elles prudentes ? Les expériences sont-elles validées ?
Pour chacune de ces questions, il y a mille points à vérifier, et, comme on peut se reporter aux règles des bonnes pratiques en science, je n'en prend qu'un : la description des expériences (partie "Matériels et méthodes") est elle suffisante pour que l'on puisse refaire l'expérience ? Et chaque matériel, chaque opération sont-ils justifiés ? Là encore, on pourra s'aider des "DSR" que nous avons proposés.
Mais passons sur tout cela, pour revenir à une autre perspective : l'état d'esprit avec lequel l'évaluation du manuscrit soumis doit se faire. On n'aura pas de difficulté à admettre que le travail d'évaluation doit se faire avec un état d'esprit positif et rigoureux, mais avec pour objectif l'avancement des sciences.
J'ajoute que je suis partisan d'une évaluation complètement anonyme. C'est une position personnelle, mais fondée sur l'expérience : quand un ami soumet un manuscrit, on est trop indulgent si l'on sait que c'est un ami et que l'on a un a priori favorable (parce que, évidemment, nos amis sont de bons scientifiques) ; inversement, quand on reçoit un manuscrit de quelqu'un que l'on n'aime pas ou dont on sait qu'il fait souvent du travail médiocre, on a un a priori négatif, et l'on risque d'être trop sévère. D'autre part, je crois que l'anonymat inverse, des éditeurs vis-à-vis des auteurs, permet que l'on puisse dire les choses telles qu'elles doivent être dites.
D'autre part, dans ces évaluations, l'objectif n'est pas de "soumettre à des pairs", comme on le dit trop souvent dans une formule trop vague pour être utile, mais de soumettre à des pairs en vue d'une amélioration du travail finalement publié. Oui, j'insiste : les rapporteurs doivent aider les scientifiques à améliorer leurs manuscrits.
À une certaine époque, quand les revues scientifiques étaient submergées et qu'elle n'avaient pas la place de tout publier, les rapporteurs avaient pour consigne d'être sévères et de proposer des raisons de rejet des manuscrits ; et, quand cette consigne n'était pas données, les éditeurs eux-mêmes étaient chargés de répondre aux auteurs que le manuscrit était en dehors du champ d'intérêt de la revue. C'était terrible pour les auteurs, qui, ayant parfois soumis de bons manuscrits, se voyaient obligés d'aller de revue en revue, changeant le format (du travail inutile), pour arriver à être publié... et en recevant parfois des conseils contradictoires, des rapporteurs qui n'étaient ni toujours bons, ni toujours bienveillants. Je me souviens, personnellement, avoir eu le même manuscrit refusé deux fois, d'abord au motif qu'il était verbeux, puis au motif qu'il était trop concis !
Mais, aujourd'hui que nous avons des documents en ligne, la place n'est plus limitée que par la nécessaire concision de la publication scientifique, par la clarté, avec de surcroît la possibilité de fournir les données par ailleurs, en "matériel supplémentaire" ou sur des sites de "données ouvertes".
Reste donc la question de l'évaluation des manuscrits, pour ce qu'ils sont, et non plus en fonction de circonstances extérieures. L'expérience de la revue "Notes Académiques de l'Académie d'agriculture de France" (N3AF) m'a montré que les rapporteurs ont tout intérêt à être mesurés dans leurs propos, et à ne pas outrepasser leurs droits. On ne leur demande pas de juger, mais de rapporter, à savoir commenter ce qui est écrit en vue de l'amélioration. On ne leur demande plus d'être des bourreaux, mais, au contraire, d'aider les auteurs à améliorer leurs manuscrits jusqu'à ce que ces derniers soient de qualité scientifique, publiables.
L'arbitraire, le goût personnel, ne sont pas de mise. La question est de savoir si l'argumentation est solide, si le texte est clair, si les données sont bien produites, si les interprétations sont prudentes, si les résultats sont validés... Bref, si le travail scientifique a été bien fait.
Et j'ajoute que la relation, qui doit changer, doit encourager le dialogue scientifique anonyme, en vue, donc, de la publication de manuscrits améliorés par ce dialogue.
Une nouvelle ère s'ouvre !