On a bien raison de dire que les sources déterminent souvent la qualité des textes publiés

Il y a quelques décennies, quand wikipédia est arrivé, de nombreux professeurs d'école, de collège et de lycée se sont lamentés que les élèves recopient des âneries à partir des pages alors rudimentaires, parfois non référencées, du site.

Aujourd'hui, la même critique retentit à propos de l'utilisation de l'intelligence artificielle. Et, parallèlement, l'Internet fourmille de pages ou  des textes farfelus, idiots, mensongers, erronés... que sais-je?

En tout cas, la question est toujours de faire le tri, d'être capable d'évaluer l'information que nous recevons en vue de la consulter.

Cela a toujours eu lieu et, notamment en matière d'édition : naguère il y avait - et il y a encore-  des éditeurs ésotériques dont les publications étaient quasi certainement foireuses; et, à côté,  il y avait -et il y a- des  éditeurs soigneux, ayant une bonne réputation, qui s'évertuaient à publier des textes de qualité.

La réputation d'un éditeur, ou d'une source en général, est donc un  début de garantie pour les lecteurs. Pas une garantie complète, bien sûr, car je me souviens d'un grand dictionnaire de gastronomie qui m'avait demandé de les aider à corriger leur ouvrage, mais qui, devant l'ampleur du travail nécessaire, a abandonné le projet au prétexte qu'il leur coûterait trop cher, continuant à republier les mêmes erreurs dans les rééditions du texte.

Au fond, cet éditeur médiocre a bien fait, parce que, de toute façon les définitions concernant les métiers du goût sont données en ligne, gratuitement, avec des références qui n'étaient absolument pas présentes dans le dictionnaire en question.

Oui, la qualité de l'éditeur, de la source, est un début de garantie et non pas une garantie complète. Oui, les travaux collaboratifs permettent de corriger progressivement des erreurs. Oui, utilisation intelligente de l'intelligence artificielle permet d'obtenir des informations qu'on n'aurait pas eu autrement, ou alors qu'on aurait eues plus lentement.
Mais finalement, il faudra toujours consulter des personnes qui ont fait le véritable travail,  qui peuvent justifier de la qualité du travail qu'elles-mêmes on produit.

Le nom de l'auteur, sa réputation, le nom de l'éditeur, sa réputation sont un petit début... et,  quand on consulte des sources, il y a lieu de faire un travail approfondi. 

A mes collègues qui font des rapports pour des revues scientifiques

Dans les deux revues scientifiques que je contribue à animer, nous mettons en oeuvre le triple anonymat, et je crois que c'est utile : les manuscrits sont confiés, sans que les auteurs ne soient connus, à des "éditeurs", et ces derniers sollicitent alors des "rapporteurs", qui ne peuvent donc pas non plus savoir qui sont les auteurs. Et l'identité des éditeur et rapporteurs n'est pas communiquée aux auteurs.
Cela devrait suffire à assurer des évaluations justes, mais l'expérience prouve que l'éducation (le mot n'est pas trop fort) de nombreux rapporteurs reste à faire !
 

En effet, régulièrement, moi qui m'assure de l'anonymat du processus, je vois des termes désobligeants dans les rapports, des jugements de valeur déplacés, et, évidemment, je contacte éditeurs ou rapporteurs pour leur proposer de changer les phrases déplacées... car ils ne perçoivent pas bien les enjeux, de ce point de vue.

Un exemple ? A propos d'un manuscrit soumis par un des plus grands épidémiologistes français, je reçois un rapport où il est conseillé aux auteurs de se former en épidémiologie ! Dans un autre rapport, le rapporteur écrit que les auteurs "prétendent" quelque chose, alors qu'ils auraient dû se limiter à dire que les auteurs ont écrit quelque chose.
A propos d'un manuscrit qui comporte quelques fautes de grammaire (4), l'éditeur signale "de nombreuses fautes".
A propos de références, un rapporteur signale qu'elles ne sont pas à jour... parce qu'il ignore manifestement que l'éthique veut que l'on cite le premier auteur à avoir publié une idée ou un résultat.
Et j'en passe, et des pires !

Chers collègues et amis, oubliez le temps où des revues scientifiques indélicates demandaient aux rapporteurs de rejeter sans pitié les manuscrits, faute de place dans les journaux. Apprenez, si vous l'ignorez, que les rapporteurs doivent être bienveillants, qu'ils doivent aider les auteurs à améliorer leurs manuscrits, que vous avez ainsi une mission pédagogique, et, surtout, que votre travail, essentiel pour la qualité de la production scientifique, doit conduire à des articles de bonne qualité (et ce n'est pas en blessant les auteurs que vous y arriverez).

N'oubliez pas non plus que vous rougiriez de jugements de valeur déplacés que vous feriez si votre anonymat était levé.
N'oubliez pas que la rédaction scientifique est difficile, et que chacun d'entre nous a besoin de la gentillesse et de la compétence des autres pour s'améliorer, pour faire mieux, à défaut de faire bien du premier coup.
N'oubliez pas que même les plus grands peuvent faire des erreurs, tels Albert Einstein, qui avait balayé désobligeamment un rapport d'un "petit jeune"... qui avait pourtant mis le doigt sur une de ses erreurs.

Bref, n'oubliez pas que le summum de l'intelligence, c'est la bonté et la droiture. 

Vous avez le droit de relever des erreurs factuelles dans les manuscrits que vous rapportez, mais vous n'avez pas le droit d'être blessant : n'oubliez pas que nous sommes ce que nous faisons, que quelqu'un qui blesse autrui est un salaud.
Et permettez-moi donc de vous recommander la plus grande bienveillance.
Les temps des revues refusant les manuscrits, gérées par des sociétés privées indélicates, voire malhonnêtes, est révolu, et vient enfin le temps de publications plus éclairées. Votre mission a changé, les temps ont changé, et vous devez changer aussi, si vos comportements le nécessitent. 

Bref, votre mission étant une composante essentielle des sciences, soyez remercié de votre implication, mais faites bien jusqu'au bout.

Soyons clairs : on parle parfois d'éthique, mais il faut surtout reconnaître que l'inverse, c'est la malhonnêteté

Il y a bien longtemps, cherchant à bien faire, je me faisais une règle de citer des articles récents, montrant que j'étais au fait des publications scientifiques. C'était une erreur : je n'avais pas compris que je privais ainsi de leur paternité, de leur "propriété intellectuelle", les auteurs des découvertes ou des idées auxquelles je me référais.
J'ignorais ainsi la règle éthique notamment -et justement- édictée par l'American Chemical Society, ce qui, avec les années, est devenu d'autant plus grave que l'évaluation des chercheurs s'est faite sur les citations.

Comment bien citer, alors ? C'est très simple : s'il y a une idée ou un résultat expérimental, on cite l'auteur de l'idée ou de la découverte. Et s'il y a eu des amendements ultérieurs de l'idée ou de la découverte, on cite les auteurs initiaux et les auteurs des amendements. Et c'est ainsi que l'on est conduit à citer une chaîne continue de progrès. 

Et c'est ainsi, par exemple, que les émulsions que certains nomment fautivement "émulsions de Pickering" doivent être nommées "émulsions de Ramsden", ppuisque Ramsden a publié en 1903, et Pickering seulement en 1904. Et c'est ainsi que ce sont ceux qui découvrent un élément chimique ou un nouvel astre qui le nomment. Et c'est ainsi que l'on ne doit pas parler de réactions de Maillard, puisqu'il fut précédé de presque un demi siècle par le pharmacien lillois Lucien Dusart. Et ainsi de suite.

Tout cela étant dit, je vois des déviances qu'il faut absolument corriger.

1. Je vois, dans des articles scientifiques, des références à des articles qui n'ont pas été lus par ceux qui les citent. D'ailleurs, ces scientifiques qu'il faut qualifier, selon les cas, de hâtifs, médiocres ou malhonnêtes, sont pris en faute quand on s'aperçoit ultérieurement que les références qu'ils citent ne sont pas justes... ou quand on découvre que les articles cités n'existent pas, comme dans le cas de "Lin et Malting", à propos des réactions fautivement dites "de  Maillard". 

2. Je vois des citations à d'autres que ceux qui ont fait les découvertes, ce qui n'est pas éthique, puisque, je le répète,  cela prive les vrais auteurs de la paternité de leur découverte.

3. Je vois des revues honteuses, qui demandent que les  références aient moins de 5 ans ! Là, c'est pire, en quelque sorte, parce que c'est une incitation à la malhonnêteté.

Pour moi, je vais pilonner sur mon blog, comme https://hervethis.blogspot.com/2026/06/quand-nous-citons-soyons-surs-de-nous.html.  Et je vais intensifier cela, aussi positivement que possible.

 

Mais tout cela survient alors que l'IA est de plus en plus utilisée, et nos amis feraient bien de se méfier : plusieurs fois de suite (et avec une proportion très élevée), récemment, l'IA m'a donné des réponses fausses, et, quand je le signale après vérification, l'IA me dit en substance : "Vous avez raison [elle cite alors ce que je viens de lui dire], et elle embellit... avec d'autres informations dont je doute encore. 

Je sais que des scientifiques malhonnêtes auront recours à des IA pour produire des textes de mauvaise qualité, mais la question est moins de dépister ces articles mauvais que de bien expliquer les règles de l'honnêteté, et, surtout, de supprimer les mécanismes qui incitent des malhonnêtes à publier de mauvais articles, avec notamment de mauvaises citations. 

Dans certaines institutions, on juge les chercheurs au nombre d'articles publiés : c'est d'autant plus mauvais que prolifèrent des journaux "gris" ou "noirs, où les auteurs payent pour être publiés, ce qui est presque une garantie de mauvaise qualité. 

Il faut certainement favoriser la publication de listes de telles revues, pour que soit patent que ceux qui y publient ne sont guère honnêtes. 

 Et le mot "honnête" me fait conclure que, au fond, l'évaluation des chercheurs devrait plutôt être un examen de moralité, sans doute. 

Terminons positivement, en rappelant l'histoire de mon "chateau de la science"  : https://hervethis.blogspot.com/2021/12/le-chateau-des-sciences-des-sciences-de.html

Au fond, on n'évitera que difficilement les marchands du temple, mais je propose de ne nous attabler qu'avec ceux qui, véritablement, ont pour objectif naïf et merveilleux de lever un coin du grand voile, en pleine honnêteté.  Nous ne sommes pas Dieu, mais cherchons quand même  à reconnaître les nôtres.

Jury de concours

 Comment bien mener un entretien de concours ?

L'évaluation des étudiants est simple quand elle est technique : si l'on interroge sur la loi de l'abaissement cryométrique, alors il faudra que l'étudiant sache la donner, ou bien qu'il sache l'établir, en écrivant  l'égalité des potentiels chimiques, puis en explicitant ces derniers, et en avançant le calcul jusqu'à son terme,  qui exprime l'abaissement cryométrique en fonction de la
concentration en solutés et de la masse molaire de ce dernier, par exemple.
Ou encore, si l'on interroge sur le carotène bêta, alors l'étudiant devra dessiner la molécules et commenter, par exemple, la conjugaison des électrons pi de la chaîne principale. C'est clair, et (assez) simple à juger.

En revanche, quand le jury dispose par avance d'un dossier de candidature, avec les notes au cours des études des années précédant le concours, le niveau d'anglais, le parcours, quand on interroge les candidats sur leurs projets d'étude et  leurs projets professionnels, alors tout devient beaucoup plus difficile, parce que le moindre des candidats saura justifier a priori un parcours et une adéquation à la formation à laquelle il postule. 

Et la question est surtout de savoir si ce candidat ou cette candidate aura des chances de réussir dans cette formation à laquelle il postule, car il est important de ne pas mettre nos jeunes amis en échec et, d'autre part, il faut conserver une certaine cohérence des groupes d'étudiants, sans quoi on serait amené à
pénaliser les meilleurs pour aider les plus faibles et finalement détourner le système d'enseignement de sa mission, ne plus le mettre en adéquation avec les objectifs qui lui ont été assignés.

Pour une école qui forme des ingénieurs, par exemple, il y a lieu de bien s'assurer que les étudiants sauront effectuer les travaux théoriques qu'on leur proposera, qu'ils auront les bases mathématiques pour apprendre les notions qui  seront transmises, et, plus généralement, que les candidates sont  capables de mener des travaux technologiques, et non pas seulement techniques.
Je ne dis pas ici que le travail technologique soit "supérieur" au travail  technique, mais j'observe qu'il est de nature différente, qu'il nécessite un goût différent, qu'il correspond à une activité différente, sans qu'il soit question de "diriger" ou non des équipes.

En tout cas, pour revenir au sujet de ce billet, la première des qualités d'un membre du jury est la bienveillance  :  notamment il faut mettre les candidats  à l'aise, pour qu'ils soient capables d'exprimer ce qu'ils seraient capables d'exprimer dans d'autres circonstances.
Il faut aussi les interroger pour essayer de faire apparaître des qualités qui permettront, à défaut de juger d'une adéquation du niveau au jour de l'évaluation, pour estimer les possibilités qu'ils auront d'évoluer vers l'objectif commun que nous visons.

La question de la "deuxième chance" est essentielle car je connais des étudiants qui, après un très mauvais parcours scolaire, ont eu des réussites extraordinairement brillantes, après qu'ils avaient compris l'intérêt des matières qu'ils avaient choisies, dans un cursus qui leur plaisait.

Une question, toutefois, est de savoir si l'on peut vraiment rattraper des années perdues, et dans quel laps le temps.
Par exemple, dans le jury de ce jour, un étudiant imaginait de rattraper des faiblesses en mathématiques avec seulement une semaine ne rattrapage en début en début de première année  : ce n'est pas vrai que cette semaine suffirait,  d'autant que les mathématiques n'étaient pas la faiblesse unique de l'étudiant,  et qu'il y avait manifestement lieu de renforcer d'autres matières scientifiques : physique, chimie biologie.

Je passe évidemment sur le cas de ces étudiants qui ont une prétention inouïe, de très mauvais résultats scolaires ou universitaires,  et qui nous ont déclaré que jusqu'à présent ils n'ont pas senti le besoin de mettre en œuvre les capacités merveilleuses dont il disposaient ;  à ceux-là, j'ai toujours envie d'opposer le "nous sommes ce que nous faisons".
D'ailleurs, je déteste le mot "capacité" et je prétends qu'elles n'existent que quand elles sont mises en œuvre.

Lors des entretiens, il y a quelques étudiants remarquables pour lesquels nous n'avons aucun doute mais il y a aussi ceux que, très  rapidement, nous voyons incapables de suivre le cursus auquel ils prétendent.
Pour cela, un bon jury doit penser à l'avenir, et orienter l'entretien  en vue de faire comprendre aux candidats (qui ne seront pas retenus) comment ils pourraient évoluer... s'ils sont capables d'entendre les remarques que nous faisons.
D'expérience, j'observe que les notes que nous avons attribuées, rationnellement, impartialement, avec bienveillance mais en suivant la grille d'évaluation appliquée à tous, conduit à des totaux très faibles,  et j'espère que nos jeunes amis qui sont ainsi notés sauront éviter la mauvaise foi qui justifierait leur échec par toutes les mauvaises excuses du monde. J'espère, au contraire, que les évaluations (analytiques) que nous avons faites les  conduiront à un changement radical de comportement, en vue de plus de succès dans le futur.

Je le dis d'ailleurs en m'interrogeant sur moi-même, en me souvenant que, lors des concours d'entrée aux écoles d'ingénieurs, et, plus généralement, pendant mes études, j'avais en général soit 0 soit 20, et dans une même matière et indépendamment du travail que j'avais fait.
Il m'a fallu des années pour comprendre que ma stratégie de résolution des problèmes était insuffisant, non pas seulement par manque de travail,  mais surtout  par insuffisance stratégique dans ma manière de faire les calculs.  Et c'est un jour, calculant pour m'amuser la taille  des gouttes qui se détachaient de mon plafond de douche, que j'ai compris que ma manière intuitive de mener les calculs était mauvaise, parce que pas explicite. Et c'est seulement alors que j'ai pu mettre au point une démarche de résolution de problèmes que j'applique maintenant, et que j'ai exposée dans un de mes livres universitaires.
Bref, ce n'est pas en écoutant des professeurs que j'ai mieux fait, mais en réfléchissant sur ma manière de faire, en me mettant face à mes insuffisances bien reconnues, sans mauvaise foi.

Participer au jury d'un concours, j'y reviens, ce n'est donc pas seulement évaluer des compétences et des connaissances techniques mais bien plus  :  se comporter avec humanité, avec beaucoup d'espoir de pouvoir aider celles et ceux que nous rencontrons.
J'insiste : un évaluateur c'est quelqu'un de bienveillant, et j'espère que les candidats que nous avons rencontrés sauront le comprendre.

Pas de jugement de valeur : soyons factuels

 
Dans une des revues dont je m'occupe, je reçois d'un collègue, qui avait accepté d'être l'éditeur d'un manuscrit, le retour des rapporteurs, que je dois transmettre aux auteurs.

Je prends bien soin, chaque fois que je fais une telle transmission, de bien vérifier que les commentaires sont anonymes, tout d'abord, mais aussi factuels et, en l'occurrence, bien m'en prend, car un des deux rapporteurs écrit "ce manuscrit est médiocre".

Il s'agit là d'un jugement de valeur, intolérable, qui n'a pas sa place dans une évaluation d'un manuscrit : c'est à la fois inutile et blessant, et c'est la marque d'un petit esprit... incapable de faire une telle évaluation.

Surtout, voir ce commentaire dans une évaluation mon montre que mon message aux rapporteurs n'est pas encore passé  :  on ne leur demande pas si les manuscrits sont bons ou mauvais : on leur demande factuellement d'indiquer ce qui doit être amélioré dans le manuscrit qui est soumis.  Et aux éditeurs : ils doivent veiller à ne pas transmettre de tels jugements.

En corollaire de cette observation, je comprends qu'il y a lieu de publier un article qui explique ce qui doit être fait et ce qui doit être évité, quand on évalue un manuscrit.

Je vois aussi que nos enseignements doivent inclure une formation à l'évaluation des manuscrits.

Et mieux encore, je crois qu'une telle formation pourrait être envisagée  dès le mater : j'imagine par exemple de mettre les étudiants dans la position d'évaluation pour des manuscrits qu'on leur fournirait, car cela leur serait plus facile que de produire eux-mêmes des manuscrits publiables, car on voit mieux la paille dans l'oeil du voisin que la poutre dans son propre œil.

A propos de rapporteurs et d'évaluation des manuscrits pour des revues scientifiques

A propos de la publication de Zimmer K. 2025. Lipstick on a pig, Nature, 654, 809-812, un auteur d'un manuscrit se plaint à moi des rapporteurs qui auraient fait des observations déplacées à propos de son texte. Et voici ma réponse :

 

Cher Ami

Je ne suis pas certain d'être d'accord avec toi. Les rapporteurs de ton texte ont été respectueux, et, sans connaître le sujet, je ne pense pas qu'ils demandent des choses impossibles ni déplacées. Au contraire -et toujours sans être spécialistes de ces matières- je crois que cela améliorerait ton manuscrit de faire les quelques modifications demandées.

D'autre part, je crois savoir que les rapporteurs ne sont pas des xxx(une discipline particulière)xxx, comme tu le suppose.

Tu proposes une grille d'évaluation ? Je sais d'expérience que ce n'est pas la bonne solution. Mais si tu as une grille à proposer, pourquoi pas ; tout ce qui peut nous faire progresser est bon à prendre. 

Enfin, tu parles d'échec parce que tu as été critique, mais je crois qu'il n'y a pas lieu d'utiliser un tel mot : je peux t'assurer que, sur des manuscrits que j'ai moi-même proposés récemment, j'ai eu bien plus d'observations que tu n'en as eues, avec deux ou trois tours d'échanges. Par exemple, si mon "cours sur les synthèses bibliographiques" a été si gros, une fois publié, c'est parce que des rapporteurs ont insisté pour que j'ajoute des tas de choses, sur l'IA, par exemple. Mais, finalement, le cours est plus complet.

Autre exemple, pour mon article sur la rigueur terminologique, j'ai eu un rapporteur très pointilleux, et j'ai fait BEAUCOUP de changements, non pas parce que j'étais d'accord avec lui, mais parce que je me suis appliqué l'idée que je donnais aux auteurs  quand j'étais éditeur scientifique, dans une vie antérieure : un bon auteur est quelqu'un qui saisit la moindre observation non pas pour suivre nécessairement ce que le lecteur lui dit mais pour changer son texte et faire grandir ce dernier (évidemment il y a des cas où nos taches aveugles sont des taches aveugles, qui appellent des modifications telles que les lecteurs les proposent).

Dépasse donc tes réticences en modifiant ton manuscrit... pour en faire un article que j'ai hâte de lire en détail.

Je suis évidemment entièrement pour l'évaluation par les étudiants

 Je suis évidemment entièrement pour l'évaluation des cours des professeurs par les étudiants au point même que cette année, j'ai proposé que les étudiants soient évalués par la critique qu'ils feront de mes cours. Non pas une critique en termes de j'aime ou je n'aime pas, mais plutôt une critique sur le contenu lui-même. 

 

Il y a lieu de répéter que pour la communication, il y a des questions techniques, des questions artistiques et des questions sociales. 

La technique, cela consiste à dire des choses justes et, en sciences, des choses justes,  cela est une notion bien difficile. 

Bien sûr, un fait est un fait, un phénomène est un phénomène... mais il ne faut pas oublier que les  sciences de la nature produisent des théories insuffisantes. Fausses en quelque sorte mais fausses d'une façon subtile. 

Et il y a lieu de ne pas être en retard par rapport à la pertinence des descriptions théoriques. Si jamais j'omettais involontairement d'être assez précis, il y aurait lieu que mes amis me le reprochent.  En revanche,  je peux vouloir donner à mes amis une description à un degré d'approximation assez grand parce qu'il y a lieu de commencer ainsi avant de fignoler. 

La question artistique, maintenant, est quelque chose de très différent, et il y a lieu de se souvenir que le style c'est l'homme en quelque sorte ; de sorte que l'on peut faire le même cours, transmettre la même information technique de plein de manières différentes, soit avec un discours ex cathedra, soit en le faisant découvrir par les étudiants, et cetera. 

Et là, il y a donc une question de goût, une question artistique, et on peut imaginer que les étudiants n'aient pas envie d'une manière, qu'ils en préfèrent une autre. C'est la difficile question artistique qui est posée à tous les artistes, qu'il soit cuisiniers, musiciens, ou professeurs. 

Certes il faut plaire, mais à la manière que l'on a décidé. 

Et puis il y a la question sociale   :  par exemple je connais des étudiants qui veulent travailler seuls , et d'autres qui préfèrent être en groupe. Pourquoi forcer les uns ou les autres ? Cela doit être discuté. 

 

D'ailleurs, à ce propos, je propose de discuter tout cela avec les étudiants en vue de préparer l'évaluation et de leur proposer une grille avec ces trois éléments technique, art, social.
 

L'évaluation des manuscrits scientifiques soumis aux revues doit être mieux prise en compte dans l'évaluation des scientifiques !

Dans nos organisations d'enseignement supérieur, nos partenaires industriels nous réclament aujourd'hui que nous formions bien les "collègues plus jeunes" (ma terminologie pour désigner les étudiants qui bénéficient d'une carte d'étudiant) à l'évaluation des articles scientifiques. J'ai bien dit l'évaluation, et non pas seulement la lecture. Pour la lecture, c'est fait, mais ce qui est en jeu, c'est de reconnaître si un article scientifique est fiable ou non... nouvelle preuve que je ne suis pas complètement insensé de dire que les revues scientifiques font trop souvent mal leur travail, et publient bien trop d'articles médiocres. Dans notre groupe de recherche, nous en sommes réduits, quand nous nous échangeons des textes, après une étude bibliographique, à les assortir d'un mmm (exécrable), mm (très mauvais), m (mauvais), b (bon), bb (très bon), bbb (excellent)... et nos statistiques montrent, hélas, que la balance penche puissamment du mauvais côté. Je ne compte pas ces textes qui commencent par "la couleur des aliments est le paramètre le plus important de l'appréciation gustative" ; ces textes dont la description des matériels et des méthodes est insuffisante pour reproduire l'expérience ces textes où fleurissent les adjectifs et adverbes, qui auraient dû être remplacés par la réponse à la question "Combien ?" ; ces textes où les interprétations se résument à "nos résultats sont conformes à ceux de XXXX"... Il y a du ménage à faire, et cela de façon urgente ! Nous sommes bien d'accord : les scientifiques doivent faire de la recherche scientifique, et chercher les mécanismes des phénomènes, en mettant en oeuvre cette si belle méthode scientifique que j'ai décrite bien des fois dans ce blog. Toutefois, dans la mesure où nous publions les résultats en les soumettant à des pairs (les "rapporteurs" sollicités par les revues scientifiques), n'avons-nous pas une obligation morale d'accepter à notre tour d'évaluer des manuscrits ? D'ailleurs, il s'agit moins d'évaluer, à savoir déterminer la valeur, que de discuter des manuscrits afin que les auteurs puissent les améliorer, jusqu'à ce que ces textes soient acceptables (et acceptés) pour publication. Bref, je me demande si nous ne devrions pas expertiser autant que nous sommes expertisés, voire davantage à mesure que nous devenons plus capables de mieux conseiller nos amis, de mieux dépister des erreurs ou des imprécisions qu'ils font, toujours avec l'idée de mieux élaborer ce qu'Albert Einstein nommait le Temple de la science. Être rapporteur demande du temps, du soin. Il faut tout autant être vigilant quant aux interprétations que s'intéresser aux références, qu'il faut connaître ou lire. Il faut traquer les erreurs méthodologiques, mais aussi identifier des ambiguïtés de simple rédaction... Bref, ce sont des heures de travail pour chaque manuscrit expertisé. Et l'on doit bien dire, en ces temps de publication à outrance, avec un nombre de scientifiques qui a explosé, un nombre de manuscrit qui a démesurément augmenté, notamment avec l'ouverture de la Chine ou de l'Inde, que les rapporteurs ne suffisent plus à la tâche. Alors que, déjà, nous avions le sentiment qu'expertiser des articles n'était pas "notre métier", lequel était de produire des connaissances. Mais le présent est un appel : nos systèmes d'évaluation, qu'il s'agisse des HCERES ou des systèmes particuliers à chaque organisme de recherche, font la part très faible à l'évaluation des manuscrits scientifiques, et cela n'est pas bon. Déjà, les facteurs H, d'impact ou autres sont des indices bibliométriques que je déteste pour mille raisons qu'il serait trop long de donner, mais rien n'est dit, dans ces indices de cette activité essentielle qu'est l'évaluation scientifique. Il faut changer cela rapidement ! Mais ai-je bien raison d'évoquer l'absence de prise en compte de l'activité de rapporteurs ? Allons, regardons, par exemple, les critères d'évaluation de la section 13 du CNRS : SECTION 13 Chimie physique, théorique et analytique Ces critères sont ouverts, non exclusifs, non hiérarchisés et non strictement cumulatifs. Evaluation périodique des chercheurs Critères communs à tous les chercheurs : Les chercheurs seront avant tout évalués sur la qualité et l'originalité de leurs contributions scientifiques sans se contenter d’un simple examen de critères quantitatifs ou bibliométriques. Ces derniers seront pris en considération en intégrant les spécificités des différentes sous-disciplines qui composent la section et en considérant le contexte local, national et international. L'évaluation périodique prend également en compte les autres dimensions de l'activité de recherche comme la diffusion de la culture scientifique, la valorisation ou le transfert des connaissances, les responsabilités collectives ou de management de la recherche, etc. L’évaluation d’un chercheur est par essence «multicritères». Contributions scientifiques: La section examinera l’ensemble des productions (publications, conférences invitées, ...) en cherchant à faire apparaître le poids relatif des différentes contributions (travail de thèse, travail de post-doc, nouveau(x) sujet(s), ...). L’originalité et l’impact des travaux dans la communauté scientifique seront au cœur de l'évaluation, ainsi que les interactions avec les chercheurs d’autres disciplines ou sous disciplines. L’implication dans des programmes de recherche nationaux et internationaux sera évidemment considérée. Enseignement, formation, encadrement et diffusion de l’information scientifique: La section examinera attentivement tout type de participation à des actions de formation, de dissémination de savoir-faire, de vulgarisation scientifique, d’encadrement, d’organisation de réunions scientifiques ... Mobilité: Il s’agit de la mobilité thématique aussi bien que géographique. Elle ne constitue pas une valeur ajoutée par elle-même, mais par la nouveauté et la dynamique scientifique qu’elle permet. Transfert technologique, valorisation, relations industrielles: La section prendra en compte toute action de valorisation ou de transfert technologique dont les brevets, les procédés brevetés effectivement exploités ayant un poids particulier. Par ailleurs, ces critères seront examinés suivant les spécificités de la sous-discipline du chercheur, celles-ci pouvant se présenter sous différentes formes et chacune ayant son bénéfice, direct ou indirect. Objectifs et dynamisme de la recherche: Ce dernier critère est éminemment qualitatif. Il s’agit d’évaluer en quoi le projet de recherche, à court et moyen terme, s’inscrit dans une dynamique et dans un contexte national et international porteur. Le rôle moteur, le travail en équipe et la prise de risque seront ici, autant que possible, évalués. Remarques importantes pour la rédaction du dossier: La section conseille vivement de présenter la liste des publications en faisant clairement la distinction entre les articles parus dans des revues internationales à comité de lecture, les actes de congrès, les revues sans comité de lecture et les articles de vulgarisation. Il est également conseillé de faire apparaître l’auteur correspondant. De même pour les présentations orales, il conviendra de préciser la nature de celles-ci (communication orale, invitée, séminaire, etc.) et le rôle du chercheur (orateur ou co-auteur). Il est important qu’un résumé signalétique puisse être communiqué aux membres de la section, que les relations entre l’information scientifique et les données quantifiables apparaissent de manière claire et que les rapports d’activité «à vague» et «mi-vague» soient concis. Donc, je n'avais pas tort : pas une ligne -explicite- sur l'activité d'évaluation des manuscrits. Cela n'est pas bon, et doit être changé rapidement, vu la qualité médiocre de bien trop d'articles publiés actuellement !

Vous faites une demande ? Faites de la science !

 Évaluant une proposition scientifique faite par des collègues, je vois du baratin : s'enchaînent sans relâche les mots durable, excellence, innovation, responsabilité expertise... Que veut-on me faire gober ?

Pour autant, ces mots ont un sens véritable et l'on pourrait espérer qu'ils désignent vraiment ce qu'ils doivent désigner mais en m'étant habitué à entendre parler d'excellence par les institutions toutes les secondes, alors que la réalité est autre, par exemple,  je ne suis pas prêt à accepter cela de la part de collègues que j'évalue. Et puis, "excellence" : n'y a-t-il pas une prétention considérable à s'attribuer ce terme ?  J'attends des faits, des preuves. 

De même, la question de la durabilité est vraiment difficile, et elle ne se règle pas en quatre coups de cuillère à pot, en une phrase un peu vague qui annonce qu'on va s'en préoccuper : demain, on rase gratis. 

 

Plus positivement

 

Oublions les médiocres, les malhonnêtes, et pensons à nous, à faire bien.  Un jour que je plaignais de perdre du temps à faire des dossiers, le physicien Alain Aspect m'a donné le bon conseil d'utiliser ces occasions pour faire de la science... et c'est ainsi qu'un pensum se transforme en un merveilleux moment.

À propos d'évaluation par les pairs

Il y a quelques temps, j'ai publié un éditorial pour la publication intitulée Notes académiques de l'Académie d'agriculture de France, où j'ai discuté la question de l'évaluation par les pairs, en réfutant des arguments qui sont classiquement donnés : le processus seraient lent, il bloquerait l'innovation, il n'éviterait pas toutes les fautes, il permettrait à des concurrents de voler des idées, et cetera. 

Tout cela étant mis sur la table, il y a lieu de répondre à ces critiques, mais, d'abord, à signaler que l'introduction de l'évaluation par les pairs fut un progrès extraordinaire de la publication scientifique, parce que, bien conduite, ces évaluations permettent d'améliorer les manuscrits. On a pas assez dit qu'il ne s'agit pas pour les rapporteurs de dire si les manuscrits soumis sont mauvais, médiocres, passables, bons, excellents... 

Non, cela n'a aucun intérêt. Il s'agit surtout de contribuer à améliorer les articles pour que, finalement, les articles qui sont publiés comportent le moins de fautes possible. 

Car il faut dire que le travail scientifique, et la rédaction d'articles scientifiques, sont peut-être moins difficiles par chaque travail élémentaire qui les constitue que par le nombre considérable de ces travaux. Par exemple, dans le manuscrit d'un article scientifique, il y a tout à surveiller. Bien sûr, il y a la typographie, l'orthographe, la maquette, mais il y a surtout à voir que, dans les expérimentations, par exemple, on n'a pas manqué un point essentiel qui annihilerait le résultat ; il y a lieu de vérifier que les interprétations ne dépassent pas les faits établis et cela faites façon quantitative. Il y a lieu de vérifier que tout ce qui est dit est référencé, c'est-à-dire en réalité établi par les précédents, ou établi (correctement) par nous-même... 

Bref, c'est faire un travail énorme et je vois mal pourquoi nous pourrions refuser de l'aide par des rapporteurs, à condition bien sûr que ces collègues soient bienveillants et qu'ils aient pour objectif de nous aider à faire mieux. 

Dans un billet précédent, je me suis interrogé sur les raisons qui poussent certains à refuser l'évaluation par les paires, en évoquant cette anecdote d'Albert Einstein qui, arrivé aux États-Unis, proposa un manuscrit à une revue américaine qui envoya le manuscrit à un rapporteur, en l'occurrence un jeune physicien brillant ; ce dernier vit grosse difficulté théorique dans l'article et la signala, mais Einstein, qui était habitué à ce que ses manuscrits soient directement publié, retira son manuscrit : une occasion ratée de ne pas publier une erreur ! 

Je préconise également que les échanges entre éditeurs, rapporteurs et auteurs soient anonymes, non pas pour que certains en profitent pour tenir des propos désobligeants, mais plutôt pour que seule paraisse finalement en public un document de bonne qualité, dont les auteurs n'auront pas à rougir. Je pense en particulier aux jeunes scientifiques qui apprennent progressivement à rédiger des articles scientifiques, avec les canons professionnels qui s'imposent. On sait bien que les premières rédactions sont difficiles et c'est la raison pour laquelle certains au moins de nos amis les plus jeunes (mais les vieux aussi) laissent souvent des erreurs qu'il y a lieu de corriger. 

Les sites de dépôt libre de manuscrit sont en réalité terribles, parce qu'ils mettent le scientifique face à son entière responsabilité. Je m'empresse d'ajouter que j'ai trop vu de ces textes qu'un travail d'édition n'aurait pas paraître avec tant d'imperfections évidentes ! 

Bref, je préconise une évaluation qui ne soit pas ouverte, en double anonymat, conduite dans un esprit positif d'amélioration du manuscrit en vue de sa publication.

La question de l'évaluation rejoint celle du travail ! Et nous devons construire rationnellement nos enseignements, et, plus généralement, nos actions pédagogiques.

 Ici, nous partons d'une question d'évaluation, et notre cheminement nous conduit à une rénovation d'idées pédagogiques. Cela peut sembler étrange... mais seulement a priori : puisque l'évaluation de travaux d'étudiants ne peut porter que sur les apprentissages de ces étudiants, le mouvement est a posteriori évident, et c'est le fait que nous ayons pu être étonné qui étonne : comment est-ce possible que nous nous lancions dans des entreprises (évaluation), alors que l'objectif (apprentissage de compétences) n'est pas posé en premier ? 

Au début de notre analyse, il y la question de l'évaluation des étudiants, et, plus précisément, de l'évaluation des étudiants venus en stage dans notre groupe de recherche. 

Dans des billets précédents, j'ai déjà discuté la question, et j'ai expliqué pourquoi nous demandons aux étudiants de notre groupe de s'évaluer eux-mêmes, pour proposer ensuite au groupe leur auto-évaluation, laquelle était discutée, avant d'être éventuellement amendée, puis transmise à l'université qui la demande. 

Oui, notre groupe de recherche est très idéaliste (nous cherchons à faire une réunion d'amis soudés par le but commun : apprendre), mais cela ne nous empêche pas d'essayer d'être rationnels et justes. Observons que, avant de discuter les modalités de l'évaluation des étudiants en stage, nous devons discuter la légitimité de ces évaluations. Devons-nous les faire ? Devons-nous refuser de "collaborer" (et j'utilise le mot avec toutes ses connotations, sans préjuger de l'état d'esprit de nos interlocuteurs universitaires), en considérant que les universités ne doivent pas se défausser de leur travail pédagogique sur nous, qui dépensons énergie, temps et argent pour accueillir des gens que nous avons pour charge de former ? Ou devons-nous les laisser aux institutions universitaires qui sont responsables des étudiants ? 

Reprenons les faits : c'est un fait que, à la fin de chaque stage, les institutions universitaires qui nous envoient les étudiants -par convention signée avant le stage- nous demandent de les évaluer. Et, en pratique, ils nous transmettent une "feuille d'évaluation", avec, souvent, des critères tels que "autonomie", "ponctualité", etc. 

Pourquoi confier au tuteur le soin d'évaluer un stage ? Parce que les enseignants universitaires ne sont pas présents sur le lieu des stages, qu'ils ne connaissent pas les sujets spécialisés qui sont abordés par les étudiants dont ils ont la responsabilité, et que, de ce fait, ils nous demandent de les aider en faisant cette partie de l'évaluation, se réservant le soin de juger la présentation orale et la lecture des rapports de stage (raison pour laquelle je n'assiste pas aux soutenances orales, et pourquoi je ne relis pas les rapports, laissant les étudiants prendre la responsabilité de cette tâche, et les enseignants idem). 

Supposons donc, pour finir, que nous acceptions donc de faire cette évaluation. Comment la faire ? Nous pouvons considérer deux points de vue. D'une part, il y a un point de vue absolu, puis il y a un point de vue relatif. L'absolu, cela consiste à savoir si l'étudiant a "bien" travaillé, en l'occurrence s'il a bien appris. Ici "bien" signifie bien par rapport à l'objectif fixé, lequel dépend d'un niveau universitaire et d'un diplôme que l'étudiant pourra ou non obtenir (je fais l'hypothèse que les diplômes ne doivent être donnés qu'à ceux qui ont des compétences suffisantes pour les recevoir, compétences qui doivent être clairement affichées par ailleurs, dans une sorte de "contrat pédagogique" ; de même qu'il y a des pré-requis à chaque cours, l'attribution des diplômes doit être conditionnée par une liste de compétences acquises). 

D'autre part, le critère que j'avais annoncé de "relativité"est intéressant et double, car il y a la question de situer l'étudiant par rapport aux autres de son groupe, de son niveau universitaire, par exemple (et l'on voit que ce serait tordre le cou à l'idée précédente, absolue... mais on doit se souvenir que les diplômes doivent être nationaux, en France), mais aussi d'estimer la progression de l'étudiant (évaluer l'étudiant par rapport à lui-même en quelque sorte). 

Quelque soit le point de vue, absolu ou relatif, puisque les stages sont une période de formation, c'est donc l'acquisition de nouvelles compétences qui semble devoir être évaluée. La question étant difficile, ruminons-la un peu en envisageant par exemple un point de vue différent, à savoir que, très généralement, face à une tâche, on peut se donner une obligation de résultats, ou une obligation de moyens. Nos jeunes amis gagneront à savoir la différence entre les deux, et, notamment, ils devront savoir que les médecins n'ont qu'une obligation de moyens... car nous sommes mortels, et ce serait les mettre dans une position impossible que de leur demander... l'impossible. 

Obligation de moyens : là, il y a la question des règles explicites qui détaillent ces moyens. En l’occurrence, pour notre équipe de recherche, nous avons des documents explicites qui indiquent aux étudiants que leur obligation est d'apprendre beaucoup et d'apprendre à faire état de ce qu'ils ont appris. C'est donc de ce point de vue que nous devons les évaluer : il y a un contrat, et l'on doit légitimement se demander si ce contrat est rempli. Le problème que je discute aujourd'hui est le suivant : certains de nos amis, dans le groupe, ont jugé qu'il n'était pas équitable de noter de la même façon un étudiant très faible et un étudiant "meilleur" (plus de connaissances, plus de compétences), à quantités d'efforts égales. Ce ne serait pas suffisant de bien travailler, de bien apprendre. Ils disent que l'on doit mieux noter les "meilleurs". Et ils ont des arguments, à savoir notamment qu'un étudiant qui passe son stage à se remettre à niveau ne fait pas avancer la recherche scientifique qui lui est confiée, de sorte que, du point de vue d'un stage de recherche, l'étudiant le plus faible ne fait pas ce qu'il aurait dû faire. A quoi certains d'entre nous ont répondu que l'obligation de notre groupe était d'apprendre. A quoi ils ont répondu que oui, apprendre, mais apprendre la recherche scientifique... 

La question étant difficile, et le dialogue inachevé (on ne termine jamais une discussion, avec des amis : n'est-ce pas cela l'essence de l'amitié ?), je n'ai pas dit que nos amis qui faisaient cette remarque avaient raison, ni qu'ils avaient tort, mais je dis qu'il est légitime de considérer cette observation, car, dans la vraie vie, lorsqu'on tire la charrue, le fait est que l'on ne peut pas attribuer la même "valeur" (rappelons qu'il s'agit d'évaluation, de jugement sur la valeur) à un cheval qui tire efficacement, et à un autre qui, même s'il fait des efforts sur le moment, n'a pas fait des antérieurement des efforts pour se muscler, de sorte qu'il tire moins bien. 

Au total, il y a donc la question des efforts que l'on fait, et de ceux que l'on a fait. Certes, l'indulgence, la générosité, l'humanité doit nous conduire à donner à chacun une deuxième chance, mais la question n'est pas là : donner une deuxième chance, cela signifie accepter les étudiants en stage. Cela ne signifie pas considérer que tout se vaut ! Non tout ne se vaut pas... devant la charrue, et quelqu'un qui accomplit une tâche parce qu'il en a la compétence est supérieur à celui qui ne l'accomplit pas, surtout quand il a paressé antérieurement. 

J'entends mes amis lecteurs de textes religieux me dire que le père accueille l'enfant prodigue comme son autre fils, vertueux, mais pour ce qui me concerne, je dois avouer que je manque de la grandeur d'esprit qui me permettrait vraiment d'oublier que le fils prodigue a été prodigue. Je ne confonds pas l'utopie et mes envies généreuses, parce que l'utopie est... utopique... et qu'il y a la charrue à tirer ! Oui, je sais que certains d'entre nous n'ont pas eu la chance que j'ai eue personnellement (milieu aisé, parents admirables, etc.), et que la collectivité doit promouvoir ce qui est à mon avis mal nommé "ascenseur social" (je ne comprends pas pourquoi on placerait plus haut un ministre qu'un ouvrier), mais je sais aussi que c'est en promouvant l'effort, le soin, le travail, la rigueur... que nous obtiendrons un système plus juste. 

Nous pouvons nous efforcer nous-même de donner une deuxième chance, voire une troisième, etc. (je dis "nous efforcer", parce que c'est un vrai effort que d'aider les plus faibles : cela prend sur notre temps, notre intelligence, notre énergie, notre argent... au détriment des autres, qui n'ont pas besoin de notre aide), mais nous devons aussi être capables, parce que nous en avons la responsabilité sociale, de juger que, parfois, des individus n'ont pas certaines capacités. 

Oui, je crois que c'est une question de courage que de dire à un étudiant, parfois, qu'il doit changer d'orientation... ou travailler bien plus qu'il ne le fait. J'insiste en rappelant que je dis souvent que l'on n'est pas "bon en quelque chose", mais que l'on peut le devenir. Je cite ce "labor improbus omnia vincit", où improbus ne signifie pas malhonnête, mais acharné : le travail vient à bout de tout. Ce n'est d'ailleurs pas vrai, mais c'est mon idée politique. Je veux que nous disions à nos jeunes amis que le travail les portera. 

Dans la même veine, je dis que je n'aime pas le mot "capacité" (on a les capacités en proportion de son travail), et certainement pas le mot "don", mais je n'oublie pas non plus que quelqu'un qui sait est quelqu'un qui a appris. A cette fin, le bistrot n'est pas l'endroit adéquat, et ce n'est pas en baillant aux corneilles que s’acquièrent les compétences et les connaissances. C'est par l'exercice, l'entraînement. 

De ce fait, je dois très logiquement déduire de ce qui précède que les professeurs (j'en suis) gagneraient à proposer aux étudiants des séries d’entraînements, d'exercices, et nous devrions juger les étudiants sur le fait qu'ils ont ou non passé du temps à ces exercices. Si l'on suppose que les compétences viennent avec l'entraînement, dans la mesure où l'on a la capacité d'apprendre, laquelle est sanctionnée par le diplôme, alors une évaluation fondée selon ce critère en viendrait à juger des compétences, ce qui est finalement ce que nous recherchions ! De ce fait, il devient urgent de changer les systèmes d'enseignements, afin de proposer aux étudiants des séries ordonnées d'efforts, d'exercices, d'entraînements... 

J'en profite pour signaler, par exemple, l'existence d'un livre d'enseignement exemplaire : le Calcul différentiel et intégral, de N. Piskounov (éditions Mir, Moscou, Russie). C'est un livre qui commence de façon élémentaire, qui est d'une clarté absolue, et qui comporte des exercices que n'importe qui peut faire : les premiers exercices sont très simples, puis, quand l'étudiant les a fait, on a des exercices à peine plus difficiles, et ainsi de suite. Bref, je recommande ce livre à tous, aux étudiants qui doivent savoir que, en sciences, le calcul différentiel et intégral est omniprésent, et aux collègues enseignants parce que nous pourrons discuter des systèmes pédagogiques que nous mettons en œuvre (on se souviens que je suis si iconoclaste que j'en viens même à questionner le "Le professeur est maître dans sa classe"). Jusqu'à présent, je faisais personnellement mes cours en y passant beaucoup de temps, essentiellement en cherchant à détailler les étapes des calculs, pour faciliter la compréhension des étudiants, mais je m'aperçois que cette méthode est sans doute mauvaise, et, conformément à l'analyse précédente, je vais réorganiser mes cours en une série d'exercices, d'entraînements, qui donneront lieu à autant d'évaluations ponctuelles. 

Finalement, les étudiants seront jugés sur le fait d'avoir ou non effectué tous les exercices proposés, tous ces entraînements. Idem pour les stages : je vais chercher à introduire de nouvelles manières d'encadrer les étudiants, où l'initiation à la pratique scientifique sera conçue comme une série orchestrée d'entraînements, d'exercices. Cela correspond plus ou moins à ce que je faisais déjà, mais il faudra que ce soit bien plus systématique, plus explicite. 

Comme toujours je compte sur mes amis pour me dire si l'analyse ci-dessus est erronée, car on se rappelle que je suis prêt à beaucoup... d'efforts, beaucoup d’entraînements, beaucoup d'exercices, beaucoup de travail, pour améliorer les méthodes que je mets en œuvre très explicitement, en vue d'aider mes jeunes amis (et moi-même) à grandir en science et en technologie.

Comment reconnaître un bon article et un mauvais article scientifique?

 La question est lancinante, car la "Loi du petit Wolfgang" s'applique sans cesse : admettons que, malgré l'examen par des rapporteurs, 90% des articles scientifiques sont médiocres. 

Bien sûr, une telle hypothèse est politiquement incorrecte, et nous sommes sans doute nous-mêmes (moi, en tout cas) médiocres à 90 pour cent, mais le fait est que l'on trouve des articles scientifiques que nous devons apprendre à ne pas citer, à ne pas utiliser, et que l'analyse des médiocrités des autres est une façon d'apprendre la notre. 

D'autre part, le nombre 90 est vraiment une façon de parler ; malgré ma volonté de tout quantifier, c'est une estimation qui n'a de valeur que provocatrice. Donc restons sur cette hypothèse. 

 

Soit donc un article scientifique. Nous voudrions savoir ce qu'il vaut.

 

Commençons par lire par le début. Il y a l'introduction... et déjà, elle peut nous dire beaucoup. Par exemple, la présence d'adjectifs et d'adverbes doit nous alerter : en science, il est de bonne pratique de répondre à la question "combien", et de résister à l'argument d'autorité. 

Par exemple, quand on lit que la question est "importante", il y a lieu de s'interroger (a fortiori quand on lit "très importante", ou "primordiale" ;-)). 

D'autre part, nos auteurs doivent citer leurs sources : normalement, chaque phrase devrait être assortie d'une référence.

 Puis vient la section des "Matériels et méthodes". Là, il s'agit de voir si tout est bien justifié. Quels matériels ont-ils été utilisés et pourquoi ? Les produits utilisés sont-ils appropriés aux méthodes retenues ? Et ces méthodes sont-elles suffisamment rigoureuses, notamment ? 

Vient la présentation des résultats : sont-ils correctement décrits ? Les auteurs ne confondent-ils pas les résultats et les interprétations ? 

A ce propos, je suis très opposé aux revues qui veulent réunir résultats et discussions. Je crois que cette façon d'économie du papier, bonne pour le siècle dernier, devrait vraiment être abandonnée ! 

Du coup, il y a toutes les fautes élémentaires des étudiants qui n'ont pas encore appris. Par exemple, des points expérimentaux sans incertitudes, des points expérimentaux reliés par une courbe qui ne correspond à aucun modèle théorique... 

Mais je m'aperçois, ici, que c'est un cours de rédaction des publications scientifiques qui s'imposerait : reconnaître un bonne publication, ou en produire une, n'est-ce pas très parallèle ? Il est temps que notre collectivité s'y mettre, indépendamment de ces services payants que des éditeurs scientifiques proposent, à force publicité. A nous de faire, j'attends vos propositions, en vue de proposer, dans un futur pas trop éloigné, un guide bien fait pour nos jeunes amis... et pour nous-mêmes !

Enseigner (suite)

Comment enseigner bien ? Je ne vais certainement pas répondre à une question si difficile, car ce serait d'une prétention inouïe. En revanche, je continue mes soliloques et je m'interroge afin de partager mes interrogations avec des collègues qui, certainement plus intelligents que moi, sauront me remettre sur le bon chemin si je divague. 

Dans un billet précédent je suis arrivé à la conclusion que, au moins au niveau de la fin de mastère, en fin d'université donc, les étudiants devaient être capables de lire les articles de recherche récents. Dans cette hypothèse essayons d'affiner un peu. 

La première question est la suivante : des articles de recherche récents, mais lesquels ? Dans la masse des publications il y en a de bonnes et il y en a de mauvaises. Malgré tous les dispositifs d'évaluation avant publication, il y a tant de revue que les articles, même mauvais, finissent par être publiés. On n'y peut rien, et ce serait une naïveté de croire qu'on arrivera à résoudre ce problème. 

L'enseignant aurait-il alors pour mission de proposer aux étudiants de se consacrer aux bons articles? Pourquoi pas, aussi, de devenir capables de dépister les mauvais, puisque de toute façon, ils seront un jour en position de devoir sélectionner eux-mêmes les bonnes publications ? Des articles -bon ou mauvais, donc- étant sélectionnés, il faudra ensuite que les étudiants les lisent, mais évidemment l'enseignant a pour mission de les aider dans cette tâche qu'ils doivent apprendre. Il y a donc la première question qui est de sélectionner des articles, selon des critères qui doivent être explicites, puis il faudra guider les étudiants pour lire. 

Lire un article scientifique est une tache qui s'apprend. Il ne s'agit pas seulement de lire, au sens de parcourir nonchalamment les mots du regard. Il faut certainement comprendre ce qui est écrit, et il faut aussi savoir mettre en perspective, savoir retenir ce qui est important, par exemple... Il y a donc là une procédure qui s'apprend et, donc, qui s'enseigne. 

Une fois cette tâche effectuée, que fera-t-on de cette information ? Il faut sans doute la structurer parce qu'une information non structurée ne se retient pas, et que, à la limite l'information est dans l'article. Mais une idée dans un tiroir n'est pas une idée, et nous avons la nécessité de sortir les idées du tiroir pour les mettre en oeuvre. Là encore, cette tâche particulière qui s'apprend et, donc, s'enseigne. Je m'arrête là en concluant que le bon enseignant a beaucoup de travail même s'il se limite à vouloir que les étudiants deviennent capables de lire des articles scientifiques.

La loi n'est pas la fin de la science

 
L'avantage, quand on est « insuffisant », c'est que l'on a la possibilité de s'améliorer. L'avantage, quand on n'a pas de maître, c'est que, certes, on fait des erreurs qu'il nous aurait peut être évitées, mais que, si l'on traque le « symptôme », on peut progresser. 

 

Je me souviens ainsi d'un jour où je lisais un manuscrit d'article scientifique qu'une revue m'avait demandé de « rapporter ». Je lisais donc d'abord l'introduction, m'assurant que la question posée était claire, que la bibliographie avait été bien faite. Puis je regardais attentivement la partie « Matériels et méthodes », afin de m'assurer que les informations étaient suffisantes, que toutes les précautions méthodologiques avaient été bien prises par les auteurs. Je passais aux résultats, et m'assurais que rien d'exagéré n'était produit, que les résultats correspondaient donc bien aux méthodes mises en œuvre, que le traitement statistique était bien fait. Puis je lus la discussion, pour voir si tout était cohérent. Tout allait bien. Certes, il y avait des détails à corriger, mais rien de bien grave... sauf que je trouvais l'article médiocre. 

Logiquement, j'aurais dû dire à l'éditeur que l'article était acceptable, mais quelque chose me retenait. Quoi ? Je ne savais pas. De sorte que je décidais de lire une fois de plus, et je ne retrouvais que bien peu de choses supplémentaires à corriger. Je mis le manuscrit dans mon cartable, et décidai de laisser passer la nuit. Le lendemain matin, dans l'autobus, je le sortis de mon cartable, je le relus... et tout s'éclaira ! Les auteurs avaient caractérisé un phénomène, et ils n'avaient en réalité pas considéré les mécanismes compatibles avec les lois qu'ils avaient dégagées ! Ce n'était donc pas un travail scientifique, en quelque sorte, mais seulement une étape sur le chemin scientifique. 

A la réflexion, ma réaction était injuste* : tout ce qui figure sur le chemin de la science (observation de phénomènes, caractérisation quantitative, réunion des mesures en lois synthétiques, recherche de mécanismes, prévision théorique, test expérimental de ces prévisions) est un bout de science, et mérite donc publication, parce que cela fait avancer le travail. 

 

 

* En réalité, pas complètement : ajuster des données par une fonction, comme les auteurs l'avaient fait, nécessite d'avoir une raison de choisir cette fonction particulière !

Il faut des contrats précis !

 
Je reviens sur la question des évaluations, au cours des études, et quelle que soit la discipline.

Dans un billet précédent, j'ai discuté la question des évaluations des professeurs par les étudiants, et j'évoquais une difficulté régulière, à savoir que les évaluations sont parfois mauvaises quand le contrat d'études n'est pas clair, quel que soit la qualité du professeur.

Et il est exact que, étudiant en formation initiale (si l'on peut dire), j'ai trouvé détestable l'arbitraire de certains professeurs. Je ne dis pas que ces professeurs étaient mauvais, qu'ils enseignaient des choses fausses sans rien comprendre (ce qui se rencontre !), mais je dis ici que la précision des consignes qu'ils donnaient pour les devoirs ou examens laissait un flou où il y avait place pour l'arbitraire. C'est cela surtout que nous leur reprochions.

Dans une évaluation, qui correspond donc à une sorte d'examen, il y a lieu que la commande soit claire. Et j'ai bien vu des collègues très dévoués, très gentils, très impliqués, qui étaient mal évalués parce que le contrat qu'ils proposaient ne pouvait pas être respecté...  et qu'il ne l'était donc pas.

Là, je sors d'un examen de cuisine, où j'ai retrouvé ce même flou, qui était d'ailleurs aggravé par des différences entre les différents membres du jury.

D'une part, quand les mots de l'énoncé ne sont pas justes, ou quand ils sont flous, ou discutables, les membres du jury ne peuvent pas s'accorder sur les évaluations qu'ils font puisqu'ils n'évaluent pas les mêmes chose.
Par exemple si l'on demande d'évaluer la "saveur" d'un plat, alors quelqu'un qui n'a pas un usage affuté des mots jugera le sans doute le goût tandis que quelqu'un qui sait ce qu'est la saveur jugera... la saveur. Ce n'est pas la même chose !

De ce fait on comprend bien que les mots utilisés dans le contrat didactique sont suprêmement importants. Mais au-delà des mots, il y a les contenus, et là encore, la question se pose, car si l'on demande, par exemple, de respecter une disposition dans une assiette, les choses sont claires : la disposition est respectée ou pas. En revanche, si l'on ne stipule pas qu'une sauce doit être conforme à un canon très spécifique, par exemple celui de Joseph Favre, ou celui d'Edouard Nignon, ou celui de Bocuse, alors les étudiants sont parfaitement habilités à produire des choses différentes selon les bases qu'ils utiliseront. Et, en conséquence, les professeurs ne seront pas habilités à  les sanctionner de ne pas avoir utilisé la base qu'il avait implicitement en tête.

Il y a donc lieu d'être le plus précis possible, dans la commande.

D'ailleurs j'ajouterai volontiers que, dans l'évaluation, les critères et leur pondération doivent être explicites, parce que si, dans un plat, on ne stipule pas que le goût est essentiel, alors on peut obtenir une sauce parfaitement exécutée du point de l'exécution, et parfaitement ratée du point de vue du goût.

Oui, je veux des référentiels explicites, des critères d'évaluation explicites.

Commençons par de sains principes : Une bonne pratique pour les journaux scientifiques, c'est le double anonymat

Les journaux scientifiques envoyent les manuscrits à des rapporteurs qui doivent les évaluer, c'est-à-dire... quoi au juste ?

Il s'agit essentiellement d'être utile à l'auteur, au journal, à la communauté.


La première des choses est d'éviter la publication de documents de mauvaise qualité, qui seraient ensuite cités, utilisés comme arguments pour des interprétations erronées ou fautives (dans "errroné", il y a seulement le fait de se tromper ; dans "fautif", il y a l'idée supplémentaire de faute!).



D'autre part, les articles publiés doivent être clairs, dans l'exposition des motifs de l'expérimentation ou du calcul, dans la présentation des méthodes mises en oeuvre, dans la présentation des résultats ; pour les interprétations, je propose de reporter la discussion pour plus tard.

 

Pour avoir de bons articles publiés, un bon principe est que les rapporteurs, ou évaluateurs, aient comme tâche principale de conseiller les auteurs pour qu'ils améliorent leur manuscrit, afin qu'un texte de bonne qualité soit finalement publié.

Et si les rapporteurs sont utiles aux auteurs, ils le sont aussi journal, donc à la  communauté. 

Etre un bon rapporteur s'apprend : pourquoi si peu d'écoles doctorales  l'enseignent-elles ?

Evidemment, je crois qu'il y a lieu d'organiser des évaluations doublement anomymes : les rapporteurs doivent ignorer qui sont les auteurs, et les auteurs doivent ignorer qui sont les éditeurs...

Impensable que les institutions confient l'évaluation de la recherche à des acteurs privés !

Les travaux, en sciences de la nature, sont financés par les universités, les instituts de recherche, les académies ; les travaux technologiques le sont par ces mêmes institutions, et aussi par l'industrie.

Quand les financements viennent de l'industrie, alors c'est une relation contractuelle qui échappe à la production "scientifique", et, d'ailleurs, c'est moins de la production scientifique que du travail technologique, et les institutions publiques qui contribuent financièrement doivent juger de l'intérêt de tels contrats, et de la façon dont elles les considèrent.

Mais pour les travaux scientifiques, les financements se font par l'Etat, qu'il s'agisse des instituts publics de recherche, des universités, des sociétés savantes, des académies. Et là, l'évaluation ne peut pas être confiée à des acteurs privés sans quoi ceux-ci ont plus à coeur de gagner de l'argent dans l'affaire que de faire correctement -et légitimement- le travail que nous envisageons ici.

La première des "évaluations" de la production scientifique est la publication de résultats. Et là, déjà, on comprend que le contrôle ne doit pas être confié à des éditeurs privés, mais aux institutions préalablement citées.
Dans le temps, on avait besoin des éditeurs, dont c'était le métier de procéder à l'impression de journaux, mais avec l'avènement des techniques numériques, les éditeurs ne sont plus d'aucune utilité, et, d'ailleurs, ils se sont outrageusement développé comme des sangsues sur la communauté scientifique. Vite, il faut que les institutions reprennent le contrôle des publications.

Pour ce qui concerne le travail d'expertise des manuscrits, il est fait par les scientifiques, donc  il est  financé par les institutions déjà évoquées, et des acteurs privés n'ont pas à se mêler de ce qui regarde des relations entre des employeurs et des employés.
Voilà pourquoi je récuse des sites comme Publons, qui, peut-être à l'origine, ont été créés  à partir de la bonne intention qui était de vouloir reconnaître ceux qui font des expertises de manuscrits, mais qui sont privés, de sorte qu'ils sont illégitimes.

Il faut donc  les académies, les institutions de recherche, les sociétés savantes, reprennent la main sur ces questions-là également.
De toute façon, au 21e siècle, ce n'est pas un gros travail, car l'administration s'est considérablement simplifié ; il n'y a plus de papier, et les coûts ont fondu.

Il faut donc que les institutions fassent leur travail, leur travail d'évaluation indépendant, leur travail de reconnaissance des chercheurs. 

Comment les auteurs doivent-ils se comporter vis à vis des rapporteurs ?

 Comment les auteurs doivent-ils se comporter vis à vis des rapporteurs ?
Je reprends ici une discussion déjà bien entamée dans d'autres billets,  à propos de la soumission des manuscrits revues scientifiques.

Rappelons, pour ceux qui ne le savent pas (on pourrait dire "qui l'ignorent", mais on m'a fait remarquer que c'était politiquement incorrect") que quand un  article est soumis à une revue scientifique, il était confié  à un "éditeur", qui était généralement chargé de trouver deux rapporteurs, c'est-à-dire deux collègues à qui il demandait un rapport à propos de la possibilité de publier l'article.

Il y a des rapports variés, et des relations variées entre les éditeurs et les rapporteurs, qui vont du simple avis de publication jusqu'à des analyses plus détaillées du manuscrit, en vue de permettre aux auteurs d'améliorer leur texte. Je préfère de loin cette deuxième possibilité, qui est plus positive et qui permet aux jeunes auteurs de s'améliorer, mais j'ai discuté aussi dans un autre billet le cas des rapporteurs qui outrepassent leur droit et qui émettent des jugements soit partiaux soit erronés.

Récemment, j'ai encore rencontré le cas d'un rapporteur qui refusait un article parce qu'il n'y était pas cité. Et je peux témoigner personnellement que cette pratique n'est pas exceptionnelle.

Egalement, dans un  billet précédent, j'évoquais le cas où des jugements de valeur étaient mêlés à des avis péremptoires, et c'est évidemment la responsabilité de l'éditeur que de filtrer cela.

Mais on sait que la chose est difficile, à une époque où les scientifiques sont sans cesse sollicités par des revues. Je n'ai pas de statistiques, mais nombre de collègues refusent de passer du temps pour faire des travaux bénévoles, au point que certaines revues commencent à payer des rapporteurs.

Les conséquences sont claires :  les éditeurs vont hésiter à récuser les rapporteurs qu'ils ont sollicités, car des rapporteurs déjugés n'accepterons plus à l'avenir de collaborer avec la revue qui n'a pas suivi leur avis.

Et c'est ainsi que l'on voit des rapports désobligeants arriver aux auteurs. Cela est un fait d'expérience que chacun d'entre nous connaît, de sortes que nous devons envisager maintenant la question des auteurs qui reçoivent de tels rapports : ouf, nous sommes arrivés au point que je voulais discuter ici !

À ce sujet, il y a lieu de dire que les rapporteurs ne sont pas ne sont pas tout-puissants, omniscients, parfaits,  de sorte que les auteurs ont en réalité le devoir de discuter les avis des rapporteurs.

Bien sûr, nous somme tous conscients de ne pas produire des manuscrits parfaits,  à moins d'être d'une prétention sans bornes, et nous devons absolument faire les corrections qui s'imposent. Mais pas plus :  nous ne devons pas non plus nous laisser aller à courber la tête devant des imbéciles des autoritaires, des petites personnes.

Je me repens encore d'avoir accepté de valider des résultats de résonance magnétique nucléaire, par le passé, par des méthodes de HPLC qui étaient complètement périmées, bien moins intéressantes, revendiquées par un rapporteur qui manifestement n'avait fait cela que cela toute sa vie. Nous avons perdu une journée de travail, ce qui n'est pas beaucoup,  et l'article a été accepté, ce qui est bien,  mais en quelque sorte, nous nous sommes compromis en acceptant de citer les articles du rapporteur qui nous avait proposé cette validation  sans intérêt. Cet homme, que nous avons parfaitement identifié, a bénéficié d'une citation indue.

Mais c'est surtout les débordements des rapporteurs que les auteurs doivent contester  : tout ce qui n'est pas factuel doit être rejeté.

Il y a eu une époque où les revues étaient submergées par des afflux de manuscrit, ce qui les conduisait à refuser la majorité des manuscrits, et c'est ainsi que s'est installé  ce jeu délétère qui consistait simplement à dire "cet article est bon" ou "cet article est mauvais",  avec une majorité de cas de la deuxième catégorie. Au fond, nous étions insensés de soumettre nos textes  à de telles revues, qui se targuaient d'ailleurs de facteurs d'impact plus ou moins manipulés.
La communauté tout entière avait tort de s'affilier à des journaux tenus par des éditeurs privés, qui s'engraissaient tout en faisant perdre un temps considérable aux scientifiques qui leur soumettaient  des manuscrits.

Mais je me suis déjà exprimé ailleurs sur cette question et je n'y reviens pas, pour me concentrer sur la question des auteurs face à des rapporteurs irrespectueux (par exemple). Bien sûr, si l'article est immédiatement accepté, il n'y a pas de problème... quoi que l'acceptation d'un manuscrit ne signifie pas qu'il ne soit pas perfectible : pourquoi ne chercherions pas à l'améliorer ?

Mais c'est surtout au second cas d'un article refusé ou accepté avec des modifications que nous avons à nous consacrer parce que c'est un cas beaucoup plus fréquent.
Là, il y a des remarques des rapporteurs dont nous devons bien sûr tenir compte ; ou, plus exactement,  nous avons intérêt en tenir compte, moins en vue d'avoir notre article ultérieurement accepté que parce que nous avons  une possibilité d'améliorer notre texte, des pistes pour le faire.

Il ne faut donc pas hésiter à travailler notablement le manuscrit après ce premier retour et améliorer tout ce que nous voyons qui peut l'être. Il y a lieu de chasser les imperfections, d'ajouter des références quand elles sont nécessaires, de bien reserrer la présentation, de nous interroger sur notre méthodologie, sur nos résultats, sur les interprétations...

Oui, en matière scientifique, pour produire de bons articles, c'est-à-dire de bons résultats, il faut sans cesse chercher l'amélioration.

La rédaction scientifique s'apprend

Il y a quelques semaines, j'ai publié un article qui considère l'évolution de l'évaluation par les pairs, pour la publication scientifique, et je concluais notamment que les manuscrits doivent être publiés après que les auteurs les ont portés à une qualité publiable.

Le problème, c'est ce mot de "publiable", qui n'est pas clair, surtout  pour les plus jeunes, de sorte qu'il y a lieu d'être plus explicite.

À la réflexion, un article est publiable quand les pairs ont décrété qu'il était, et c'est donc une sorte de consensus fondée sur les pratiques professionnelles qui s'imposent.
D'où mon emphase sur les "règles de bonnes pratiques en science".

Par ailleurs, j'ai fait une liste des conditions précises qui s'imposent pour la préparation de bons articles scientifiques et, j'espère avoir été clair.

Tout cela étant dit, je viens d'être sollicité par une grande revue  de physique pour faire le rapport d'un manuscrit qui était soumis : il s'agissait d'un texte de physique, mais qui considérait largement des questions de chimie, et  je crois pouvoir dire que c'était exactement ma compétence.

Un beau matin, donc, j'ai pris le fichier du manuscrit, et j'ai ouvert un autre fichier à côté pour y noter d'abord mes remarques au fil de la lecture, ligne à ligne.

Mais, chemin faisant, j'ai vu apparaître ces adjectifs que je récuse, parce qu'ils doivent être  remplacés par la réponse à la question combien. J'ai vu des adverbes qui étaient... complètement... déplacés. Par exemple, les auteurs utilisaient le mot "évidemment" pour des idées la phrase qui n'avaient  rien d'évident. J'ai vu des fautes de structure de l'article ;  j'ai vu de l'imprécision, etc., de sorte que, après avoir passé beaucoup de temps à discuter mot à mot ce qui n'allait pas, je me suis arrêté, en me disant qu'il valait mieux demander aux auteurs de faire la suite du travail, à partir des règles que je pouvais leur donner.

Ce n'est pas à moi de pallier leurs insuffisances, et je perds mon temps à corriger tous les points un à un.

Oui, je sais que, dans le premier article que j'ai mentionné plus haut, je disais que nous devions être positifs et accepter les textes a priori à condition qu'ils soient publiables. Oui, je sais bien qu'il faut conseiller les auteurs des manuscrits pour qu'ils améliorent leurs textes, mais on ne va pas aller jusqu'à les border dans leur lit, n'est-ce pas ? Ce ne sont plus des enfants, et  il faut qu'ils apprennent la rédaction scientifique et, a minima, qu'ils appliquent les conseils que j'ai donnés.

Au fond, il y a derrière tout cela, il y a des question de compétences. De compétence, car la rédaction scientifique, cela s'apprend. Pour moi, je propose que l'on distribue très largement mon document donné ici : https://hervethis.blogspot.com/2021/09/le-temple-de-la-science-lever-un-coin.html.

Je veux surtout frayer avec des gens gentils

 Je veux surtout frayer avec des gens gentils

1. Discutant avec un collègue d'un comité éditorial, nous évoquons le cas de ces rapporteurs qui mêlent des jugements de valeurs désobligeants aux critiques fondées qu'ils peuvent faire.

2. Mais,  pour expliquer la question, il faut reprendre à la base & expliquer que quand un manuscrit est soumis à une revue, le secrétariat de rédaction confie à un éditeur le soin de chercher deux rapporteurs, qui vont donc lire le manuscrit & en faire une analyse.
Il y a des situations variées, notamment certaines revues veulent simplement une évaluation du manuscrit, mais généralement, les rapporteurs doivent analyser le texte ligne à ligne & identifier toutes les corrections qui devront être faites pour que le texte soit publiable par la revue.

3.  C'est là où commence la difficulté car "analyse critique" ne signifie pas critique, mais seulement dépistage factuel d'erreurs de tous ordres : les rapporteurs doivent relever les erreurs, les imprécisions, etc., & cela concerne tout aussi bien le projet  scientifique que les fautes d'orthographe.

4. Or la communauté scientifique sait très bien qu'il y a l'écueil de ces rapporteurs qui mêlent des jugements de valeurs à leurs analyses, & cela n'est pas bon :  on a le droit de signaler beaucoup d'erreurs, mais on n'a pas le droit de dire que l'article est "mauvais", & c'est donc la tâche de l'éditeur que de gommer ces phrases qui peuvent être selon les cas méprisantes,  désobligeantes, déplacées, hors de propos...  sachant de surcroit que, comme je le montrerai dans un autre billet, les rapporteurs ne sont pas parfaits, loin s'en faut.

5. Il y a donc lieu d'être prudent quand on est éditeur d'un article à propos de ce que l'on transmets aux auteurs, & c'est là que notre discussion d'aujourd'hui commence : mon collègue avec qui je discutais me disait que, étant scientifiques, nous ne devons pas avoir à craindre les blessures narcissiques & que tout cela n'est pas très grave.

6. Je m'oppose absolument à cette idée & non pas seulement pour ce qui me concerne mais surtout pour tous les jeunes scientifiques nous voulons encourager. Ce n'est pas en tapant sur les cornes de l'escargot qu'on lui permettra d'avancer, ce n'est pas en blessant nos amis que nous créerons une communauté soudée, amicale, cohérente...

7.  D'autant que les rapporteurs sont loin d'être parfaits, & que, bien souvent, on voit des commentaires fautifs !

8. Mon collègue, à qui je réponds cela, me rétorque que si l'on récuse ces rapporteurs déplaisants, personne n'acceptera plus de faire le travail de rapporteur... Mais pas du tout : c'est seulement que nous n'aurons plus ces rapporteurs détestables, & ce sera tant mieux !  

9. En tout cas, il n'y a pas lieu d'encourager un état d'esprit agressif, dans les évaluations (terme mal choisi) de manuscrits. Au contraire, il faut enseigner (je dis  bien "enseigner")  à nos collègues à être civils, gentils, indulgents, encourageants...

10. C'est d'ailleurs la raison pour laquelle j'avais moi-même publié un article qui disait en substance que nous avions moins besoin d'évaluations que d'analyse des manuscrits & de conseils à donner aux auteurs pour qu'ils améliorent ces derniers jusqu'au point de les rendre publiables.

11. En disant cela, je ne cède en rien sur la qualité des textes publiés, qui doit être parfaite. Il doit y avoir autant d'aller-retours que nécessaires pour arriver à la publication, & il est hors de question de publier des articles scientifiques insuffisants.

12. Le jugement des textes par les pairs est un bon principe, qu'il faut conserver (en plus du double anonymat ; voir https://www.academie-agriculture.fr/publications/notes-academiques/lanalyse-critique-des-manuscrits-et-les-conseils-damelioration-donnes), & améliorer. Pour cela, il faut encourager  la gentillesse,  l'intelligence, la droiture... & les qualités scientifiques.