Comment reconnaître un mauvais article scientifique, et qu'en faire ?

 
Il y a des questions lancinantes, surtout depuis que les scientifiques sont évalués au nombre d'articles qu'ils publient et que certains (peu, heureusement) publient à toute vitesse, presque n'importe quoi, ce qui s'ajoute aux mauvais articles du passé, dus à des scientifiques médiocres (il y en a de bons, heureusement) : comment reconnaître un bon article, et que faire d'un mauvais article ? 

Il faut dire que la communauté scientifique est consciente du problème, et la question est explicitement posée dans des réunions scientifiques ou pédagogiques. Oui, le système d'évaluation par les pairs commence à être débordé, notamment depuis que des pays comme la Chine ont ouvert leurs frontières, submergeant les revues, les comités de lecture, les rapporteurs potentiels ; et c'est sans doute la brèche dans laquelle se sont engouffrées les revues "open", qui publient contre finances des textes que les auteurs ne parviennent pas à publier dans de bonnes revues. 

En corollaire, ce fléau pèse sur aussi les scientifiques qui font leurs recherches bibliographiques et doivent être particulièrement vigilant, quant à l'origine des données qu'ils conservent et utilisent. 

Comment reconnaître un mauvais article ? Il y a des signes qui ne trompent pas. Par exemple : - dès le début de l'article, des affirmations sans référence, - ou encore des informations vagues (depuis longtemps, un certain nombre...), - des adjectifs ou des adverbes au lieu d'utiles quantifications - "essentiel" ou "important" : fuyons ces arguments d'autorité... - des informations accessoires, qui ne seront pas utilisées dans la discussion scientifique, ou qui sont de la simple culture générale : ce n'est pas le lieu ! - des nombres avec des chiffres qui ne sont manifestement pas significatifs : cela, c'est plus grave, parce que si nos auteurs font des comparaisons, elles seront vraisemblablement nulles et non avenues, alors même qu'elles sembleront "établies". Et le plus grave, c 'est que l'article, s'il a été publié, a donc été mal édité, par des éditeurs et des rapporteurs également médiocres, pour ne pas dire plus - puis, dans les "Matériels et Méthodes", il y a tout une série de fautes possibles, qui vont de l'imprécision dans les descriptions - à la non justification des méthodes mises en oeuvre - ou de méthodes qui n'ont pas été validées - et, dans les résultats, la confusion entre les résultats et leur interprétation - la publication de données sans évaluation d'une incertitude - et des conclusions qui vont au delà de ce qui a été établi Je m'arrête ici, parce que la liste est longue, et mériterait une collaboration de la communauté, afin d'aider les jeunes scientifiques à éviter ces erreurs. 

Passons donc à la seconde question, qui est de savoir quoi faire des informations publiées dans un article qui a été reconnu mauvais ? Par exemple, si les chiffres significatifs ne sont pas bien gérés, alors les comparaisons qui auront été faites d'après ces chiffres n'ont pas lieu d'être. 

Dans un tel cas, la marche à suivre est donc simple : on peut rien retenir des interprétations. Mais on pourrait aussi imaginer de refaire les calculs, à partir des valeurs ramenées à leur affichage correct, et, d'ailleurs, rendre service à la communauté en publiant un erratum... qui nous vaudra de nous brouiller avec l'équipe qui a publié les résultats initiaux. Cela suppose évidemment que les données soient justes, à défaut d'être correctement affichées ! 

Et là se pose la question des "Matériels et méthodes" : je milite pour que cette partie soit toujours avant les résultats, car pourquoi perdre son temps à considérer des résultats qui pourraient être nuls, en raison d'une mauvaise méthode ? Finalement, je ne vois pas de règle générale à appliquer, pour répondre à cette seconde question, et je compte sur mes amis pour m'aider à en élaborer une.

Précisions culinaires

Depuis des décennies, je collectionne des "précisions culinaires". Pourquoi ce terme ? 

Parce la langue française n'en avait pas d'appropriée. Que l'on en juge : 

Dicton : « A. Raillerie, pot plaisant et piquant contre quelqu’un (Ac. 1798-1878). B. Sentence exprimant une vérité d’expérience sous une forme imagée, généralement d’origine populaire, et passée en proverbe dans une région donnée. » La seconde acception est très forte, en ce sens qu’elle impose au dicton d’exprimer « une vérité d’expérience ». A ce compte, aucun dicton n’est faux ! Peut-être vaudrait-il mieux admettre que, en réalité, le dicton est un « jugement de raison », de dictum, mot, sentence, puisque Calvin (Institution chrétienne, éd. 1561) le prend pour « sentence populaire ». 

Sentence : « A. Maxime énonçant de manière concise une évidence, une vérité chargée d’expérience ou de sagesse et renfermant parfois une moralité. B. Décision. C. Opinion, avis solennellement formulé. », avec pour étymologie (ca 1155, Wace, Conception ND) : « Maxime, opinion exprimée d’une manière dogmatique ». On retrouve la vérité, au pire la sagesse… et l’invitation explicite à regarder : 

Maxime : « A. Précepte, principe de conduite, règle morale. B. Proposition, phrase généralement courte, énonçant une vérité morale, un règle d’action, de conduite (synonyme : sentence, pensée, aphorisme). ». Etymologie : ca 1485 « règle de conduite, appréciation ou jugement d’ordre général » (Mystère du Vieux Testament) ; 1657 : « formule lapidaire énonçant un jugement d’ordre général » (Pascal, Provinciales, IV). 

Précepte : « A. Proposition, prescription énonçant un enseignement, une conduite à suivre, une règle à observer, généralement formulée par une autorité incontestée dans un domaine précis. B. Conseil, recommandation dicté par la sagesse et l’expérience. » L’étymologie renvoie à praeceptum, leçon, règle, commandement, prescription. Si « proposition » est clair, « prescription » s’ajoute à notre liste ; « règle », également, d’autant qu’elle est associée à une « autorité », dont nous avons déjà discuté la présence, à propos de la recette initiale de Carême. « Conseil », « recommandation » sont également des ajouts à notre liste, tout comme les « leçons », « commandements ». Leur sens étant clair, voyons plutôt : 

Aphorisme : « Proposition résumant à l’aide de mots peu nombreux, mais significatifs et faciles à mémoriser, l’essentiel d’une théorie, d’une doctrine, d’une question de savoir ». Ce cheminement parti de « dicton » a laissé de côté : 

Adage : « Formule généralement ancienne, énonçant une vérité admise, un principe d’action ou une règle juridique ». Au passage, nous y trouvons les idées d’ « opinions » et de « convictions », qui relèvent nettement du sentiment, et nous rencontrons le « principe d’action », qui est nouveau. Nous avons également omis : 

Proverbe : « A. Sentence courte et imagée, d’usage commun. B. Phrase qui contient une sentence et qui exprime une vérité générale. » Truc : « A. Façon d’agir qui requiert de l’habileté. B. Dispositif, manipulation discrète qui permet de réussir. » La consultation de l’étymologie devra nous faire examiner le « procédé ». 

Procédé : « Moyen utilisé en vue d’obtenir un but déterminé », avec une origine, en 1560 : « manière de s’y prendre. Avec la manière, il y a la main, la façon d’utiliser celle-ci, ce qui relève bien de la précision, comme : 

Tour de main : « Mouvement adroit de la main permettant de réussir quelque chose, manière spécifique de procéder. » 

Astuce : « B. Adresse déployée pour échapper à des circonstances difficiles. » L’étymologie nous rappelle l’existence de moyens, de savoir-faire. 

Mode d’emploi : « Manière d’employer quelque chose », ou encore « Instruction » 

On-dit : « Rumeur, nouvelle qui se répand dans l’opinion et dont l’origine et l’authenticité sont incertaines ».

A propos de vulgarisation

Je retrouve un dessin humoristique où l'on voit deux personnes qui lisent un livre. L'une, renfrognée, lit un litre intitulé "science", et  l'autre  rit aux éclats en lisant un livre intitulé "vulgarisation scientifique". 

Évidemment, c'est une caricature, car il y a des scientifiques qui sont parfaitement joyeux d'apprendre, de découvrir,  et, d'autre part, il y a des textes de vulgarisation qui sont parfaitement ennuyeux, notamment quand on ne donne pas les moyens de la preuve et qu'on se contente de dire la fusée à décollé au lieu d'expliquer comment on a réussi à faire décoller.

D'ailleurs, cette caricature se trouve... dans une revue de vulgarisation. 

Et pour ce qui me concerne, je préfère avoir, au   chevet de mon lit, des livres ou des articles  de science écrits par des collègues remarquables plutôt que des textes de vulgarisation faits par des journalistes médiocres, mais, inversement, je préfère des articles de vulgarisation très bien faits à des articles minables. On ne compare pas les oranges et les ananas.

Rions en lisant les publications scientifiques

 Je sais bien qu'il faut être charitable mais quand même : lisant des publications scientifiques, je trouve bien trop souvent des phrases dont je ne peux m'empêcher de me moquer. 

Et je retrouve un document ancien qui faisait déjà de même. Comme il est en anglais, je le traduit pour mes amis francophones :

 on sait depuis longtemps  =  je ne me suis pas ennuyé à aller chercher les références originales

Il est de grande importance théorique et pratique = cela m'intéresse

Alors qu'il n'a pas été possible de trouver une réponse à ces questions = les expériences ont échoués mais je me suis dit qu'on pourrait quand même publier

Extrêmement pur = de composition inconnue sauf en ce qui concerne les déclarations exagérée du fournisseur

Nous avons effectué une pléthore d'analyses =  nous avons fait quelques mesures

3 des échantillons ont été retenus pour une étude détaillée =  les autres échantillons donnaient des résultats incohérents et nous les avons donc ignorés
 

tachée accidentellement lors de la fixation = on la laissée tomber par terre 

manipulée avec le plus grand soin pendant les expériences les expériences = on ne l'a pas fait tomber par terre 

des résultats caractéristiques sont montrés = voici les meilleurs résultats que nous avons obtenus, les meilleures valeurs
 

les meilleurs résultats sont ceux de Jones = c'est un de mes étudiants 

on pense que = points je pense 

il est généralement admis que = il y a quelques collègues qui pensent comme moi 

 on pourrait argumenter que = j'ai une si bonne réponse à cet objection que je vais la proposer 

correct pour ce qui est de l'ordre de grandeur : faux 

il est clair que beaucoup de travail sera nécessaire avant d'obtenir une compréhension complète = je ne comprends rien 

on espère que ce travail encouragera d'autres études du même type = cet article n'est pas très bon tout comme ceux de mes collègues qui étudient ce sujet sans intérêt 

 j'adresse des remerciements à x pour l'assistance pour les expériences et à y pour les discussions profitables = x a fait tout le travail et y m'a expliqué ce que ça signifiait

Complexe ? Réfléchissons avant de dire ou d'écrire le mot.

Relisant un article ancien sur ces plaques qui se forment à la surface du thé qui refroidit, je m'amuse d'y trouver le mot "complexe" en fin d'article, pour décrire le réseau organique qui est associé à calcium notamment : les auteurs disent que le matériau des plaques est complexe. 

En réalité, les travaux ultérieurs ont assez bien montré qu'il n'y avait pas de grand mystère, et le mot complexe signifiait surtout "inconnu". 

Je prends cet exemple... comme un exemple, et j'invite mes amis à se surveiller quand il se préparent à dire ou à écrire le mot complexe,  à s'interroger quand il le lisent sous la plume d'un collègue. 

J'ai l'impression (provisoire, toujours provisoire) que en général le mot complexe indique seulement que la personne qui l'emploie ne comprends pas, et  que la complexité n'est qu'inversement proportionnelle à son entendement. 

Dans un autre article, j'ai discuté la question des adjectifs et des adverbes qu'il faut éviter le plus possible  lors de la rédaction de textes scientifiques,  : le plus souvent, nous devrions  les remplacer par la réponse à la question "Combien ?".
Ici, je crois que le conseil est bon : complexe, mais combien ? 

Certes, il y a des systèmes fait de nombreuses parties, des enchaînements de phénomènes dont la causalité nous échappe : felix qui potuit rerum cognoscere causas (heureux qui peut connaître la cause des choses), disait Virgile.  Il y a aussi des systèmes avec des parties interdépendantes, dans un vaste réseau d'actions et de réactions. I y a des systèmes pour lesquels il a été montré que les frottements ne suffisaient peut-être pas à assurer la stabilité, tel le système solaire.

Surtout, je crois comprendre que nous n'avons pas fait le travail suffisant pour bien poser la question de la complexité, car même dans des cas simple, les choses sont en réalité... complexes.
Par exemple, on peut effectivement calculer les orbitales d'un système de l'ion H2+, fait de deux protons et d'un électron, mais c'est parce que nous avons simplifié considérablement le système, avec des hypothèses, certes raisonnables, mais quand même simplificatrices. Par exemple, nous supposons les noyaux immobiles : ils le sont... presque. D'autre part, there are  wheels within wheels, il y a des rouages dans les rouages, car les protons sont des particules constitué de quarks, et notre description n'en tient pas compte. Oui, les résultats du calcul sont raisonnables, éventuellement bons, mais il n'en reste pas moins qu'il y a lieu de nous en émerveiller, tant les véritables systèmes sont plus... complexes que nos simplifications.

Pour en revenir au mot complexe, soyons charitable avec les autres et avec nous-même : parfois, nous pouvons l'employer sans avoir à rougir de honte. Mais si nous voulons faire de la bonne science et non pas une communication, si nous visons la compréhension du monde, plutôt que d'impressionner nos collègues nous avons intérêt à nous interroger sur l'emploi du mot "complexe".

L'invention des sciences de la nature

Dans un billet précédent, je relisais Francis Bacon pour savoir si oui ou non il avait été à l'origine de la méthode scientifique que nous avons aujourd'hui et ma conclusion était que plutôt non mais quand même oui.

 Je m'explique : nos idées actuelles ont été longuement forgées et il a fallu nombre de personnes pour y parvenir. 

Pour la méthode scientifique, la physique et la chimie, la biologie ont marché à des pas différents. Il est clair que c'est la mécanique et l'astronomie qui ont commencé à l'époque de l'Antiquité grecque, mais c'est donc vers la Renaissance que les sciences modernes sont lentement apparues, et notamment quand l'algèbre a été façonné. 

Ce n'est pas d'ailleurs Descartes tout seul qui est arrivé à cela car il y a eu également des personnages importants comme Viete, mais progressivement, les capacités de calcul se sont augmentées et l'utilisation de ces dernières, alliée à une grande rigueur dans l'étude des phénomènes, rigueur qui se débarrassait autant que possible des préjugés philosophiques, est arrivé à une mathématisation de la physique et à sa constitution en sciences de la nature, tenant sur les deux pieds que sont l'expérience et le calcul.

Pour la chimie, c'est ensuite à l'époque de Lavoisier que les choses se sont faites mais on n'était pas encore à nos idées complètement modernes puisque Chevreul, une génération après Lavoisier, parvenait encore à faire œuvre originale avec sa méthode à posteriori expérimentale. 

Aujourd'hui les choses sont bien plus claires et on voit bien  la méthode scientifique repose sur le travail de nombreuses personnes tout également importante. Il y a une espèce d'idées  enfantine à vouloir attribuer à une seule personne des avancées qui sont en réalité dues à plusieurs.

Vous avez dit "scientifique bougon" ? Non.

Je retrouve un article écrit par un collègue décédé et que je ne citerai donc pas puisque je veux le critiquer. Il s'agit d'un texte d'histoire des sciences qui commence en disant que les scientifiques seraient bougons, parce qu'ils seraient perdus dans leurs pensées. 

D'emblée, la généralité me gêne et notamment parce que je connais nombre de collègues qui ne sont pas bougons mais au contraire très enthousiastes, très joviaux, joeux, positifs... 

Bien sûr, nous connaissons des collègues prétentieux, ou autoritaires, mais ceux-là ne sont pas bougons : ils sont prétentieux ou autoritaires.
Nous connaissons des collègues perdus dans leurs pensées, absobés par des phénomènes qui les passionnent, mais ceux-là ne sont pas non plus bougons : ils sont simplement absents, étourdis...
Nous avons aussi des collègues qui se sont réfugiés dans les sciences pour échapper à des relations sociales qui leur pèsent, et cela sont moins bougons que timides ou peureux, par exemple (j'insiste sur le "par exemple").

Bref nous avons des collègues de tas de sortes, et la phrase introductive de mon collègue me paraît bien fautive... d'autant plus qu'il l'appliquait un personnage de l'histoire des sciences qu'il n'a pas connu.

Il y a d'ailleurs un phénomène à prendre en compte, pour interpréter le comportement de certains scientifiques : quand on s'entraîne à réfuter des théories, à ne pas croire ce qui a été dit par le passé, fut-il récent, à ne pas accepter même ses propres idées théoriques en les sachant fausses par principe, alors on a vite un comportement socialement étrange, car si l'on se critique soi-même, comment pas ne pas critiquer les autres ?
Pour autant, cela ne signife pas être bougon :  cela peut apparaître mordant, impoli, que sais-je mais pas bougon.