La question de la détermination de la qualité des articles scientifiques est importante, en raison de la "loi du petit Wolfgang", laquelle stipule que, dans un groupe de personnes ou de productions humaines, environ 90 % sont de mauvaise qualité (90 % des enseignants, 90 % des étudiants, 90 % des articles scientifiques, 90 % de nous-mêmes et 90 % de moi-même).
Et parce qu'un mauvais article donne de mauvais résultats, il faut pouvoir évaluer la qualité des articles, au lieu de répéter naïvement ce qui y est écrit. On ne répétera jamais assez que quelqu'un qui cite un mauvais article sans le critiquer se fait attribuer la mauvaise qualité de ce qu'il prend pour argent comptant.
Quant à utiliser les résultats qui sont dans un tel article, c'est pire : si nos fondations sont en sable, nous nous enfoncerons ! J'ajoute, ce qui est une idée un peu différente, que "donnée mal acquise ne profite à personne" (Douglas Rutledge).
Bien sûr, il est scandaleux que certains publient des articles minables, que des rapporteurs (minables) laissent passer des articles mauvais, que des revues (minables) publient des articles mauvais, ayant sans doute procédé à une évaluation minable, mais c'est un fait de la vie, conforme à la loi du Petit Wolfgang, et cela ne sert à rien de se lamenter.
Un conseil aussi : ne faut pas simplement dire "ce papier est mauvais", sauf entre amis, mais surtout identifier clairement ce qui est mauvais, et se demander si des informations qui sont données peuvent être "rescapées" : c'est là une question très difficile, d'ailleurs.
Dans ce qui suit, sur un exemple réel mais transposé (ne cherchez pas le texte original avec Google, car j'ai transposé), nous proposons de discuter des différentes caractéristiques qui peuvent être facilement observées, afin de savoir si un article est mauvais (et dans quelle mesure). A noter que je ne discute qu'une toute petite partie des fautes présentes, car il y en a trop : presque chaque mot est l'occasion d'une erreur pour les auteurs !
"Lire un article"
Bien entendu, quand on lit un article, l'objectif est d'en extraire de l'information, ce qui signifie prendre des notes.
En conséquence, on aura toujours deux documents ouverts en même temps sur l'ordinateur (pas de papier, au 21e siècle) : l'un est la version pdf de l'article lu, l'autre les notes prises.
A noter que l'on y gagne à avoir deux écrans branchés sur une même ordinateur, avec la possibilité que le curseur aille de l'un à l'autre.
Et évidemment, on ne tapera pas de texte, mais on utilisera les touches Ctrl+C (copier) et Ctrl+V (coller), afin de copier exactement ce qui est publié, avec les références. Car une phrase impose une référence (ou plus d'une parfois).
Certains disent que faire une enquête bibliographique ne signifie pas plagiat, mais je ne suis pas d'accord : je ne veux pas que les phrases soient modifiées lors du transfert de l'article original vers le résultat bibliographique, car toute modification d'un texte en change le sens ; si quelque chose a été montré scientifiquement, c'est seulement cela qui a été montré, précisément, et rien d'autre.
Et c'est pourquoi je veux la même phrase que dans l'article original... mais bien sûr avec des références, dont la présence nous prémunit contre le plagiat.
Quelles phrases doit-on recopier ? Très certainement le titre de l'article, avec les auteurs et la référence exacte, mais aussi le résumé (abstract).
Puis, quand tu prendras une phrase de l'article pour la recopier, assortit-la de la ou des références qui doivent accompagner cette phrase, dans la publication que tu lis... mais là, j'anticipe un peu en signalant qu'un article qui contient des phrases sans références est un mauvais article.
Et, en corollaire, je rappelle en passant que la bonne pratique est de regarder tous les article que l'on cite !
Des critiques détaillées
Examinons maintenant un résumé d'un article que nous voulons évaluer:
Abstract Thermal degradation kinetics of chlorophyll and visual colour (tristimulus L, a and b) of beans puree were studied at various temperatures (50-90 °C) for 20 min. Results indicated that the thermal degradation of chlorophyll, tristimulus colour a value (representing greenness) and Lxaxb value (representing total colour) followed first-order reaction kinetics. Activation energies for chlorophyll, green colour and total colour were 42.135, 31. 333 and 40.782 kJ/mol respectively. Higher activation energy signified higher thermal sensitivity of chlorophyll during heat processing of bean puree. A linear relationship described well the variation of total visual colour (Lxaxb) with chlorophyll content of been puree during thermal processing.
Dans la première ligne, on voit le mot "chlorophyll" au singulier, ce qui est surprenant, car les chlorophylles sont des composés qui forment une classe immense, comme l'indique bien l'I.U.P.A.C (j'ai le lien du Gold Book dans ma barre des taches, tant j'y vais souvent !): parler de "la chlorophylle" est idiot, et l'on peut seulement parler d'"une chlorophylle", car les chlorophylles sont des composés des végétaux qui donnent des couleurs à ces derniers ; mieux encore, de sont des composés qui comportent un groupe chlorine, avec d'innombrables variations, et les végétaux terrestres que nous consommons, notamment les "haricots verts" (les gousses immatures de
Phaseolus vulgaris L) [https://www.sciencedirect.com/topics/medicine-and-dentistry/chlorophyll, dernier accès 2020-05-01] sont principalement les chlorophylles a, a', b, b', dont on doit d'ailleurs signaler que la couleur est également due à la présence de dérivés des chlorophylles, et de caroténoïdes.
Tu vois d'ailleurs, en passant, un moyen de citer des sources officielles, précisément (et mieux encore : je donne la date en format ISO, incriticable).
Mais déjà, à ce stade, nous voyons que l'article que nous lisons, celui dont je donne le résumé ci-dessus, est sans doute mauvais.
Bien sûr, on peut être charitable, et donner le bénéfice du doute, mais nous serons désormais vigilant. Voyons donc la suite.
A la seconde ligne du résumé, les auteurs évoquent le système colorimétrique
L, a, b... mais ils semblent ignorer que le consensus international est plutôt le système
L*, a*, b* ! Une deuxième information pourrie, ça commence à faire beaucoup.
Hélas, la suite ne s'améliore pas, notamment quand les auteurs prétendent que le paramètre a représente le vert. C'est inexact : a indique la position du point de couleur sur un axe vert-rouge, et pas seulement la "verdeur". Et, de toute façon, un résumé d'un article scientifique ne doit certainement pas définir des objets déjà définis par la communauté. C'est une information un peu annexe que je donne, mais on devra se souvenir qu'un article scientifique doit être aussi succinct que possible, et ne jamais répéter ce qui a déjà été publié, sauf pour les besoins de compréhensions des lecteurs.
Et puis, ensuite, on voit écrit
Lxaxb, comme si c'était un produit : rien à voir avec un produit, puisque les paramètres L (ou plutôt L*), a (plutôt a*) et b (plutôt b*) sont des coordonnées dans un espace tridimensionnel : il aurait fallu écrire (
L*, a*, b*). Et nous n'en sommes qu'à la sixième ligne !
Nous soupçonnons donc fortement que l'article est mauvais... de sorte que nous ne pouvons pas nous empêcher de nous demander si, vraiment, les quatre chiffres utilisés pour afficher les énergies d'activation sont "significatifs" : nos auteurs, d'ailleurs, savent-ils ce qu'est un chiffre significatif, et en connaissent-ils le maniement ? Pour la suite, nous devrons avoir un "radar" de ce point de vue. Et comme les chiffres significatifs ont un rapport avec les incertitudes de mesure, nous voyons que nous aurons intérêt à nous préoccuper du traitement des incertitudes par les auteurs, et des traitements statistiques des données qu'ils ont produites.
Puis vient la phrase "
Higher activation... bean puree", qui est une tautologie révélant le texte d'imbéciles, avec une information qui, à nouveau, n'a rien à faire dans un résumé. Les auteurs sont sans doute des (mauvais) débutants.
Mais le pire arrive ensuite avec "
described well" : les adjectifs et les adverbes sont "interdits", en sciences de la nature, et ils doivent toujours être remplacés par la réponse à la question "combien ?". Je m'explique : un objet de 10 cm de hauteur est-il "grand" ? La question n'a pas de sens, car il est grand par rapport à une fourmi, mais petit par rapport à une planète.
Et puis, surtout, les auteurs tombent dans la faute de vouloir "bien" décrire des données, au lieu de chercher en quoi leur théorie est fautive. C'est une faute élémentaire, qui montre que les auteurs n'ont rien compris à la nature des sciences de la nature.
Tout cela dans le seul résumé ! On voit que l'article est vraisemblablement très mauvais, mais continuons, avec l'introduction :
Introduction
Beans (Phaseolus), whose pods have an attractive colour, are consumed both boiled and sauteed. Bean puree, paste, sauce, juice and cooked pods are some of the common processed products. In developed countries, 50% of the produce is utilised for processing [1], whereas commercial utilisation of beans in the developing countries is insignificant.
Ici on observe que la première phrase est à la fois idiote, fausse, et sans référence : c'est encore un mauvais signe.
Idiote, parce que nous n'avons pas besoin d'un article scientifique pour nous dire que les humains mangent des haricots.
Fausse, parce que personnellement, je ne trouvent pas que les haricots ont une couleur "
attractive" (attrayante). D'ailleurs, on voit à nouveau un adjectif, ici !
Enfin, sans référence : c'est un fait. Bien sûr, on peut imaginer que la justification de cette phrase serait dans la deuxième phrase, pour laquelle il y a effectivement une référence.... mais comment cette référence pourrait-elle justifier quelque chose de faux ?
Ce qui est pire, c'est que cette introduction est beaucoup trop générale : il y d'innombrables variétés de haricots :
Phaseolus vulgaris L (qui produit les gousses immatures communément nommées haricots verts), mais aussi haricots rouges, blancs... et toutes ont des couleurs différentes. Les haricots verts sont verts, les haricots blancs sont blancs, les haricots rouges sont rouges... De quels haricots s'agit-il ici ? Cela n'est pas dit, et l'on voit aussitôt une autre faute... alors que nous n'en sommes qu'à la première phrase.
Plus positivement, la règle ici est de donner le nom latin binomial, en précisant la variété.
Passons à la suite : les haricots seraient consommés bouillis et sautés : où est la preuve de cette affirmation ?
Et, surtout, quel intérêt à encombrer la publication d'une phrase si bête ?
Ensuite, les purée, pâte, sauce, jus sont donnés sans définition, sans référence... alors que :
1. la liste n'est pas garantie exhaustive
2. ce qui est une sauce, pour une culture donnée, ne l'est pas pour une autre.
Puis vient une phrase dont je suis certain qu'elle est fausse, car tous les pays ne cuisinent pas de la même façon, ne traitent pas les haricots de la même façon (par exemple, les Japonais font des haricots un dessert). Au minimum, un intervalle se serait imposé.
Quant à la dernière phrase, elle contient encore un adjectif : "
insignificant". Ce terme est... insignifiant, car la question est encore "Combien ?". Et ici, on sent bien que c'est par paresse qu'il n'y a pas de réponse à la question.
Nous en faut-il davantage pour conclure que cet article est mauvais ? Allons, une petite resucée :
of flowers, fruits and vegetables [5]. The colour of chlorophylls-containing media depends on the structure and concentration of the pigment, pH, temperature, light, co-pigments, enzymes, oxygen, metallic ions, sulphur dioxide, sugar, etc. The hydroxyl group at C-11 is highly
Qu'est-ce qu'un "
medium?" Ici, impossible de le savoir. Mais oui, la couleur dépend de paramètres variés, mais où est la preuve : autrement dit, pourquoi les auteurs ne donnent-il pas de références ?
Le "etc." est particulièrement nul, car c'est bien la suite de l'énumération qui est intéressante... et que nous n'avons pas. Au fond, n'aurait-il pas été plus simple d'indiquer que l'absorption de certaines composantes de la lumière, à des fréquences caractéristiques, sont déterminées par l'environnement moléculaire des anthocyanines ?
oxide, sugar, et. The hydroxyl group at C-11 is highly significant, because it shifts the colour from green-yellow to blue. High temperature leads to the production of
Et allons donc ! Maintenant, nous trouvons un "
highly significant" : l'inanité de l'adjectif est empirée par la présence de l'adverbe. Cette fois-ci, notre premier sentiment est confirmé : les auteurs ne savent pas rédiger une publication, et, pire, ils sont bêtes ou paresseux, nous prennent pour des idiots. Mais je m'arrête de le signaler, en observant toutefois que la "couleur" est pas un objet de science : il faut évoquer des bandes d'absorption lumineuses, ou des paramètres colorimétriques
L*, a*, b*.
Je dis cela parce que les imprécisions conduisent à des erreurs, comme dans un passage suivant :
Generally, the pigment measurements is done spectrophotometrically. This technique does not reflect the total colour, while measuring the absorbance of the extract
L'adverbe "
generally" est fautif, car "beaucoup" de scientifiques (il faut utiliser
Google analytics pour avoir des statistiques font de la colorimétrie.
Et je termine avec ce passage :
The colour degradation kinetics of food products is a complex phenomenon and it models to predicts experimental colour change, which can be used in engineering, are limited; however empirical
qui contient le mot "
complex" : c'est l'occasion de dire à mes amis que les mauvais collègues utilisent ce mot quand ils ne comprennent pas, ou qu'ils n'ont pas fait le travail, ou bien encore qu'ils veulent montrer combien ils sont savants, à étudier des choses si au-dessus des moyens des autres ! De la prétention, tout comme on est averti qu'on en rencontrera à la seule présence du mot "important".
Mais abandonnons l'introduction, qui est difficile à rédiger pour ceux qui n'ont pas de méthode, et arrivons à la partie
Materials and Methods, qui est celle qui nous dira ce que vaut le travail rapporté. On se souviendra, ici, que les résultats d'expériences mal conduites ne valent rien.
Ici, nous pressentons que l'article est mauvais, mais pourrions-nous conserver au moins les résultats transmis par les auteurs ? Lisons.
Materials and methods
Preparation of puree. Immature green beans (Cv . Maxibel) were procured locally, washed in running tap wate and sorted. Sound pods were heated to 60 °C for 15 min and mashed in a puree. The puree was sieved (14-mesh) to obtain a product of uniform consistency. The total soluble solids and pH of bean puree were respectively...
Ah, la variété des haricots est donnée : merveilleux... mais que signifie "mature" ? Comment les auteurs le savent-ils ? Comment peuvent-ils nous ne assurer ? Et quel est leur critère de maturité ?
On lit ensuite que les haricots ont été achetés chez un épicier du coin et lavés... mais comment ont-ils été lavés ? En frottant ? Dès que les haricots ont été achetés ? Après un stockage ? Qui s'est fait comment ? Avec quelle eau ? Quels ions étaient-ils présents ? Pourquoi les auteurs de l'article n'ont-ils pas utilisé de l'eau désionisée ?
Ensuite, on parle de fruits "sains", et l'on comprend que je critique ce terme, parce que l'on ignore ce que cela signifie. Les haricots ont été "sorted" : de quoi s'agit-il ? Qui a fait quoi et comment ? Ici, il faut répéter que les parties de
Materials and Methods doivent être si précises que n'importe qui, à l'autre bout du monde, doit pouvoir reproduire l'expérience, et retrouver les mêmes résultats. Il est d'ailleurs utile de savoir que certaines revues scientifiques commettent des éditeurs qui, systématiquement, reproduisent les résultats, et l'on verra dans mon article sur la reproductibilité que cela est un facteur de découverte scientifique.
Là, on comprends que nos auteurs ne seront pas meilleurs dans cette partie qu'au début du texte. Les haricots ont été chauffés à 65 °C... Comment, avec quelle montée en température ? Ils ont été broyés : comment ? On saura combien cette dernière question est essentielle quand on se reportera à des expériences effectuées sur du pistou, lors d'un séminaire de gastronomie moléculaire : les broyages de feuilles de basilic (
Ocimum basilicum L. Grand vert) au mixer, ou bien au mortier et pilon, ont conduit à des couleurs entièrement différentes (vert printemps et vert sapin, désolé pas de colorimétrie), et des consistances également différentes (désolé, pas de granulométrie faite).
A propos du pH, les auteurs donnent 3 chiffres significatifs, mais je ne crois certainement pas au troisième, surtout par des scientifiques aussi médiocres ! Bien sûr, je peux me tromper, mais tout le début de cet article est si mauvais que nous aurions raison d'être prudent, non ? Nos auteurs savent-ils au minimum qu'il existe de bonnes pratiques (AOAC, etc.) d'utilisation des pH-mètres ? Savent-ils que ces appareils se calibrent avec des solutions étalon ? Savent-ils que la température se contrôle ? Ont-ils répété les mesures trois fois, afin de produire une moyenne et un écart-type ?
Nous n'avons aucune certitude que nos auteurs aient bien fait, ici, parce qu'ils ont mal fait plus loin, en ne prenant qu'une mesure de couleur par échantillon ! Et, pis encore, ils n'ont pas répété l'expérience au minimum trois fois. Décidément, il y a lieu de s'interroger : comment est-il possible qu'une revue ait laissé paraître un tel article ?
Enfin, à propos des
Results je vous invite à considérer cette figure :
Ici, je n'ai pas pris les indications des abscisses et des ordonnées, mais elles y étaient : pas de lézard, à ce propos. En revanche, il n'y a pas d'indication des incertitudes sur le dosage des chlorophylles... parce qu'il n'y a pas eu de répétition ;-(. Mais le pire (disons le plus pernicieux), c'est sans doute le fait que ce diagramme était logarithmique, qui transforme presque n'importe quelle variation en une variation linéaire : c'est à la fois une mauvaise pratique personnelle, et une pratique de communication pourrie.
En passant, nous trouvons des erreurs de détail, telles des fautes de typographie :
Eq.4 described very well the degration of the b value of bean puree over the entire temperature range. The R^2; valueswere greater than 0.821 while the standard error values were less than 0.00005 in all cases.
Comment est-il possible que l'on trouve ce "
valueswere" ? Manifestement l'écriture, puis l'édition, puis la relecture d'épreuves ont été bâclées.
Et ainsi de suite, jusqu'à la conclusion, où aucun mécanisme n'est proposé.
Oui, cet article est très mauvais (un adjectif, un adverbe, parce que je suis en colère)... mais il a eu le mérite de me permettre de souligner les fautes que l'on rencontre le plus souvent.
Il pose quand même la question de savoir ce que l'on peut en faire :
1. Le citer ? Ce serait lui faire de la publicité, d'une part, et, d'autre part, si nous le citons sans le critiquer, nous risquons que l'on reporte sur nous-mêmes les critiques qu'il mérite de s'attirer
2. L'utiliser ? Le travail est si médiocre que l'on aurait raison à ne croire à rien de ce qui est dit dedans. Du point de vue de la production de connaissances nouvelles, cet article est nul et non avenu, et il incite plutôt à refaire les expériences pour montrer combien les auteurs sont mauvais... ce qui ne serait ni charitable ni intéressant. On se souviendra que "données mal acquises ne profitent à personne".
Résumons
Oui, faisons maintenant un bilan, en donnant quelques pistes pour nous-mêmes, mais qui départagent aussi les bons et les mauvais articles:
- pas d'adjectifs ni d'adverbes
- toute information doit être justifiée par une ou plusieurs références
- les références doivent être celle du premier découvreur de l'information, et du dernier à avoir amendé l'information
- l'expérience doit avoir été répétée
- les mesures doivent avoir été répétées
- pas de mesure sans une indication de l'incertitude
- les diagrammes log-log sont dangereux
- les
Materials and Methods doivent être parfaitement précis ET justifiés
- il ne doit y avoir aucun arbitraire
- les diagrammes doivent indiquer les incertitudes
- les résultats doivent être indiqués avec le nombre approprié de chiffres significatifs
- en cas de comparaison, un test statistique doit avoir été fait
- les discussions ne se limitent pas à un simple "on trouve comme xx ou yy"
- et bien plus : on lira avec intérêt
1. http://www.agroparistech.fr/-Les-bonnes-pratiques-scientifiques-.html
2. la toute fin des DSR (les "documents structurants de recherche", que nous utilisons dans le Groupe de gastronomie moléculaire), où je donne une liste bien plus complète qu'ici.
