Une méthode professionnelle ? Ce n'est pas du baratin au café du commerce

Une méthode professionnelle,  ce n'est pas un baratin tel qu'on le tient au bistrot !

Dans un jury de concours, un de mes collègues demande à un candidat quelle est sa méthode pour chercher de l'information, et nous entendons un discours très long qui nous dit finalement que, parmi les professeurs de cet étudiant, il y en a un qui est très bien et que l'on peut interroger pour obtenir de l'information.

Je résume ici ce qui a fait l'objet d'un (trop) long développement, en beaucoup de phrases qui n'ont pas convaincu (d'accord, nous sommes bêtes, mais pas au point de ne pas comprendre  une réponse) et qui, en réalité, sont un peu rédhibitoires, en ce sens qu'elles voulaient nous "bourrer le mou".

Mais qu'importe, je prends  surtout cette anecdote comme une occasion d'expliquer à des jeunes amis qu'une méthode professionnelle (la recherche d'informations professionnellement utiles) n'est pas une sorte de vague sentiment, et certainement pas la consultation d'une personne isolée, puisque même si cette personne est merveilleuse, elle est humaine, donc insuffisante.

La recherche d'informations se fait au minimum par croisement de plusieurs informations.

Mais il y a aussi la question du niveau d'information voulu, et c'est ainsi que, dans mes cours de Master, je m'élève périodiquement contre des dessins de vulgarisation que l'on nous propose  : un cours de Master, ce n'est pas une histoire qu'on raconte aux enfants à la veillée.

En science et la technologie, il y a l'équation, le quantitatif, et c'est un minimum professionnel que la description soit en ces termes.

Un conte, c'est bon pour des enfants que l'on endort, mais ce n'est pas professionnel,  parce que ce n'est pas réfutable, pas quantitatif.

Et puis,  qui nous prouve que ces informations soient justes, que les descriptions données soient légitimes ?

Seule la question quantitative permet de trancher, de sorte que l'on peut déjà conclure que  la recherche d'informations passe nécessairement par l'obtention d'informations quantitatives, croisées les unes aux autres, avec un objectif initialement bien fixé.

Oui, un objectif bien fixé : une question précise, une analyse terminologique de la question pour qu'elle soit bien posés et qu'elle puisse être bien explorée.

Mais, ensuite,  un ensemble de sources qui ne se résume pas paresseusement à une seule.

Bref il y a une méthodologie de la recherche d'informations, qui mérite mieux qu'un paresseux "Je vais demander à un gentil professeur".

J'ajoute que l'objectif de ce billet n'est pas de dénoncer la paille dans l'oeil de candidats,  mais,  au contraire, de rendre service aux futurs candidats... en évitant la poutre qui pourrait venir dans notre œil à nous.

Et si les validations avaient une autre fonction que celle de retrouver ce qu'on sait déjà ?

 

 Je suis bien d'accord  : il faut y aller par étape. Et, à propos de validation en recherche scientifique, à propos d'enseignement de la science et de la technologie, la première chose à faire, c'est de prononcer le mot "validation"  aux étudiants, de leur expliquer que cela fait partie du travail scientifique quotidien.

Car oui, quand on fait une expérience, il y a lieu de valider un résultat que l'on a obtenu, c'est-à-dire de le répéter pour obtenir une confirmation de ce que l'on a trouvé.

Pour la science les aliments, notamment,  et la gastronomie moléculaire et physique en particulier, il est courant de faire trois fois la même expérience au minimum :
- avec la première, on obtient un résultat ;
- avec la deuxième, on a un résultat qui peut être soit proche, soit éloigné  : dans les deux cas, cela peut être du hasard
- avec la troisième expérience, il devient possible de savoir si le proche est probablement vraiment proche, ou si l'éloigné est le signe d'une des deux premières expériences ratées, ou encore s'il y a beaucoup de diversité dans la grandeur finalement déterminée.
Je n'insiste pas, mais il y a là une question épistémologique passionnante.

De même, pour les calculs :  pour s'assurer que l'on ne s'est pas trompé,  il y a lieu les valider, et l'on peut faire cela de plusieurs façons, comme avec la détermination d'un ordre de grandeur, ou par l'étude des unités, mais rien ne vaut le fait de retrouver le même  résultat par un autre calcul différent du premier.

Et ces validations expérimentales ou théoriques s'imposent absolument, car "le diable est  partout" : derrière tous les gestes expérimentaux,  derrière tous les  calculs, derrière tous les mots, derrières toutes les pensées, toutes les idées...

Il y a lieu de s'assurer que l'on n'a pas versé dans une des mille erreurs possibles, ou,  plus exactement, puisque nous savons qu'il y a mille possibilités d'erreurs, il y a lieu s'assurer qu'il n'y en a pas de gravissimes qui détruiraient tout ce que nous avons produit.

Mais, personnellement, je n'ai jamais entendu ce mot de "validation" quand j'étais étudiant, et je le déplore, tout en me promettant bien d'en faire état le plus possible aux plus jeunes que je rencontre.

Tout cela étant dit, réfléchissant à cette question de validations, j'ai fini par me souvenir que les projets n'ont pas un seul objectif mais plusieurs, et c'est ainsi qu'ils sont puissants.

Pour les validations, ne pourrions-nous part également penser que nous avons lieu d'être heureux si nous ne trouvons pas ce que nous avons produit la première fois ?
Car en réalité, nous cherchons moins des confirmations de nos théories que des réfutations de celles-ci. Et c'est précisément en nous attachant aux petites différences entre les répétitions d'une expérience que nous avons des chances d'aller plus loin que celle-ci, de progresser par rapport aux premiers résultats que nous avons obtenus.

Les moyens de la preuve

Je veux les moyens de la preuve !

De façon très élémentaire, je réclame absolument que toute mesure soit assortie d'une évaluation de l'incertitude. Soit on indique  la précision de l'appareil de mesure, soit on donne l'écart-type, c'est-à-dire une estimation de la dispersion de plusieurs mesures successives du même objet avec le même appareil et dans les mêmes conditions.

Prenons un exemple : si un thermomètre plongé dans de l'eau chaude affiche une température de 50,2463 degré Celsius, il faut quand même que je m'interroge sur la pertinence de tous ces chiffres après la virgule, car leur affichage est peut-être abusif (de même, il n'est pas légitime de se demander combien d'anges tiennent sur la tête d'une épingle si on n'a pas d'abord montré sur les anges existent). Bref, les chiffres doivent être "significatifs". En l'occurrence, avec un thermomètre à mercure des familles, ces chiffres après la virgule ne le seraient pas, et même le 0 devant la virgule n'est sans doute pas juste.

Cette question d'assortir les mesures d'une incertitude est un  tout petit minimum, en science,  mais ce billet veut dire que, ce cap élémentaire étant passé, il y a lieu de ne pas accepter une mesure dont on ne nous dit pas comment elle a été obtenue, ce que les publications scientifiques nomment les "matériels et méthodes", mais que l'on pourrait aussi nommer "les moyens de la preuve", sans que les deux objets ne soient strictement identiques (mais commençons par faire simple).

Par exemple, un appareil de mesure peut afficher des valeurs précises... mais fausses, et, pire, on peut n'avoir pas mesuré ce qu'il fallait. Je prends volontairement un exemple bien excessif : si on pose sur une balance un verre qui contient un liquide, la balance affiche une valeur qui est celle de la somme de la masse du liquide et de la somme de la masse du verre : il serait faux de penser que la masse affichée est seulement celle du liquide. Comme dit, cet exemple semble montrer une évidence, mais, en réalité, des erreurs s'introduisent pour une raison cachée du même type. Et c'est d'ailleurs une des raisons de la pratique des "validations" : on multiplie les mesures faites de façons différentes afin de s'assurer que l'on trouve bien le même résultat.
Evidemment, pour être compétent en science, il  faut s'être entraîné à cela : regarder, en détails, comment les résultats qu'on nous propose ont été obtenus, ne pas accepter des valeurs sans examen critique, réclamer sans cesse le détail des matériels utilisés pour faire les expérimentations, ainsi que des méthodes mises en oeuvre.

Insistons un peu : nous regardons les détails, les circonstances expérimentales non pas parce que nous nous défions de nos collègues, mais parce que, en science  au moins, le diable est caché partout.



Des chausses-trappes?

Des chausse-trappes ? Il n'y a que cela. Par exemple, je me souviens d'un thermomètre, dans un lycée hôtelier, qui marquait 110 degrés Celsius dans l'eau bouillante. Impossible : le thermomètre était faux... ainsi que toutes les mesures qui avaient été faites par d'autres, avant que je ne contrôle, en le plaçant d'abord dans de la glace fondante (0 degrés Celsius) et dans l'eau bouillante (100 degrés Celsius).
Plus subtil : avec une nouvelle méthode d'analyse par résonance magnétique nucléaire, nous avons découvert que nous dosions plus de sucre, dans des carottes, qu'il n'en était trouvé par les méthodes qui imposaient d'extraire d'abord les sucres, avant de les doser. Mais il est notoire que les méthodes d'extraction sont incomplètes !

Tiens, une idée : même si l'expérience est intransmissible, pourquoi ne ferions-nous pas une liste d'exemples d'erreurs dont nous avons connaissance, afin que nos successeurs puissent en avoir connaissance. Bien sûr, ils ne seront pas complètement immunisés, mais, au moins, ils seront mieux avertis que par une mise en garde générale, abstraite. Je commence :

Je me souviens d'une amie qui dosait les protéines dans des échantillons d'un matériaux qu'on lui avait dit être des "protéines" et  qui trouvait très peu de protéines... et pour cause :  cette matière n'était pas essentiellement constituée de protéines, mais de matière grasse.

Je me souviens d'un ami qui cherchait à doser les "lipides" dans de l'eau, oubliant que le mot "lipides" s'applique à des composés très variés ; il pensait en réalité aux triglycérides, qui sont parfaitement insolubles, de sorte que ses expériences étaient vouées à l'échec, sauf à considérer que ces composés étaient dispersés dans la solution aqueuse (émulsion)... auquel cas, le protocole devait être très particulier.

Je me souviens d'un ami qui voulait doser des acides aminés, alors que ses échantillons ne contenaient que des protéines : il avait omis ce fait que les protéines ne sont pas des assemblages d'acides aminés, mais des composés dont les molécules sont faites de "résidus" d'acides aminés, de sorte que les acides aminés n'existent pas en tant que tel, dans les protéines, et seuls leurs atomes restent organisés de façon identifiable par un chimiste.

J'attends vos exemples pour les ajouter à cette liste.

La répétition des expériences ?

Nous sommes bien d'accord que les expériences doit être répétées, ce qui est un petit minimum pour avoir des validations de nos résultats. Répétition ? Reproduction ? Et les validations ?
Une répétition, cela peut être, en musique ou pour le théâtre, une première production de la pièce... et l'on voit mal pourquoi on ne pourrait conserver cette acception pour les sciences de la nature. Mais, tant que l'usage n'est pas là, il y a lieu de penser que c'est une deuxième expérience analogue à la première. Analogue ou identique ? On observera tout d'abord, avec Héraclite, que l'eau qui coule n'est jamais la même ("tu ne te baigneras jamais dans le même fleuve"). C'est donc une reproduction éventuelle à l'analogue, et jamais à l'identique. Ce qui peut paraître une fioriture terminologique est en réalité essentiel, car je vois des collègues plus jeunes vouloir faire la même chose plusieurs fois de suite, ou bien en parallèle. C'est évidemment mieux que s'ils ne faisaient qu'une seule mesure, notamment parce que cela donne des confirmations et une information sur la dispersion des résultats de mesure. Mais pourquoi se priver de possibilité d'améliorer un protocole ? Pourquoi serions-nous condamnés à répéter une expérience un peu médiocre,  non que l'on ait mal fait, mais plutôt qu'il est bien difficile d'arriver immédiatement un protocole idéal, parfait.
Ne vaut-il pas mieux tirer des enseignements d'une première expérience pour chercher, dans une nouvelle expérience, à obtenir le même résultat, mais mieux ? Il y a des discussions interminables entre les partisans des deux manières, certains disant qu'il faut reproduire toutes choses égales par ailleurs, et il est vrai que si l'on veut une  mesure de la dispersion des résultats d'un protocole particulier, c'est ce protocole, et pas un autre, qui doit être mis en oeuvre plusieurs fois de suite.

Mais, dans notre discussion, je crois que la question est surtout celle de l'objectif :  que voulons-nous ? que cherchons-nous à obtenir. La réponse est : le résultat le meilleur possible. Et c'est pour cette raison que je suis partisan de faire les expériences successivement, en améliorant -si possible- chaque fois. Bien sûr, il ne faudra pas ensuite prétendre que l'on aura fait trois fois la même chose, mais pourquoi ne pas dire simplement que nous avons cherché à améliorer, et interpréter les résultats en fonction ?




Retrouver l'ensemble des textes sur les bonnes pratiques en science sur :
http://www2.agroparistech.fr/A-propos-de-la-repetition-des-experiences.html

La validation, un état d'esprit

La validation est un état d'esprit

Je suis étonné a posteriori de ne jamais avoir entendu le mot "validation" lors de mes études de physico-chimie point, car c'est  la chose la plus essentielle de la science.
Et d'ailleurs dire le mot validation et bien insuffisant parce que très abstrait ; avec ce mot, c'est d'un état d'esprit tout entier dont il est question. En effet, ill ne s'agit pas seulement de vérifier un calcul, mais de douter de tout ce que nous produisons. Ou, plus exactement,  de "remettre en cause" tout ce que nous produisons.

Hier, par exemple, lors d'une discussion de laboratoire, j'ai entendu un de mes jeunes collègues dire que il était "sûr" que deux valeurs étaient identiques. Sûr, vraiment ? Rien que prononcer ce mot "sûr" est un symptôme qui révèle que l'état d'esprit de la validation n'est pas suffisamment implanté. En réalité, à l'analyse, il y avait la production de deux valeurs pour une même quantité, et notre notre jeune collègue voyait une égalité de ces deux valeurs obtenues à la suite de  longues expériences qui se répétaient. Or les deux valeurs n'étaient évidemment pas identiques, mais seulement très proches.
Une incise rapide : les deux valeurs ne pouvaient pas être identiques, car à l'aide d'un instrument de mesure très précis, on aurait une infinité de décimales. Or la probabilité que deux mesures tombent sur les mêmes décimales (à l'infini) est nulle, stricto sensu ! C'est là un résultat élémentaire de la théorie de la mesure.
Et la question était donc plutôt, étant données deux valeurs différentes, de savoir si, connaissant les incertitudes expérimentales, on peut considérer raisonnablement qu'elles correspondent à une même grandeur, ou bien à des grandeurs différentes.
C'est  ici que s'introduisent les méthodes statistiques, qui permettent de dire quelle est la probabilité que les deux résultats correspondent à une même grandeur ou, inversement,  que ces deux résultats correspondent à des grandeurs différentes. Il y a une question de probabilité, ce qui exclut absolument la certitude, le "je suis sûr que". Et l'on se référa à d'autres billets qui expliquaient que tout résultat expérimental doit obligatoirement être associée à des incertitude de mesure, à des estimations des incertitudes, à des  déterminations expérimentales de ces  incertitudes,  et l'on retiendra ici que s'impose donc une comparaison statistiques... sans oublier qu'une pièce de monnaie qu'on lance en l'air peut parfaitement tomber 100 fois sur pile.

Mais cette question est bien élémentaire et nous devons revenir à la validation. La validation, cela consiste à répéter les expériences, ce qui conduit donc à comparer les résultats de ces expériences.
Mais, la validation, cela consiste aussi à douter du résultat des comparaisons, à imaginer et mettre en œuvre des façons différentes d'attaquer la question par des méthodes différentes. Dans un autre billet, j'ai évoqué le diable qui est caché derrière tout les calculs, derrière tous les  résultats d'expériences, derrière tous les gestes expérimentaux.
Mais je veux ici évoquer les exemples. Ainsi quelqu'un qui utilise une balance de précision pour peser un objet dont la température n'est pas exactement celle de la pièce s'expose à ce que des échanges de chaleur engendrent des courants d'air par convection, ce qui faussera résultat de la mesure. Plus élaboré, quelqu'un qui enregistre des spectre de résonance magnétique nucléaire en ignorant que le pH a un effet sur la résonance de certains protons s'expose à confondre les protons lors de l'interprétation ;  de même pour la présence d'ions paramagnétique, par exemple.
Notre culture scientifique toujours insuffisante et donc une menace virgule qui justifie que ce soit une bonne pratique d'être très au courant de la science qui se publie chaque jour

Le diable est tapi

Mais cette observation a des conséquences bien plus grave, quand on se souvient que le ou la scientifique moderne  est loin de tout savoir, et que, par conséquent, même si nous savions tout ce qui a été publié, nous serions ignorant de tout ce qui reste à découvrir.
Et c'est cela qui nous menace véritablement !
Les rapporteurs, les pairs à qui nous soumettons nos manuscrits en vue de leur publication sont là pour nous aider à voir les écueils inconnus, mais il y a les autres ! Et c'est une bonne métaphore d'imaginer que les scientifiques sont comme les marins qui naviguent près des côtes, donc ils ignorent tout de la topographie des fonds.

Bien sûr il y a les rochers qui émergent, mais il y a aussi ceux qui sont à une profondeur inférieure au tirant d'eau du navire. C'est cela, le diable qui nous menace à chaque instant. C'est cela qui justifie que nous qu'on servions en tête sans cesse ce mot de "validation".

Des bonnes pratiques : utiliser des méthodes officielles.

Pour exposer l'idée contenue dans le titre de ce billet, je propose de partir d'un épisode récent de notre laboratoire. Nous devions doser le dioxyde de soufre dans des vins diversement traités. Une étude bibliographique extrêmement rapide avait montré qu'une méthode, nommée méthode de Ripper, était communément employée, et il m'avait semblé, vu la simplicité du travail proposé, que ces dosages pourraient faire l'objet de stages d'étudiants. Le bilan ? Il y a eu quatre étudiants venus au laboratoire pour des périodes comprises entre un et deux mois, mais je suis désolé d'observer que le résultat total était nul.
Je ne me plains pas des étudiants, à qui je ne demande pas de produire des résultats, mais seulement d'apprendre. Or ils ont beaucoup appris, si j'en juge la liste des connaissances et des compétences qu'ils ont adjointes à leur rapport de stage, lequel a fait surtout état de travaux exploratoires. En revanche, il était intéressant d'observer que, pour des raisons que je dois encore analyser, ils s'étaient arrêtés, dans leur recherche bibliographique, à des « travaux pratiques », parfois universitaires, de qualité très variable. Or un vrai dosage, ce n'est pas une séance de travaux pratiques : les réactifs sont à préparer soi-même, dans toute leur complexité, et, surtout, les méthodes utilisées doivent être officielles et validées !



Ayant moi-même fait, après eux, une véritable recherche bibliographique, dépassant notamment les feuilles de travaux pratiques que l'on trouve dans les premières pages de Google (en français), je suis finalement arrivé, en passant par Google scholar et en cherchant en anglais, à des publications qui effectuaient ce type de dosages, et qui m'ont conduit très rapidement à des méthodes officielles. Il y en avait en français et en anglais, soit par l'AOAC (l'association américaine des chimistes analyticiens), pour les États-Unis, soit par l'OIV, l'Office international de la vigne et du vin. Dans les deux cas, les documents sont en anglais, et ils présentent des méthodes validées.
Validées : cela a imposé des études méthodologiques longues, inter-laboratoires, qui ont conduit à des protocoles finalement assez simples, et très bien documentés, qu'il s'agissait de mettre en œuvre. On observe que ces méthodes validées sont l’équivalent des méthodes de bonne pratique des société savantes médicales. Quand un médecin prescrit un médicament, il n'a pas à inventer n'importe quel traitement, mais doit se conformer  à des règles professionnelles qui stipulent quel médicament doit être utilisé dans quelles conditions, et pour quelles affections. C'est à la fois une aide et un confort. Une aide, car cela signifie qu'un groupe de collègues s'est réuni pour produire un résultat synthétique, qui est validé, efficace. Un confort, parce que s'il y a le moindre accident, en raison d'un effet secondaire, d'une sensibilité particulière d'un patient, etc., alors le praticien est couvert devant la loi, ayant suivi la bonne pratique préconisée par la société savante. C'est sur elle que pèse la responsabilité de la proposition thérapeutique, parce que le praticien, suivant les bonnes pratiques, a fait du mieux que pouvait la pratique médicale, avec les connaissances du jour. On le voit, la charge est donc essentiellement sur la communauté professionnelle, laquelle doit sans cesse surveiller les progrès des connaissances pour produire les meilleures règles possibles.
Pour en revenir à notre dosage, il y avait donc des méthodes officielles, et il était hors de question de se raccrocher à n'importe quelle séance de travaux pratiques affichée par n'importe qui sur internet. Ayant finalement à faire des dosages moi-même, j'ai donc utilisé une méthode officielle, et, à l'usage, je me suis aperçu qu'il y avait beaucoup d'intelligence dans la méthode proposée. Par exemple, contrairement aux protocoles des travaux pratiques que nos étudiants avaient dégoté, il était proposé d'ajouter du chlorure de sodium à une solution d'amidon qui était utilisée pour produire un changement de couleur. Pourquoi ce chlorure de sodium ? Parce que sa présence évite la « rétrogradation de l'amylose, qui aurait prévenu la réaction avec le di-iode éventuel. Evidemment le protocole officiel proposait de chauffer l'amidon, car, ce qu’ignoraient nos jeunes amis qui n’avaient pas assez creusé leurs recherches bibliograhiques, l’amidon se trouve sous la forme de grains insolubles dans l'eau, et il faut chauffer pour que l'amylose soit libéré et qu'il puisse ensuite réagir efficacement avec le di-iode.
Et d'ailleurs, pourquoi le di-iode teinte-t-il l'amidon en bleu ou en noir ? Là, il y a évidemment lieu de s'interroger et de faire des recherches bibliographiques complémentaires, car cela semble une règle absolue de la science que de ne pas supporter de faire quelque chose qu'on ne comprend pas. J'aurais mauvais grâce à critiquer les étudiants qui sont venus en stage dans notre laboratoire de ne pas avoir fait cette recherche, car je me souviens avoir été membre d'un jury de recrutement de maître de conférence en chimie des sucres dans une grande université parisienne, et, ayant posé cette question du changement de couleur de l'amidon avec le di-iode, je n'avais  reçu aucune  réponse d'aucun des candidats (à vrai dire, ce n'est pas exact : il y a eu un candidat qui a répondu n'importe quoi avec aplomb, espérant me bluffer, alors que j'ai la réponse depuis longtemps ; inutile de dire que j'ai renvoyé publiquement ce malhonnête dans ses seize mètres).
A propos de la solution de di-iode, il y avait cet autre petit mystère, que l'on dissout le di-iode dans une solution d'iodure de potassium. Le niveau zéro de l'étudiant, c'est de ne pas chercher à savoir pourquoi on utilise cet iodure de potassium et de ne pas l'utiliser. Le niveau supérieur, c'est de ne pas poser la question, mais d'utiliser l'iodure de potassium prescrit. Mais on peut viser mieux, et se poser la question. Ou, encore mieux : se poser la question, réfléchir et calculer, avant de confronter son résultat à une étude bibliographique. On trouve finalement que le di-iode n'est pas soluble dans l'eau, et c'est par la formation d'un fait de trois atomes d'iode qu'il peut se solubiliser, ce qui impose la présence d'ions iodure. Quel bonheur que de découvrir toutes ces particularités des transformations moléculaires !
Et puis, il y a une foule de détails, telle la concentration particulière de di-iode qu'il faut utiliser. Pourquoi cette concentration particulière ? A l'usage, il est apparu qu’une solution dix fois plus diluée montrait moins les changements de couleur que l'on visait, alors qu'une solution plus concentrée faisait perdre en sensibilité. J'en passe, parce qu'i y aune foule de détails expérimentaux, qui avaient fait en réalité l'objet de discussions préalables, par les sociétés savants, qui avaient abouti à un protocole validé. Il y a donc lieu de commencer par des protocoles validés avant de tester tout et n'importe quoi pour n'arriver à rien.

Bonnes pratiques : ne pas généraliser hâtivement

Vite, d'une frappe sur les doigts, faisons un élan vers le bonheur ! Dans ce Responsible Science, que j'ai déjà cité, je lis, comme répréhensible  :

Using inappropriate statistical or other methods of measurement to enhance the significance of research findings;

En français "utiliser des méthodes statistiques ou des méthodes de mesures inappropriées pour donner à des découvertes de recherche plus d'importance qu'elles n'en ont". En réalité, la traduction du passage américain est difficile, parce que ce texte est lui-même un peu inexact : il dit "augmenter l'importance" ; or on ne peut pas augmenter l'importance d'une découverte, mais seulement faire croire que le résultat a plus d'importance qu'il n'en a en réalité. D'autre part, il y a une amphibologie au mot "significance", parce que, en statistiques, on parle de significativité, partant du bon principe que toute mesure est incertaine, et que, d'autre part, les théories sont toutes approximatives, même si leur précision va croissante.
Ce qui est clair, c'est que se pose ici la question du scientifique vis à vis de lui-même, et vis à vis de sa communauté. Si la juste ambition des scientifiques est de faire des découvertes, alors on comprend mal pourquoi on irait utiliser des méthodes fautives pour se tromper soi-même : au fond de soi, on sait bien quand on a observé un effet ou pas. A contrario, on sait qu'il y a hélas des individus qui vivent en représentation, et pour qui l'estime qu'on leur porte est plus importe que la justesse des idées qu'ils tendent à la communauté, en vue de s'en faire estimer. Et c'est à eux que s'adresse en réalité la phrase de l'Académie américaine des sciences.
Oublions-les, car ils ne méritent pas de cette considération qu'ils quêtent au prix de leur malhonnêteté. Et, vite, prenons positivement l'idée initiale : oui, ayant des résultats, pour nous assurer de leur justesse, nous avons souvent besoin de méthodes statistiques. Dans un autre billet, j'ai assez dit que nos mesures sont toujours imprécises à des degrés divers, de sorte que nos résultats expérimentaux ne concordent qu'imparfaitement à nos "théories", nos équations d'ajustement. C'est pour cette raison que nous avons besoin de savoir avec quelle probabilité il y a ou non concordance. Il nous faut des méthodes de mesure toujours plus précises, et il nous faut valider, afin de savoir ce qu'il en est de nos résultats.

Leur "importance" ? C'est là une autre question, bien difficile, et je propose de transposer cette phrase "la vertu est sa propre récompense" à nos études scientifiques : au lieu d'en chercher l'importance, utilisons bien notre temps à savoir si les résultats que nous produisons sont dignes d'être affichés, publiés. Validons, validons, et validons encore !

Luttons contre le Ragnarok

Le Ragnarok ? C’est ce moment terrible dont les géants nous menacent… mais il faut d’abord expliquer mieux toute cette affaire, avant d’expliquer le rapport avec le travail scientifique.
Commençons avec les mythologies. Au fond, je ne suis pas certain d’aimer beaucoup les mythologies grecques, où les dieux vivent dans un palais doré sur l’Olympe, se chamaillant parce qu’ils sont oisifs. Je préfère de loin les mythologies alémaniques, dont il faut dire qu’elle sont nées en Alsace. Pour ces dernières, le récit mythologique est bien différent, à savoir que les dieux tels Wotan ou Freyja, etc. sont sans cesse menacées par les géants. C’est la raison pour laquelle ils vont chercher sur les champs de bataille des héros qu’ils ramènent au Valhalla, cette forteresse d’où les dieux et leurs soldats ne cessent de lutter contre les assauts des géants.
Ce que l’on doit redouter à tout instant, c’est que les géants ne submergent le monde des dieux et que ce soit la fin des temps : le Ragnarok. Pour cette mythologie, il n’y a donc pas d’état stationnaire merveilleux, béat, veule, idiot, mais plutôt un état de vigilance constante, de soins, d’attention, d’éveil...
A cette description, on comprend évidemment ma préférence pour cette seconde mythologie. Et si l’on sait d’autre part que j’ai inscrit dans mon laboratoire que nous devons nous méfier du diable, qui est caché derrière tous les détails, d’expérimentation et de calcul, on comprend aussi pourquoi j’évoque le Ragnarok. Il faut lutter sans cesse contre le Ragnarok. Ce n’est pas grave, mais c’est une nécessité. Il n’y a pas à se défendre, mais à repousser sans cesse les assauts des géants, à repousser ces derniers plus loin.

Luttons contre la pensée magique

Considérons maintenant la question de la pensée magique, cet état qui est dans tous les enfants, et que l’éducation doit contribuer à faire disparaître. La pensée magique commence avec l’enfant qui pleure et dont les cris font venir la mère. De là penser à ce que la pensée de la mère fait venir la mère, il n’y a qu’un pas, lequel est à la base de tous ces fantasmes de l’esprit sur la matière.
On aura beau penser que l’on peut tordre une cuiller par la pensée, on n’y parviendra pas. On aura beau penser à des préparations médicales qui guérissent tout, la panacée n’existera pas. Et ainsi de suite : je vous passe l’éventail complet de ces manifestations de la pensée magique ; il est infini, car fantasmatique.
L’enfant, donc, arrive dans nos communautés avec cette pensée magique qu’il faut déraciner, et c’est, je crois, un objet essentiel de l’éducation que de lutter contre elle. D’où l’importance de l’enseignement des sciences de la nature, qui montre les limites de la pensée, qui borde le réel.

Le rapport avec le Ragnarok ? C’est que la lutte n’est jamais terminée. Ce n’est pas parce que nous aurons oeuvré pendant quelques années contre la pensée magique que nous l’aurons éradiquée pour toujours : chaque nouvelle tranche d’âge revient avec la pensée magique, et c’est donc année après année que nous devons lutter.
Récemment, un ami d’un ministère déplorait que sa carrière n’avait pas eu le beaucoup d’effet sur la collectivité malgré des efforts importants, soutenus. Je l’ai rasséréné : en réalité, le monde aurait été bien plus mal qu’il n’est, s’il n’avait pas été aussi actif, et là encore, il y avait cette question du Ragnarok. Sans la diligence des fonctionnaires, la structure de nos collectivités irait à vau l’eau, et les efforts n’ont pas été vains : la preuve en est que le système fonctionne encore.

Et pour les sciences ?

Le mot « validation », que j’ai déjà évoqué, fait partie de la réponse. Pour produire des résultats de bonne qualité, il faut se préoccuper sans cesse de cette dernière ; il faut valider, il faut traquer les biais sans relâche, il ne faut jamais se satisfaire d’un résultat de mesures, il faut craindre l’erreur à chaque geste, à chaque calcul. L’erreur est tapie derrière chaque geste expérimental, chaque calcul. Même tourner un commutateur impose d’y penser puissamment, de crainte d’une erreur. Même l’emploi d’un simple thermomètre impose d’y avoir pensé, d’avoir imaginé que le thermomètre puisse être faux, ce qui nous aura conduit à des étalonnages… Et si le simple emploi d’un thermomètre impose ainsi un soin considérable, on imagine combien l’emploi de systèmes plus complexes doit s’accompagner de vérifications bien plus élaborées, bien plus poussées.
Pour le calcul, les jeunes étudiants qui font des mathématiques savent bien qu’une écriture brouillonne est source d’erreur : un g confondu avec un 9, et c’est la faute de calcul. C’est sans doute la raison pour laquelle le cahier de laboratoire du physicien Pierre Gilles de Gennes était si calligraphié : de la sorte, les possibilités d’erreur étaient réduites. Toutefois, avec cet exemple, on n’est qu’au tout début de la question, comme quand je considérais le thermomètre. Pour les calculs complexes, c’est comme pour les appareils d’analyse élaborés, à savoir que la complexité apporte avec elle bien plus de possibilités de se tromper, d’où les nécessaires validations, d’où le soin constant que nous devons apporter à nous assurer de nos travaux. On comprend alors qu’il n’est pas possible de publier vite des résultats scientifiques, car ceux-là ne s’obtiennent pas d’un claquement de doigt, et, au contraire, je crois que nous devons absolument considérer comme une faute la publication rapide de résultats.
Je propose, en conséquence, que les institutions scientifiques abandonnent cette insistance qu’ils ont que les chercheurs publient beaucoup. Bien sûr, il ne faut pas laisser des idées dans des tiroirs, mais je ne crois pas bon de publier des idées insuffisamment validées, et, sans être complètement paradoxal, je propose que les institutions scientifique en viennent même à pénaliser les publications trop nombreuses de certains, car il n’est pas possible qu’elles soient de bonne qualité… sauf exception bien évidemment, car il y a des individus plus actifs que d’autres.
On aura maintenant compris j’espère mon idée du Ragnarok. Pour toute activité humaine, et pour toute activité scientifique en particulier, nous ne devons pas craindre le Ragnanok, mais lutter pour qu’il ne survienne jamais. Et c’est ainsi que les sciences de la nature seront encore plus belles.
Finalement, les mythologies alémaniques, disons alsaciennes, sont une invitation à faire mieux, à devenir pleinement humains.

Vive les sciences quantitatives, puisqu'elles cherchent sans cesse à « valider

--> Lors d'un précédent billet, j'ai vanté l'intelligence remarquable de la méthode mise en oeuvre par les sciences quantitatives. Ici, je voudrais faire part d'une caractéristique merveilleuse et hélas trop méconnue des sciences quantitative : la validation.

C'est quelque chose qui n'est guère enseigné au collège, au lycée, ou même à l'université. Au mieux, on nous dit qu'il faut « vérifier » les calculs, en les refaisant, en faisant une estimation du résultat, un ordre de grandeur, afin de voir que le résultat obtenu n'est pas exorbitant. C'est bien insuffisant, toutefois.

Or la validation est quelque chose de vraiment essentiel, et il faut répéter qu'il n'y a pas de travail scientifique sans beaucoup de validation.

De quoi s'agit-il ? Il s'agit de considérer, d'une certaine façon, que le diable est caché derrière tout résultat expérimental, derrière tout calcul. De ce fait, nous devons considérer a priori que nos résultats scientifiques, sont faux.

Oui, nos propres résultats, ces résultats que nous avons obtenus à la sueur de notre front, sont biaisés, gauchis, erronés, fautifs... Malgré tous le soin avec lequel nous avons préparé nos expériences, malgré tout le temps que nous avons consacré à nos études, nous devons craindre d'avoir laissé passer des erreurs, tels des poissons dans un filet percé. De même pour les calculs : même s'ils nous ont fait transpiré, même si nous avons séché pendant des jours, nous devons craindre qu'ils soient faux.

En conséquence de quoi nous devons trouver des moyens de tester les résultats expérimentaux, les calculs.

Au minimum, au tout petit minimum, une expérience doit être refaite plusieurs fois de suite. Pour les calculs, c'est une autre affaire, bien plus intéressante, et je propose de discuter cela une autre fois.

Revenons donc aux expériences et à leurs résultat. Il s'agit donc de refaire les expériences, mais pas de les refaire « automatiquement », telles des machines, pas les refaire à l'identique, sans quoi, évidemment, les mêmes erreurs se produiront à nouveau. Il s'agit de les refaire en exerçant un esprit critique, en remettant en question tous les gestes qui ont été faits pour pour la production du résultat. Non seulement nous devons pouvoir justifier toutes les caractéristiques des expériences, mais nous devons douter de la façon dont elles sont conduites, dont nous les avons nous-mêmes conduites, et des résultats qui sont donnés

Un exemple : la simple mesure d'une température. Ordinairement, dans la vie quotidienne, on prend un thermomètre et on lit l'indication qu'il donne. En science, le strict minimum consiste à douter de la fiabilité de cet instrument de mesure, à le plonger par exemple dans un récipient contenant de l'eau et de la glace (ce que l'on nomme de la glace fondante), afin de vérifier que l'indication est bien 0 °C, puis à plonger le même thermomètre dans l'eau bouillante, afin de vérifier que l'on obtient bien cette fois une indication de 100 °C.

Deux mesures, c'est une indication, pas plus... alors que l'on s'intéresse à des valeurs qui ne sont ni 0 ni 100, mais à toutes les valeurs dans cette gamme. Avoir foi que que l'instrument donnera les bonnes mesures entre 0 et 100 alors qu'il donne seulement des mesures correctes pour 0 et pour 100 ? C'est la porte ouverte au diable.

Bref lors d'une expérience, il y a lieu de douter de tout, toujours, tout le temps, à tout moment, et l'on comprend que la répétition n'est qu'une indication de plus, guère mieux. Le bon scientifique a des raisons de mal dormir, car il ne doit compter que sur lui-même, se surveiller, s'évaluer, se corriger, craindre le diable... Chaque résultat doit être reproduit, discuté prudemment, obtenu par d'autres moyens... validé en un mot.

Est-ce une prudence excessive ? La question des « extractions » trouve que non. Par exemple, récemment, dans notre groupe, nous avons mis au point une nouvelle méthode d'analyse des sucres dans les tissus végétaux, et, après un long travail, nous avons montré que la meilleure méthode d'extraction de ces sucres, afin de les doser, était fautive de près de 50 % !

D'autre part, toujours dans notre laboratoire, des collègues qui s'intéressent aux éléments métalliques dans les végétaux ont montré que même avec l'utilisation d'eau régale bouillante (un mélange d'acide nitrique et d'acide sulfurique concentrés) ne ne permettait pas de séparer la totalité des métaux présents, en vue de leur analyse. Les erreurs, dans ce cas atteignent environ 10 %.

Dix pour cent, alors que nos méthode d'analyse sont juste à la partie par millième de milliardième ! On voit bien qu'il il y a là de quoi travailler beaucoup, et surtout, de quoi douter beaucoup, toujours, de nos résultats.

Il y a lieu de valider, et ce mot de validation doit absolument être prononcé très répétitivement devant les élèves, les étudiants, qu'ils soient en formation initiale ou en plein exercice de la science.