Une mesure ? Pas sans incertitudes... ni sans une raison de la faire

1. Aujourd'hui, des étudiants me demandent des conseils à propos d'une expérimentation qu'ils ont faite. Ils m'envoient en pièce jointe d'un courriel un graphe où des points rouges et bleus sont respectivement reliés par des segments de droite, formant deux courbes.
Malgré l'obscurité de leur message, je crois comprendre qu'ils pensent avoir mis en évidence deux comportements différents, pour des systèmes identiques traités différemment.

2. Dans un tel cas, la première des choses à faire est de pure forme : il faut se souvenir que les résultats de mesure ne valent rien sans une information précise sur les matériels et les méthodes qui ont été employées.

3. De ce fait, les points de mesures doivent nécessairement être assortis d'une indication sur les incertitudes de mesure et ce sont seulement ces indications qui permettront de savoir si les deux courbes sont effectivement différentes... ou pas.

4. On ne répétera jamais assez que deux mesures sont toujours différentes et que c'est la comparaison de ces mesures avec leur incertitude qui établit ou non une probabilité notable, ou faible, de différence. Ce qui vaut pour deux points vaut évidemment pour une courbe tout entière

5. De sorte que je suis immédiatement conduit répondre à mes correspondants que, sans toute l'information nécessaire, je suis dans incapable de les aider.

6. Cela, c'est pour le détail, mais il y a pire, qui tient  dans un « de quoi s'agit-il  ?». que disait notamment le maréchal Foch, ce qui fut ensuite repris par le photographe Henri Cartier-Bresson.  
Pourquoi mes correspondant ont-ils fait cette expérience ? Qu'est-ce qui justifie que l'on s'intéresse à cette expérience ? Faut-il que je passe plus de temps à analyser une question qui serait complètement idiote ? Et, dans l'hypothèse où la question est pertinente, il y a lieu de se poser d'abord l'adéquation de l'expérimentation qui a été faite à la question qui a été posée. D'où le choix des matériels et des méthodes.

7. Bref, pour faire bien, il faut éviter de se lancer, et il vaut mieux avoir de vraies raisons... ce qui est précisément demandé dans la première partie de nos "documents structurants de recherche" (DSR).
Les connaissez-vous ?

Les moyens de la preuve

Je veux les moyens de la preuve !

De façon très élémentaire, je réclame absolument que toute mesure soit assortie d'une évaluation de l'incertitude. Soit on indique  la précision de l'appareil de mesure, soit on donne l'écart-type, c'est-à-dire une estimation de la dispersion de plusieurs mesures successives du même objet avec le même appareil et dans les mêmes conditions.

Prenons un exemple : si un thermomètre plongé dans de l'eau chaude affiche une température de 50,2463 degré Celsius, il faut quand même que je m'interroge sur la pertinence de tous ces chiffres après la virgule, car leur affichage est peut-être abusif (de même, il n'est pas légitime de se demander combien d'anges tiennent sur la tête d'une épingle si on n'a pas d'abord montré sur les anges existent). Bref, les chiffres doivent être "significatifs". En l'occurrence, avec un thermomètre à mercure des familles, ces chiffres après la virgule ne le seraient pas, et même le 0 devant la virgule n'est sans doute pas juste.

Cette question d'assortir les mesures d'une incertitude est un  tout petit minimum, en science,  mais ce billet veut dire que, ce cap élémentaire étant passé, il y a lieu de ne pas accepter une mesure dont on ne nous dit pas comment elle a été obtenue, ce que les publications scientifiques nomment les "matériels et méthodes", mais que l'on pourrait aussi nommer "les moyens de la preuve", sans que les deux objets ne soient strictement identiques (mais commençons par faire simple).

Par exemple, un appareil de mesure peut afficher des valeurs précises... mais fausses, et, pire, on peut n'avoir pas mesuré ce qu'il fallait. Je prends volontairement un exemple bien excessif : si on pose sur une balance un verre qui contient un liquide, la balance affiche une valeur qui est celle de la somme de la masse du liquide et de la somme de la masse du verre : il serait faux de penser que la masse affichée est seulement celle du liquide. Comme dit, cet exemple semble montrer une évidence, mais, en réalité, des erreurs s'introduisent pour une raison cachée du même type. Et c'est d'ailleurs une des raisons de la pratique des "validations" : on multiplie les mesures faites de façons différentes afin de s'assurer que l'on trouve bien le même résultat.
Evidemment, pour être compétent en science, il  faut s'être entraîné à cela : regarder, en détails, comment les résultats qu'on nous propose ont été obtenus, ne pas accepter des valeurs sans examen critique, réclamer sans cesse le détail des matériels utilisés pour faire les expérimentations, ainsi que des méthodes mises en oeuvre.

Insistons un peu : nous regardons les détails, les circonstances expérimentales non pas parce que nous nous défions de nos collègues, mais parce que, en science  au moins, le diable est caché partout.



Des chausses-trappes?

Des chausse-trappes ? Il n'y a que cela. Par exemple, je me souviens d'un thermomètre, dans un lycée hôtelier, qui marquait 110 degrés Celsius dans l'eau bouillante. Impossible : le thermomètre était faux... ainsi que toutes les mesures qui avaient été faites par d'autres, avant que je ne contrôle, en le plaçant d'abord dans de la glace fondante (0 degrés Celsius) et dans l'eau bouillante (100 degrés Celsius).
Plus subtil : avec une nouvelle méthode d'analyse par résonance magnétique nucléaire, nous avons découvert que nous dosions plus de sucre, dans des carottes, qu'il n'en était trouvé par les méthodes qui imposaient d'extraire d'abord les sucres, avant de les doser. Mais il est notoire que les méthodes d'extraction sont incomplètes !

Tiens, une idée : même si l'expérience est intransmissible, pourquoi ne ferions-nous pas une liste d'exemples d'erreurs dont nous avons connaissance, afin que nos successeurs puissent en avoir connaissance. Bien sûr, ils ne seront pas complètement immunisés, mais, au moins, ils seront mieux avertis que par une mise en garde générale, abstraite. Je commence :

Je me souviens d'une amie qui dosait les protéines dans des échantillons d'un matériaux qu'on lui avait dit être des "protéines" et  qui trouvait très peu de protéines... et pour cause :  cette matière n'était pas essentiellement constituée de protéines, mais de matière grasse.

Je me souviens d'un ami qui cherchait à doser les "lipides" dans de l'eau, oubliant que le mot "lipides" s'applique à des composés très variés ; il pensait en réalité aux triglycérides, qui sont parfaitement insolubles, de sorte que ses expériences étaient vouées à l'échec, sauf à considérer que ces composés étaient dispersés dans la solution aqueuse (émulsion)... auquel cas, le protocole devait être très particulier.

Je me souviens d'un ami qui voulait doser des acides aminés, alors que ses échantillons ne contenaient que des protéines : il avait omis ce fait que les protéines ne sont pas des assemblages d'acides aminés, mais des composés dont les molécules sont faites de "résidus" d'acides aminés, de sorte que les acides aminés n'existent pas en tant que tel, dans les protéines, et seuls leurs atomes restent organisés de façon identifiable par un chimiste.

J'attends vos exemples pour les ajouter à cette liste.

Pour un bon scientifique

L'histoire est exacte : un jour, il y a longtemps, discutant avec un "directeur de recherche", ce dernier m'a dit "Il faut faire de la bonne science". Et je lui ai répondu : "C'est quoi ?". A l'époque, il n'avait pas su me répondre, et j'avais évidemment été narquois... mais c c'est sans doute parce que j'ai un assez mauvais fond, n'est-ce pas ?  Toutefois le pêcheur peut se rachter, et c'est ce que je propose de faire ici, en livrant quelques "Règles pour un bon scientifique".
J'en donne aujourd'hui trois : (1) dire combien,  (2) citer de (bonnes références),  (3) réclamer les moyens de la preuve pour chercher à comprendre.

Dire combien, combien, combien ?

La première règle se fonde sur la méthode des sciences de la nature, que j'ai discutée dans nombre de billets. Cette quantification intervient dans le deuxième étape de la démarche, à savoir que le phénomène identifié dans la première étape doit être quantifié, de tous les points de vue utiles. Ce seront ces données qui seront réunies en "lois", c'est-à-dire en équations, lesquelles permettront l'établissement d'une théorie, ou ensemble d'équations assorties de concepts quantitatifs, avant les tests de réfutation (quantitative) des conséquences de la théorie.
Bref, du nombre, du nombre, du nombre... Et voici pourquoi nous devons nous interdire d'utiliser des adjectifs ou des adverbes : la question, l'unique question, c'est "Combien ?".


Les références

En science, rien ne doit être donné  ou fait sans justification ! Et c'est là que s'impose la bibliographie, et, de ce fait, la donnée de références.
Les mauvais scientifiques se contentent de trouver des références et de les donner sans justification, sans analyse critique. En revanche, les bons scientifiques savent évaluer les publications, et ne donner de références qu'avec une appréciation critique. Par exemple, on comprend facilement qu'on n'établit pas un fait si l'on cite une publication dont les méthodes sont défaillantes ! Et l'on comprend que l'on n'ira jamais donner des sources non scientifiques.
Mais la question est donc de savoir bien juger un travail publié, car il serait naïf de croire que toutes les publications sont bonnes, et je peux l'attester, moi qui ai vu mille fois publier des articles que j'avais refusé (pour cause de graves insuffisances méthodologiques), en tant que rapporteur !
Reste qu'il faut citer ses sources.


Les "moyens de la preuve"

Si l'on met dit qu'une fusée a décollé, je reste aussi bête qu'avant. Si l'on met dit qu'il y a une bataille en 1515, l'information est vide de sens, sans informations complémentaires. Si l'on me donne un dosage d'un produit dans une matrice, je doute, car je sais que les dosages imposent souvent des extractions, lesquelles sont bien souvent incomplètes. Et ainsi de suite.
C'est la raison pour laquelle, pour chaque donnée qui m'est délivrée, j'ai besoin des "besoins de la preuve", des détails de la procédure. Comment la fusée a-t-elle décollé ? Quels étaient les combustibles ? Et s'est-elle élevé de deux mètres ou a-t-elle atteint l'altitude de libération du champ gravitationnel terrestre ? Et à Marignan : étaient-ils une poignée, ou des milliers ? Et combien de temps cela a-t-il duré ? Combien de morts ? Et pour le dosage : quelle précision ? Comment s'est-on assuré que l'on a fait un bon dosage ? Et ainsi de suite.
Bref, avant d'admettre une information, il  me faut mille détails, mille circonstances. L'énoncé précis des matériels et des méthodes employés par les personnes qui ont été à l'origine des résultats donnés.


Avec cela, on a un (tout) petit début, mais au moins, on sait ce qu'il y a à faire.

Les rapporteurs ne doivent pas outrepasser leurs droits

Dans une revue dont je m'occupe, le rapporteur d'un manuscrit écrit que le texte est trop long. Je suis très opposé à l'idée de transmettre cette observation aux auteurs, car une telle phrase dépasse les prérogatives du rapporteur. En effet, les textes scientifiques doivent être parfaitement justifiés, et l'on souffre trop de ces articles trop court, au contraire, où la description des matériels et des méthodes est insuffisante pour que l'expérience puisse être reproduite. Je veux au contraire des textes parfaitement détaillés,  au point que l'on puisse refaire l'expérience, mais aussi au point que tout soit justifié et que rien ne soit arbitraire.
De sorte que je ne vais pas transmettre cette appréciation déplacée aux auteurs et, au contraire, je vais leur dire que tout ce qui doit figurer l'article... doit figurer dans l'article.
Pour autant, rien de ce qui a déjà été publié une fois ne doit l'être une second fois : c'est là une bonne pratique de l'écriture scientifique  : on ne doit pas allonger inutilement les textes avec des informations déjà publiées, et les articles scientifiques ne sont pas des textes d'encyclopédie. Quand une information a déjà été publiée, la règle est de renvoyer vers la publication ou figure l'information.


Analysons plus en détails.

 C'est souvent dans les parties d'introduction que les auteurs sont le plus long et parfois le plus hors sujet. La question devrait être, pour cette partie, de poser une question, de faire l'état de l'art succinct, et d'annoncer les travaux qui sont faits et que l'on rapporte ensuite. C'est à cet endroit qu'il y a lieu de pas faire d'encyclopédie.
Puis, pour la partie de matériels et de méthodes, j'aurais tendance à dire qu'on est jamais assez précis et détaillé. Tout doit être expliqué, et tout doit être justifié, notamment le choix des méthodes que l'on n'utilise. Mais si des méthodes ont déjà été mises en oeuvre, alors on renvoie vers la publication correspondante.
Pour la partie résultat, il faut détailler, aussi, car c'est la base de l'interprétation ultérieure.
 Et pour les interprétations, c'est là où le plus souvent les articles sont trop succincts, parce que les interprétations sont verbeuses et non quantitatives. Il ne s'agit pas de dire "Nos résultat sont conformes à ce qui a déjà été vu", mais il faut plutôt s'interroger scientifiquement sur la signification des résultats,  et c'est là où l'on gagne se souvenir des étapes de la science, à savoir que les ajustements conduisent à la production de lois, à partir desquelles on doit élaborer des théories, descriptions testables expérimentalement

Qu'est-ce qu'une thèse ?

Qu'est-ce qu'une thèse ?

Chaque école doctorale émet ses documents pour le dire... mais leur consultation ne me convainc pas. Souvent, il est plus question de forme administrative que de contenu scientifique, et l'on balance entre "une thèse, c'est trois ans de travail dans un laboratoire" et "une thèse, c'est trois publications au minimum".

Pourtant, l'AERES statue, et les membres des comités de visite ont chacun leur idée, plus ou moins fondée. Pourtant, le statut des doctorants, qui n'est pas celui des étudiants, montre bien que l'on est "grand" quand on commence sa thèse, et qu'il est terrible de voir que nombre d'étudiants qui s'inscrivent en thèse comptent sur leur directeur de thèse pour se laisser transformer en machine à faire des expériences.

Je propose que l'on dise d'abord qu'un doctorant, c'est un chercheur.
Je propose que l'on impose à ces chercheurs d'être "grands", autonomes.
Je propose que, de ce fait, le rôle des directeurs de thèse ne soit pas celui de garde-chiourmes.
Je propose... que chacun mette un commentaire derrière ce billet, pour que, collectivement, nous arrivions à quelque chose de raisonnable.

En attendant, permettez-moi de vous livrer un extrait d'un courrier reçu d'un jeune docteur :

____________________________________________________________________________________
"Je n'ai malheureusement pas pu retravailler le manuscrit pour en faire une vraie thèse, même si j'aurais réellement souhaité le faire. Cette question de ce que doit être une thèse est effectivement cruciale.

"Je crois qu'il y a beaucoup de maîtres de conférences et de professeurs qui ont parfois beaucoup de mal à remettre en cause les techniques traditionnelles. Le rôle des encadrants est je pense aussi important, pour faire profiter le thésard de leur expérience, en les prévenant quand ils vont dans le mur, sans esprit de compétition, et surtout en acceptant de s'impliquer dans le suivi des travaux, et pas uniquement pour s'assurer que leur nom apparaît sur les publications.

"Enfin, il y aussi quelque chose d'assez malsain (je trouve) qui consiste à considérer comme de la recherche une simple constatation, sans chercher à en trouver les causes. Si le but de la thèse est de générer le plus de résultats possibles sans autres forme d'investigation, est-ce réellement la peine d'avoir un master ou un diplôme d'ingénieur?

"Si ma soutenance un peu houleuse peut faire prendre conscience de certaines choses à mon université, ce sera déjà ça. Je suis bien sûr assez désabusé par mon expérience scientifique, et j'ai hâte de continuer sur un nouveau projet de recherche pour le faire "dans les règles"."
________________________________________________________________________________________

Ce qui m'alerte, dans ce message, c'est surtout que ce n'est pas le premier de ce type que je reçois.
Analysons calmement :

1.
"Je n'ai malheureusement pas pu retravailler le manuscrit pour en faire une vraie thèse, même si j'aurais réellement souhaité le faire. Cette question de ce que doit être une thèse est effectivement cruciale." :
Il y a la question : qu'est-ce qu'une "vraie thèse"? Cette question se pose du point de vue de la forme et du point de vue du contenu ; ou plutôt non : du point de vue du contenu, d'abord, et du point de vue de la forme ensuite.

Les règles administratives actuelles considèrent que l'on nomme thèse aussi bien un travail scientifique et un travail technologique. Cela pour le contenu.
Pour la forme, de récentes expériences m'incitent à penser que la thèse "idéale", en 2010, serait composée de 100 pages, pas plus, avec une masse considérable d'annexes.

Oui, 100 pages et pas plus, parce que les membres des jurys, soit parce qu'ils ont la flemme de lire des pavés, soit parce qu'ils craignent le copier-coller, soit parce qu'ils veulent honnêtement que le doctorant fasse preuve d'esprit de synthèse, les membres du jury, donc, recommandent des documents synthétiques.

Cependant, je suis personnellement très opposé à une thèse qui serait si brève, parce que les revues (de chimie) réduisent les nombres de pages, de sorte que l'on ne peut plus donne dans les publications les informations nécessaires à l'évaluation de ce qui est écrit. Où le faire, si on ne le fait plus ni dans les publications, ni dans les thèses?

C'est la raison pour laquelle je préconise de très volumineuses annexes... où les "Matériels et méthodes" seront très détaillés.


2.
"Je crois qu'il y a beaucoup de maîtres de conférences et de professeurs qui ont parfois beaucoup de mal à remettre en cause les techniques traditionnelles. Le rôle des encadrants est je pense aussi important, pour faire profiter le thésard de leur expérience, en les prévenant quand ils vont dans le mur, sans esprit de compétition, et surtout en acceptant de s'impliquer dans le suivi des travaux, et pas uniquement pour s'assurer que leur nom apparaît sur les publications"

Ici, il y a beaucoup à dire, mais oui, je ne vois pas de raison pour laquelle le corps des maitres de conférences et des professeurs soit particulièrement épargné par la loi qui veut que, dans tout corps, il y ait une gaussienne (ou une autre courbe mieux appropriée) de soin, de travail, de gentillesse, d'honnêteté...
Et tout en découle!

3.
"Enfin, il y aussi quelque chose d'assez malsain (je trouve) qui consiste à considérer comme de la recherche une simple constatation, sans chercher à en trouver les causes. Si le but de la thèse est de générer le plus de résultats possibles sans autres forme d'investigation, est-ce réellement la peine d'avoir un master ou un diplôme d'ingénieur?"

La "recherche"? Trop vaste sujet. Parlons de la science. Oui, la science n'est pas réductible à l'observation des faits, puisque l'on ne répétera jamais assez qu'elle comporte les étapes suivantes :
- observation du phénomène
- caractérisation quantitative du phénomène
- synthèse des données en lois
- recherche (quantitative) de mécanismes (proposition de théories, modèles)
- prévision expérimentale fondée sur la théorie élaborée
- test expérimental (quantitatif) de la prévision (quantitative)
- retour à l'infini.

Donc, oui, mille fois oui, la science n'est pas la constatation ! Et oui, si la thèse est une thèse de science, le but n'est pas la productin de résultats, mais le chemin scientifique parcouru... en vue de soulever un coin du grand voile.


4.
"Si ma soutenance un peu houleuse peut faire prendre conscience de certaines choses à mon université, ce sera déjà ça. Je suis bien sûr assez désabusé par mon expérience scientifique, et j'ai hâte de continuer sur un nouveau projet de recherche pour le faire "dans les règles".

Attention, mon cher ami : comment être désabusé par une expérience scientifique? En réalité, de même que la beauté est dans l'oeil qui regarde, à nous d'avoir le feu qui fait la science chaque jour plus belle, au lieu de compter (un peu paresseusement) sur l'université, le directeur de recherche, etc. Nous sommes grands, nous tenons sur nos deux jambes, quand nous sommes en thèse!
Le nouveau projet? Il faudra le mener dans cet esprit d'autonomie, qui ne considère pas les circonstances, mais le travail lui-même.

La science est merveilleuse, et ce n'est pas son environnement qui la fait plus ou moins belle. Elle EST belle!

Vive la connaissance!



PS. Et oui, j'y reviens, jamais des commentaires n'auront été si nécessaires, pour un billet.

Vient de paraître aux Editions de la Nuée Bleue : Le terroir à toutes les sauces (un traité de la jovialité sous forme de roman, agrémenté de recettes de cuisine et de réflexions sur ce bonheur que nous construit la cuisine)

Quel crédit accorder aux résultats d'une publication médiocre ?

La réponse à cette importante question se  trouve sur  : http://www.agroparistech.fr/Quel-credit-accorder-aux-resultats.html