A propos d'incertitudes

 

Hier, une question qui revient sans cesse à propos de mesures, d'incertitudes de mesure, et de répétition d'expériences.

Un ami  en stage au laboratoire fait une expérience et, faisant plusieurs mesures d'une même grandeur, obtient - c'est bien- des valeurs évidemment différentes,  puisque si l'instrument de mesure est  très précis, il est sensible aux mille perturbations environnantes.
Ayant ces différentes valeurs, il calcule donc légitimement une moyenne et un écart type,  afin de décrire les résultats, en tenant compte de la dispersion des mesures.
Puis il décide de répéter l'expérience, ce qui le  conduit à une autre moyenne,  assortie d'un autre écart-type.
Et il répète encore l'expérience plusieurs fois,  calculant chaque fois  une moyenne et un écart-type.
Il s'interroge maintenant sur l'incertitude de ses résultats complets : doit-il faire une moyenne des moyennes, ou bien la moyenne de tous les résultats ? Et quelle est l'incertitude pour les deux cas ?

Je crains d'être obligé de faire le calcul, qui est très simple : est-ce une bonne explication, si nos interlocuteurs ne savent pas ou n'aiment pas calculer ?
Commençons par les moyennes.
Nous nommerons
                           "m[i, j]"

 la j-ième mesure de la i-ième expérience. Nous considérons n expériences, et p mesures pour chacune.
Dans le cas "séparé". Pour chaque expérience, la moyenne est donnée simplement par :

              "M[i] = sum(m[i, j], j = 1 .. p)/p"

Et si l'on fait la moyenne de toutes les n moyennes, on a :
M = sum(M[i], i = 1 .. n)/n and sum(M[i], i = 1 .. n)/n = sum(sum(m[i, j], j = 1 .. p)/p, i = 1 .. n)/n and sum(sum(m[i, j], j = 1 .. p)/p, i = 1 .. n)/n = sum(sum(m[i, j], j = 1 .. p), i = 1 .. n)/(n*p);

Bref, c'est la moyenne de toutes les mesures.
Pour les incertitudes, de même, on retrouve le même résultat (heureusement !), à condition de savoir que le GUM du Bureau international des poids et mesures indique que pour, une variable composée, l'incertitude doit être prise égale à la racine carrée de la somme des carrés des dérivées partielles par le carré des incertitudes.

Surtout, notre ami a ainsi compris que l'incertitude diminue avec le nombre de mesures effectuées: plus on fait de mesures, plus la moyenne s'approche de la véritable valeur cherchée, et plus on caractérise la mesure, en quelque sorte.

Une mesure ? Pas sans incertitudes... ni sans une raison de la faire

1. Aujourd'hui, des étudiants me demandent des conseils à propos d'une expérimentation qu'ils ont faite. Ils m'envoient en pièce jointe d'un courriel un graphe où des points rouges et bleus sont respectivement reliés par des segments de droite, formant deux courbes.
Malgré l'obscurité de leur message, je crois comprendre qu'ils pensent avoir mis en évidence deux comportements différents, pour des systèmes identiques traités différemment.

2. Dans un tel cas, la première des choses à faire est de pure forme : il faut se souvenir que les résultats de mesure ne valent rien sans une information précise sur les matériels et les méthodes qui ont été employées.

3. De ce fait, les points de mesures doivent nécessairement être assortis d'une indication sur les incertitudes de mesure et ce sont seulement ces indications qui permettront de savoir si les deux courbes sont effectivement différentes... ou pas.

4. On ne répétera jamais assez que deux mesures sont toujours différentes et que c'est la comparaison de ces mesures avec leur incertitude qui établit ou non une probabilité notable, ou faible, de différence. Ce qui vaut pour deux points vaut évidemment pour une courbe tout entière

5. De sorte que je suis immédiatement conduit répondre à mes correspondants que, sans toute l'information nécessaire, je suis dans incapable de les aider.

6. Cela, c'est pour le détail, mais il y a pire, qui tient  dans un « de quoi s'agit-il  ?». que disait notamment le maréchal Foch, ce qui fut ensuite repris par le photographe Henri Cartier-Bresson.  
Pourquoi mes correspondant ont-ils fait cette expérience ? Qu'est-ce qui justifie que l'on s'intéresse à cette expérience ? Faut-il que je passe plus de temps à analyser une question qui serait complètement idiote ? Et, dans l'hypothèse où la question est pertinente, il y a lieu de se poser d'abord l'adéquation de l'expérimentation qui a été faite à la question qui a été posée. D'où le choix des matériels et des méthodes.

7. Bref, pour faire bien, il faut éviter de se lancer, et il vaut mieux avoir de vraies raisons... ce qui est précisément demandé dans la première partie de nos "documents structurants de recherche" (DSR).
Les connaissez-vous ?

A propos de chiffres significatifs

 1. Je trouve dans un texte sur la significativité des valeurs communiquées dans les articles cette phrase "It concerns me that numbers are often reported to excessive precision, because too many digits can swamp the reader, overcomplicate the story and obscure the message." Je traduis  : "Cela me gêne que les nombres soient souvent donnés avec une précision excessive, parce que trop de chiffres peuvent submerger le lecteur, compliquer inutilement le récit et obscurcis le message".

2. Notre auteur a raison de critiquer l'emploi de précisions excessives, mais les raisons qu'il donne sont mauvaises. La raison essentielle, la seule, au fond, c'est que les mesures sont connues avec une précision qui doit être déterminée par ceux qui communiquent les mesures, et les chiffres indiqués doivent être être "significatifs". Il ne s'agit pas d'en mettre plus ou moins, mais de donner exactement ce qu'il faut.

3. Un exemple : si l'on utilise une balance, alors le nombre de chiffres que l'on indique est soit déterminé par la précision de la balance, soit par l'écart-type des répétitions des mesures.

4. Un exemple dans l'exemple : supposons que la balance que nous utilisions soit de grande précision, disons 0,0001 g, et que trois pesée d'un objet soient égales, disons à 5,2341 g. On comprend facilement que l'on doit afficher ce 5,2341, et pas 5,23410000  : non seulement ces 0 ne peuvent être donnés par la balance, mais, de surcroît, la précision de nos mesures n'est au cent millionième de gramme ! Le dernier chiffre significatif nous donne la précision du résultat, et ce serait soit idiot, soit ignorant, soit malhonnête d'afficher le nombre avec ces quatre 0 intempestifs.

5. Supposons maintenant que des répétitions de la pesée d'un objet, donnent trois valeurs différentes, évidemment différentes de plus que 0,0001 g, soit parce que la pièce est balayée par le vent, soit que l'objet pesé n'ait pas été toujours placé exactement au centre du plateau, par exemple. Alors l'écart-type  des trois mesures serait supérieur à 0,0001 g, et c'est lui qui détermine le nombre de chiffres significatifs.

6. Et si l'on fait une longue série d'expériences, qui conduisent à la détermination d'une grandeur, alors il faut "propager les incertitudes d'étape en étape, du début de l'expérience jusqu'à la fin...

7. Et c'est là où je vois souvent des fautes (je dis bien "des fautes", et pas "des erreurs"), le plus souvent parce que nos amis sont un peu faibles mathématiquement, et qu'ils ont peur de ces objets mathématiques pourtant simples que sont les dérivées partielles, ou parce que les calculs d'incertitudes, souvent bien compliqués, les rebutent.

8. Mais, finalement, on comprend -j'espère- pourquoi l'auteur cité initialement était  dans l'erreur. Les sciences de la nature ne sont pas un "récit" (ou tout autre mot que l'on préférerait pour "story) comme les autres, et l'on n'a pas le droit de décider de le rendre clair ou pas. Les mesures sont ce qu'elles sont, les expériences sont ce qu'elles sont, et il n'y a pas lieu de simplifier ou de compliquer la lecture du compte rendu de ces dernières et de leurs résultats !

La validation, un état d'esprit

La validation est un état d'esprit

Je suis étonné a posteriori de ne jamais avoir entendu le mot "validation" lors de mes études de physico-chimie point, car c'est  la chose la plus essentielle de la science.
Et d'ailleurs dire le mot validation et bien insuffisant parce que très abstrait ; avec ce mot, c'est d'un état d'esprit tout entier dont il est question. En effet, ill ne s'agit pas seulement de vérifier un calcul, mais de douter de tout ce que nous produisons. Ou, plus exactement,  de "remettre en cause" tout ce que nous produisons.

Hier, par exemple, lors d'une discussion de laboratoire, j'ai entendu un de mes jeunes collègues dire que il était "sûr" que deux valeurs étaient identiques. Sûr, vraiment ? Rien que prononcer ce mot "sûr" est un symptôme qui révèle que l'état d'esprit de la validation n'est pas suffisamment implanté. En réalité, à l'analyse, il y avait la production de deux valeurs pour une même quantité, et notre notre jeune collègue voyait une égalité de ces deux valeurs obtenues à la suite de  longues expériences qui se répétaient. Or les deux valeurs n'étaient évidemment pas identiques, mais seulement très proches.
Une incise rapide : les deux valeurs ne pouvaient pas être identiques, car à l'aide d'un instrument de mesure très précis, on aurait une infinité de décimales. Or la probabilité que deux mesures tombent sur les mêmes décimales (à l'infini) est nulle, stricto sensu ! C'est là un résultat élémentaire de la théorie de la mesure.
Et la question était donc plutôt, étant données deux valeurs différentes, de savoir si, connaissant les incertitudes expérimentales, on peut considérer raisonnablement qu'elles correspondent à une même grandeur, ou bien à des grandeurs différentes.
C'est  ici que s'introduisent les méthodes statistiques, qui permettent de dire quelle est la probabilité que les deux résultats correspondent à une même grandeur ou, inversement,  que ces deux résultats correspondent à des grandeurs différentes. Il y a une question de probabilité, ce qui exclut absolument la certitude, le "je suis sûr que". Et l'on se référa à d'autres billets qui expliquaient que tout résultat expérimental doit obligatoirement être associée à des incertitude de mesure, à des estimations des incertitudes, à des  déterminations expérimentales de ces  incertitudes,  et l'on retiendra ici que s'impose donc une comparaison statistiques... sans oublier qu'une pièce de monnaie qu'on lance en l'air peut parfaitement tomber 100 fois sur pile.

Mais cette question est bien élémentaire et nous devons revenir à la validation. La validation, cela consiste à répéter les expériences, ce qui conduit donc à comparer les résultats de ces expériences.
Mais, la validation, cela consiste aussi à douter du résultat des comparaisons, à imaginer et mettre en œuvre des façons différentes d'attaquer la question par des méthodes différentes. Dans un autre billet, j'ai évoqué le diable qui est caché derrière tout les calculs, derrière tous les  résultats d'expériences, derrière tous les gestes expérimentaux.
Mais je veux ici évoquer les exemples. Ainsi quelqu'un qui utilise une balance de précision pour peser un objet dont la température n'est pas exactement celle de la pièce s'expose à ce que des échanges de chaleur engendrent des courants d'air par convection, ce qui faussera résultat de la mesure. Plus élaboré, quelqu'un qui enregistre des spectre de résonance magnétique nucléaire en ignorant que le pH a un effet sur la résonance de certains protons s'expose à confondre les protons lors de l'interprétation ;  de même pour la présence d'ions paramagnétique, par exemple.
Notre culture scientifique toujours insuffisante et donc une menace virgule qui justifie que ce soit une bonne pratique d'être très au courant de la science qui se publie chaque jour

Le diable est tapi

Mais cette observation a des conséquences bien plus grave, quand on se souvient que le ou la scientifique moderne  est loin de tout savoir, et que, par conséquent, même si nous savions tout ce qui a été publié, nous serions ignorant de tout ce qui reste à découvrir.
Et c'est cela qui nous menace véritablement !
Les rapporteurs, les pairs à qui nous soumettons nos manuscrits en vue de leur publication sont là pour nous aider à voir les écueils inconnus, mais il y a les autres ! Et c'est une bonne métaphore d'imaginer que les scientifiques sont comme les marins qui naviguent près des côtes, donc ils ignorent tout de la topographie des fonds.

Bien sûr il y a les rochers qui émergent, mais il y a aussi ceux qui sont à une profondeur inférieure au tirant d'eau du navire. C'est cela, le diable qui nous menace à chaque instant. C'est cela qui justifie que nous qu'on servions en tête sans cesse ce mot de "validation".

Jamais de mesures sans estimation des incertitudes

Ce matin, je reçois une revue qui milite pour une filière alimentaire, et, notamment, intervient dans un débat public à propos d'un de ses produits. On comprend que, dans une telle circonstance, les arguments doivent être particulièrement forts.

Or voici le genre de schémas qui figurent dans un article, où un scientifique est invité à venir à l'appui de la profession qui se défend  :

 


C'est contre productif... parce que les données ne sont assorties d'aucune intertitude, mesurée ou estimée.
Expliquons.

Quand on donne une valeur, on s'expose évidemment à ce que nos interlocuteurs, s'ils n'ont pas un pois chiche à la place du cerveau, commencent par s'interroger sur la validité de la valeur, avant d'en chercher la signification. La question est la même qu'à propos de la "couleur d'un carré rond", discutée dans un autre billet : ne cherchons pas à caractériser ce qui n'existe pas !
En l'occurrence, les mesures ont été... mesurées, et c'est l'instrument de mesure qui détermine leur précision. Oui, précision, car le plus souvent, et surtout dans des débats tels que celui que j'évoque, il y a une estimation, et non pas une valeur exacte. Par exemple, dans l'article évoqué, il est question du nombre de fractures évitées : cela ne se mesure pas, mais s'estime seulement. Pour d'autres cas, on peut avoir des mesures, telle la mesure d'une masse, à l'aide d'une balance nécessairement imprécise. Ou bien des estimations à partir de déterminations sur des échantillons.

 Bref, la science veut que tout nombre soit assorti d'une estimation de l'incertitudes, soit que cette estimation soit égale à l'incertitude de l'instrument de mesure, soit qu'elle soit déterminée par la répétition de plusieurs mesures.

Evidemment, quand on communique les résultats des mesures, il y a lieu de donner ces estimations des incertitudes, sans quoi, d'ailleurs, il y a mensonge : on laisse penser que la précision est celle que l'on affiche. Et, d'ailleurs, c'est une bonne pratique que celle des chiffres, et que j'invite mes amis à découvrir sans tarder s'ils ont quelques doutes à leur propos.
Sur un diagramme, les points doivent avoir une taille égale à l'incertitude. Sur un histogramme, on doit faire figurer  des valeurs hautes ou basses. Et ainsi de suite.

Sans quoi, nous sommes en position de considérer sur les données fournies ne valent rien : imaginez qu'elles aient été obtenues par un incapable !