> Bonnes pratiques : à propos des "points aberrants"

En sciences de la nature, il y a la question très compliquée des points aberrants, ce que l'on nomme en anglais des outlyers. De quoi s'agit-il ? Je propose de partir d'un exemple simple, puis de tirer les leçons de l'analyse de ce cas élémentaire.

Un exemple imaginaire

Imaginons le physicien allemand Georg Ohm qui met en série une pile et une résistance électrique.

Il applique une différence de potentiel (une "tension électrique") et mesure l'intensité du courant. Puis il applique une autre différence de potentiel, à l'aide d'une autre pile, et obtient une autre intensité électrique. Et il fait cela pour plusieurs différences de potentiel, mesurant chaque fois l'intensité électrique.
Ayant ces données, il trace un diagramme, où les deux mesures forment les coordonnées de points... et il observe que ces points semblent s'aligner, qu'il y a une proportionnalité entre l'intensité électrique et la différence de potentiel (quand on double la différence de potentiel, on double l'intensité, par exemple).

Jusque là, tout va bien... sauf que les points ne sont pas parfaitement alignés, en réalité. Mais comme les mesures sont (toujours) imprécises, il se dit que la "loi" de proportionnalité est valable, et il la publie.
Oui, mais imaginons qu'il y ait eu une circonstance quelconque qui, pour une mesure, fait une perturbation qui engendre un point de mesure très éloigné des autres. Que faire ?

Évidemment, la première chose à faire est de répéter l'expérience particulière qui étonne, et, alors, deux cas se présentent :
- soit on retrouve la valeur bizarre
- soit on trouve ensuite des valeurs qui correspondent mieux à la loi de proportionnalité qui semble s'imposer expérimentalement.

Le cas le plus simple est celui où l'on retrouve la valeur bizarre. Si cette valeurs apparaît expérimentalement plusieurs fois,  ce n'est pas à nous de dire que l'expérience est mauvaise et que la loi de proportionnalité s'impose; nous devons nous interroger sur la raison de cet écart à la proportionnalité, en imaginant soit que l'expérience particulière que nous avons faite ne permet pas de voir cette proportionnalité, soit que  la nature n'a pas mis là de proportionnalité.
Ainsi, au cours  de mes recherches, je me souviens avoir mesuré la viscosité d'un sirop de sucre à l'aide d'une bille que nous laissions tomber et dont nous mesurions la vitesse. La variation était régulière... mais quand le sirop était très visqueux, le comportement de la bille de venait bien différent de celui décrit par la loi classique, un peu comme pour le point aberrant indiqué ci-dessus. A l'analyse, il était facile de voir, pour ce cas très simple, que le récipient, étroit, ne permettait pas aux écoulements de se faire librement, ce qui modifiait le résultat.

Les valeurs bizarres sont en réalité très intéressantes, car il y a cet adage qui stipule que lorsqu'on fait une expérience et que l'on obtient le résultat qu'on attendait, on a une confirmation,  mais si l'on a un résultat que l'on n'attendait pas, alors on a peut-être une découverte.  

Considérons maintenant le cas où, répétant l'expérience, au moins celle particulière qui a fait apparaître le point aberrant,  on trouve une valeur qui correspond mieux à la loi de proportionnalité. Là, c'est ennuyeux, car on est en réalité face à deux valeurs tout aussi probables (même s'il y a cette présomption de proportionnalité qui semble donner plus de poids à une valeur bien alignée), de sorte que l'on doit faire une autre répétition.
Ici, il faut quand même que j'observe, pour ceux qui l'ignorent, que l'expérience décrite pour la mesure de l'intensité et du potentiel électrique se fait en quelques instants, mais que, souvent, la répétition d'une expérience ne se fait pas en un claquement de doigts : certaines expériences prennent des mois, voire des années, de sorte qu'il est essentiel de bien choisir la stratégie que l'on utilise. Pour des expériences comme la détection du boson de Higgs ou des ondes gravitationnelles,  il hors de question de décider légèrement de répéter une expérience, et l'on doit avoir une stratégie très intelligente -dans le cadre des bonnes pratiques-,  c'est-à-dire de ne pas céder à ses croyances ou à ses fantasmes. Admettons ainsi que deux mesures semblent correspondre, alors qu'une troisième valeur est bizarre ; il y a lieu de mettre en œuvre des statistiques et d'afficher des résultats avec des probabilités, pas plus
Et l'on retrouve ici cette idée que la science n'est pas en train de démontrer des théories, mais plutôt de les réfuter :  les valeurs bizarre que l'on ne retiendra pas doivent être conservées, et elles doivent notamment être signalées lors de la publication d'un résultat.


Un exemple

A titre d'exemple, le cas le pire  que nous ayons rencontré dans notre groupe était à propos de la dégradation d'un composé, dans des conditions particulières très rigoureusement définies :  nous utilisions des matériels très propres, des produits très purs, des conditions très exactement contrôlées. Lors d'une première expérience (3 semaines de travail), nous avons mesuré la vitesse de dégradation du composé. Puis, quand nous avons répété l'expérience (nous répétons toutes nos expériences au moins trois fois), nous avons obtenu une dégradation beaucoup plus lente.
Évidemment la première chose à faire était de répéter encore l'expérience et nous avons retrouvé la dégradation plus lente. Je répète que ce qui se dit ici en quelques mots correspond à des semaines de travail... pour donner à évaluer le sentiments des chercheurs face à ces points aberrants, que seuls les malhonnêtes occultent (la poussière sous le tapis).  Bref, nous n'avons jamais réussi à retrouver la première vitesse de dégradation, qui semble donc être aberrante, mais que faire, devant une telle situation ? On se doute que nous avons tout analysé en détail : repris les cahiers de laboratoire pour voir comment les choses avaient été faites, par exemple... mais rien. 

Dans un tel cas, la bonne pratique s'impose : valider les mesures ultérieures par une autre expérience, différente, ce qui correspond à des "validations". Mais, aussi, lors d'une publication du résultat, évoquer ce premier résultat qui peut découler de causes innombrables : n'a-t-on pas vu, au centre de recherches d'études des particules de Genève, une oscillation d'un signal électrique due au passage du TGV près de l'anneau de collision ?