Bonnes pratiques : ne pas généraliser hâtivement

Vite, d'une frappe sur les doigts, faisons un élan vers le bonheur ! Dans ce Responsible Science, que j'ai déjà cité, je lis, comme répréhensible  :

Using inappropriate statistical or other methods of measurement to enhance the significance of research findings;

En français "utiliser des méthodes statistiques ou des méthodes de mesures inappropriées pour donner à des découvertes de recherche plus d'importance qu'elles n'en ont". En réalité, la traduction du passage américain est difficile, parce que ce texte est lui-même un peu inexact : il dit "augmenter l'importance" ; or on ne peut pas augmenter l'importance d'une découverte, mais seulement faire croire que le résultat a plus d'importance qu'il n'en a en réalité. D'autre part, il y a une amphibologie au mot "significance", parce que, en statistiques, on parle de significativité, partant du bon principe que toute mesure est incertaine, et que, d'autre part, les théories sont toutes approximatives, même si leur précision va croissante.
Ce qui est clair, c'est que se pose ici la question du scientifique vis à vis de lui-même, et vis à vis de sa communauté. Si la juste ambition des scientifiques est de faire des découvertes, alors on comprend mal pourquoi on irait utiliser des méthodes fautives pour se tromper soi-même : au fond de soi, on sait bien quand on a observé un effet ou pas. A contrario, on sait qu'il y a hélas des individus qui vivent en représentation, et pour qui l'estime qu'on leur porte est plus importe que la justesse des idées qu'ils tendent à la communauté, en vue de s'en faire estimer. Et c'est à eux que s'adresse en réalité la phrase de l'Académie américaine des sciences.
Oublions-les, car ils ne méritent pas de cette considération qu'ils quêtent au prix de leur malhonnêteté. Et, vite, prenons positivement l'idée initiale : oui, ayant des résultats, pour nous assurer de leur justesse, nous avons souvent besoin de méthodes statistiques. Dans un autre billet, j'ai assez dit que nos mesures sont toujours imprécises à des degrés divers, de sorte que nos résultats expérimentaux ne concordent qu'imparfaitement à nos "théories", nos équations d'ajustement. C'est pour cette raison que nous avons besoin de savoir avec quelle probabilité il y a ou non concordance. Il nous faut des méthodes de mesure toujours plus précises, et il nous faut valider, afin de savoir ce qu'il en est de nos résultats.

Leur "importance" ? C'est là une autre question, bien difficile, et je propose de transposer cette phrase "la vertu est sa propre récompense" à nos études scientifiques : au lieu d'en chercher l'importance, utilisons bien notre temps à savoir si les résultats que nous produisons sont dignes d'être affichés, publiés. Validons, validons, et validons encore !