Evaluations numériques

Un journaliste écrit "J'étais chez une pote prof d'anglais qui corrigeait des DM. Je l'ai aidée à trouver les url des copier-coller. Avalanche de zéros. On a ri."

Il a ri, cet homme ? Et pourquoi ? Parce que, au fond, que demandait le devoir ? Des choses justes. Qu'ont fait les élèves ? Produit des choses (possiblement) justes, en utilisant des sources. Or qu'ont fait les universitaires depuis toujours ? La même chose. Les élèves auraient-il dû mélanger des sources pour faire quelque chose de "personnel" ? Et pourquoi, si le mélange arrive à moins bien ?

Tout cela me rappelle des réunions pédagogiques où étaient discutés des logiciels anti-plagiat : j'avais alors dit bien clairement que je ne voulais certainement pas de personnel, pour des travaux scientifiques autres qu'expérimentaux : je voulais des phrases tirées d'articles récents, de bonne qualité, assorties de références. De sorte que j'aurais plutôt utilisé les logiciels anti-plagiat... pour l'inverse de leur nom : plus un document aurait été plagié, moins il y aurait eu de personnel, et plus l'évaluation aurait été bonne.
Et puis, "personnel"... Croit-on vraiment que cela ait beaucoup d'intérêt ? Assez avec ce culte de la petite personne ignorante qui étale ses certitudes avec une complaisance veule. Nous ferions mieux de revendiquer que les élèves se donnent la peine aillent chercher des informations de bonne qualité, qu'ils apprennent à citer leurs sources avant toute chose, qu'ils apprennent à évaluer ces sources, puisque chacun écrit n'importe quoi sur internet (mais nous sommes d'accord, il y a également toujours eu de mauvais écrits, des auteurs minables et des éditeurs pourris, à côté d'auteurs remarquables et d'éditeurs responsables).

Prenons un peu de recul. Que peuvent chercher des élèves ?
Des informations : sans beaucoup d'intérêt, puisqu'on les trouve dès qu'on les cherche.
Des notions et des concepts : ce sont des outils de la pensée, et il me semble que les études doivent conduire à les découvrir, à en connaître l'existence à défaut d'en donner le maniement, puisque ce sera difficile de les chercher si on ne sait pas qu'ils existent.
Des méthodes : elles sont essentielles, comme je l'ai répété dans d'innombrables billets. Et j'appelle de mes voeux la création d'une "base de méthodes", notamment pour la science (cela se distingue un peu des "bonnes pratiques" que je discute régulièrement sur http://www.agroparistech.fr/-Les-bonnes-pratiques-scientifiques-.html).
Des anecdotes : un peu de chair autour des os, cela met de la joie.
Des valeurs : essentiel, n'est-ce pas ? C'est le sens de tout ce travail des études, la raison d'être des professeurs qui ne se réduisent pas à ces "enseignants" dont je ne veux pas entendre parler.

 Terminons sur une note très positive : l'avènement du numérique est un espoir extraordinaire, parce que nous avons la possibilité de changer des méthodes pédagogiques pour le mieux. Nous avons la possibilité de faire disparaître ces tableaux noirs qui conduisent le professeur à tourner le dos aux élèves; nous avons la possibilité d'aider nos jeunes amis à apprendre par eux-mêmes ; nous avons la possibilité de migrer vers des relations différentes, entre les professeurs et les étudiants, centrées sur le but essentiel de toute cette affaire : la question n'est pas pour des enseignants d'enseigner leur savoir toujours insuffisant, mais bien plutôt d'aider les étudiants à apprendre.
#

En science, il y a lieu de comprendre… mais c'est cela le bonheur de notre activité scientifique !

Analysant rétrospectivement une série d'expériences que je viens de terminer, je m’aperçois que ma supériorité scientifique (ne craignez rien : les chevilles n'enflent pas) par rapport à des étudiants venus récemment en stage tient notamment au fait que je ne me résous jamais à faire quelque chose que je ne comprends pas.
Par exemple, considérons les protocoles d'analyse par des méthodes du type de la chromatographie en phase gazeuse. Dans le principe, c'est tout simple : on prend un échantillon liquide à l'aide d'une seringue, et on l'injecte dans une « colonne » chauffée (un très long et fin tuyau, de plusieurs mètres de long, du diamètre d'un cheveu, enroulé sur lui même afin de ne pas occuper trop de place) où souffle un courant régulier d'un gaz. Le liquide est évaporé et la vapeur est emportée par le gaz. Quand l'échantillon contient des molécules de plusieurs types, c'est-à-dire quand l'échantillon injecté est constitué de plusieurs composés, ces derniers migrent à des vitesses différentes, de sorte qu'ils arrivent séparés à la sortir du tuyau, ce qui permet de les analyser.
Quand on fait une telle analyse, on commence par chercher un protocole, dans une publication scientifique. En supposant que les molécules qui nous intéressent ont déjà été analysées par la méthode que l'on a retenue, on en vient à reconnaître que, puisque la méthode a été publiée, elle a été évaluée par les pairs, de sorte qu'elle est validée, et utilisable. Comme nous faisons tous de même, les mêmes méthodes se répètent généralement de publication en publication, chacun se citant légitimement.
Pourtant, quand on analyse l'historique d'une telle méthode, on observe que, bien souvent, l'esprit des méthodes est progressivement transformé, et je dirais même perverti, au point que l'on se retrouve finalement avec des usines à gaz : une méthode simple, qui avait été mise au point pour un cas particulier, est ensuite compliquée pour un cas un peu différent, puis cette méthode est encore compliquée pour un autre cas analogue, jusqu'à ce que l'on arrive à l'usine à gaz.
Il y a alors lieu, face à des méthodes compliquées que nous lisons dans des publications, de se poser la question de la légitimité des détails expérimentaux, et il arrive fréquemment que, face à une usine à gaz, on puisse simplifier le protocole en revenant à des principes simples tels que « l'huile n'est pas soluble dans l'eau ». Je sais d'ailleurs un camarade de promotion de l'Ecole supérieure de physique et de chimie de Paris (ESPCI) qui a fait faire des économies immenses à une très grosse société dont il a remis à plat les formules.
Il y a donc toujours lieu de bien comprendre ce que l'on fait. Cela vaut pour les méthodes, pour les protocoles, pour tout ! Par exemple, on lit que pour préparer une solution d'amidon, il faut chauffer de l'amidon dans l'eau et ajouter du sel. Pourquoi chauffer ? Pourquoi du sel ? En l'occurrence il faut chauffer parce que l'amidon est présent sous la forme de petits grains insolubles de deux composés, amylose et amylopectine ; pour certains dosages, l'amylose doit être libéré en solution. Mais l'amylose est sous la forme cristallisée dans les grains d'amidon, et il faut chauffer pour que l'amylose passe en solution. Le sel ? Quand l'eau qui contient l'amylose en solution refroidit, les molécules d'amylose ont tendance à recristalliser, et le sel évite cette recristallisation. Pourquoi le sel évite-t-il la recristallisation ? Voilà le type de questions qu'il serait erroné de croire allant à l'infini : ce serait un relativisme idiot, car, en réalité, un peu de jugeotte permet de s'arrêter judicieusement. Mais, surtout, ce sont des questions importantes,  qu'il faut considérer soigneusement pour éviter de faire n'importe quoi : par exemple omettre le sel, ou en mettre des quantités inappropriées, etc.
Pour tous nos actes scientifiques, qu'il s'agisse de calcul ou d'expérimentations, nous devons absolument comprendre ce que nous faisons, sans quoi nous ferons environ n'importe quoi et nos travaux scientifiques seront inutiles.

Des bonnes pratiques : utiliser des méthodes officielles.

Pour exposer l'idée contenue dans le titre de ce billet, je propose de partir d'un épisode récent de notre laboratoire. Nous devions doser le dioxyde de soufre dans des vins diversement traités. Une étude bibliographique extrêmement rapide avait montré qu'une méthode, nommée méthode de Ripper, était communément employée, et il m'avait semblé, vu la simplicité du travail proposé, que ces dosages pourraient faire l'objet de stages d'étudiants. Le bilan ? Il y a eu quatre étudiants venus au laboratoire pour des périodes comprises entre un et deux mois, mais je suis désolé d'observer que le résultat total était nul.
Je ne me plains pas des étudiants, à qui je ne demande pas de produire des résultats, mais seulement d'apprendre. Or ils ont beaucoup appris, si j'en juge la liste des connaissances et des compétences qu'ils ont adjointes à leur rapport de stage, lequel a fait surtout état de travaux exploratoires. En revanche, il était intéressant d'observer que, pour des raisons que je dois encore analyser, ils s'étaient arrêtés, dans leur recherche bibliographique, à des « travaux pratiques », parfois universitaires, de qualité très variable. Or un vrai dosage, ce n'est pas une séance de travaux pratiques : les réactifs sont à préparer soi-même, dans toute leur complexité, et, surtout, les méthodes utilisées doivent être officielles et validées !



Ayant moi-même fait, après eux, une véritable recherche bibliographique, dépassant notamment les feuilles de travaux pratiques que l'on trouve dans les premières pages de Google (en français), je suis finalement arrivé, en passant par Google scholar et en cherchant en anglais, à des publications qui effectuaient ce type de dosages, et qui m'ont conduit très rapidement à des méthodes officielles. Il y en avait en français et en anglais, soit par l'AOAC (l'association américaine des chimistes analyticiens), pour les États-Unis, soit par l'OIV, l'Office international de la vigne et du vin. Dans les deux cas, les documents sont en anglais, et ils présentent des méthodes validées.
Validées : cela a imposé des études méthodologiques longues, inter-laboratoires, qui ont conduit à des protocoles finalement assez simples, et très bien documentés, qu'il s'agissait de mettre en œuvre. On observe que ces méthodes validées sont l’équivalent des méthodes de bonne pratique des société savantes médicales. Quand un médecin prescrit un médicament, il n'a pas à inventer n'importe quel traitement, mais doit se conformer  à des règles professionnelles qui stipulent quel médicament doit être utilisé dans quelles conditions, et pour quelles affections. C'est à la fois une aide et un confort. Une aide, car cela signifie qu'un groupe de collègues s'est réuni pour produire un résultat synthétique, qui est validé, efficace. Un confort, parce que s'il y a le moindre accident, en raison d'un effet secondaire, d'une sensibilité particulière d'un patient, etc., alors le praticien est couvert devant la loi, ayant suivi la bonne pratique préconisée par la société savante. C'est sur elle que pèse la responsabilité de la proposition thérapeutique, parce que le praticien, suivant les bonnes pratiques, a fait du mieux que pouvait la pratique médicale, avec les connaissances du jour. On le voit, la charge est donc essentiellement sur la communauté professionnelle, laquelle doit sans cesse surveiller les progrès des connaissances pour produire les meilleures règles possibles.
Pour en revenir à notre dosage, il y avait donc des méthodes officielles, et il était hors de question de se raccrocher à n'importe quelle séance de travaux pratiques affichée par n'importe qui sur internet. Ayant finalement à faire des dosages moi-même, j'ai donc utilisé une méthode officielle, et, à l'usage, je me suis aperçu qu'il y avait beaucoup d'intelligence dans la méthode proposée. Par exemple, contrairement aux protocoles des travaux pratiques que nos étudiants avaient dégoté, il était proposé d'ajouter du chlorure de sodium à une solution d'amidon qui était utilisée pour produire un changement de couleur. Pourquoi ce chlorure de sodium ? Parce que sa présence évite la « rétrogradation de l'amylose, qui aurait prévenu la réaction avec le di-iode éventuel. Evidemment le protocole officiel proposait de chauffer l'amidon, car, ce qu’ignoraient nos jeunes amis qui n’avaient pas assez creusé leurs recherches bibliograhiques, l’amidon se trouve sous la forme de grains insolubles dans l'eau, et il faut chauffer pour que l'amylose soit libéré et qu'il puisse ensuite réagir efficacement avec le di-iode.
Et d'ailleurs, pourquoi le di-iode teinte-t-il l'amidon en bleu ou en noir ? Là, il y a évidemment lieu de s'interroger et de faire des recherches bibliographiques complémentaires, car cela semble une règle absolue de la science que de ne pas supporter de faire quelque chose qu'on ne comprend pas. J'aurais mauvais grâce à critiquer les étudiants qui sont venus en stage dans notre laboratoire de ne pas avoir fait cette recherche, car je me souviens avoir été membre d'un jury de recrutement de maître de conférence en chimie des sucres dans une grande université parisienne, et, ayant posé cette question du changement de couleur de l'amidon avec le di-iode, je n'avais  reçu aucune  réponse d'aucun des candidats (à vrai dire, ce n'est pas exact : il y a eu un candidat qui a répondu n'importe quoi avec aplomb, espérant me bluffer, alors que j'ai la réponse depuis longtemps ; inutile de dire que j'ai renvoyé publiquement ce malhonnête dans ses seize mètres).
A propos de la solution de di-iode, il y avait cet autre petit mystère, que l'on dissout le di-iode dans une solution d'iodure de potassium. Le niveau zéro de l'étudiant, c'est de ne pas chercher à savoir pourquoi on utilise cet iodure de potassium et de ne pas l'utiliser. Le niveau supérieur, c'est de ne pas poser la question, mais d'utiliser l'iodure de potassium prescrit. Mais on peut viser mieux, et se poser la question. Ou, encore mieux : se poser la question, réfléchir et calculer, avant de confronter son résultat à une étude bibliographique. On trouve finalement que le di-iode n'est pas soluble dans l'eau, et c'est par la formation d'un fait de trois atomes d'iode qu'il peut se solubiliser, ce qui impose la présence d'ions iodure. Quel bonheur que de découvrir toutes ces particularités des transformations moléculaires !
Et puis, il y a une foule de détails, telle la concentration particulière de di-iode qu'il faut utiliser. Pourquoi cette concentration particulière ? A l'usage, il est apparu qu’une solution dix fois plus diluée montrait moins les changements de couleur que l'on visait, alors qu'une solution plus concentrée faisait perdre en sensibilité. J'en passe, parce qu'i y aune foule de détails expérimentaux, qui avaient fait en réalité l'objet de discussions préalables, par les sociétés savants, qui avaient abouti à un protocole validé. Il y a donc lieu de commencer par des protocoles validés avant de tester tout et n'importe quoi pour n'arriver à rien.

La vie est trop courte pour mettre les bouillons au net : faisons des brouillons nets

 « La vie est trop courte pour  mettre les  brouillons au net : faisons des brouillons nets » : cette phrase m'a été confiée par le musicien/acousticien/musicologue français Jean-Claude Risset, un des pionniers de la musique électroacoustique, à  qui l'on doit, avec James Shepard,  un escalier d'Esher musical.

La suite sur : http://www.agroparistech.fr/La-vie-est-trop-courte-pour-mettre-les-bouillons-au-net-faisons-des-brouillons.html

Connaissances... scientifiques?

Nous avons discuté ici des expressions fautives telles que "démontré scientifiquement", ou encore "sciences appliquées". Je n'y reviens pas.
Nous avons discuté la question de la "formation par la recherche", dont on ne sait pas très bien si c'est une formation par la science, auquel cas il n'est pas assuré qu'elle soit bonne pour de futurs ingénieurs, ou une formation par la technologie, auquel cas il n'est pas assuré qu'elle soit adaptée à de futurs scientifiques.
Nous avons discuté du mot "science", que les "philosophes naturels" croient avoir confisqué, ce que contestent les gens des sciences humaines et sociales.
Nous avons discuté la terminologie de "philosophie naturelle", qui, hélas, n'est pas suffisamment définie par la méthode... scientiifuqes
Nous avons discuté du nom de la méthode de la philosophie naturelle, qui, méthode scientifique, est pléonastique, ou, méthode expérimentale, ou méthode hypothético-déductive, est insuffisant.

Bref, nous avons déjà beaucoup questionné notre insuffisant langage actuel. Aujourd'hui, c'est l'expression "connaissance scientifique" que je veux intérroger. Je crois hélas qu'il y a la même "faute du partitif" que dans "cortège présidentiel", ou "sciences appliquées". Le cortège n'est présidentiel que si c'est lui le président. Sinon, on doit dire "cortège du président". De même, les sciences ne sont pas appliquées, sans quoi elles ne sont plus des sciences. Les connaissances, elles, sont des... connaissances, mais elles ne sont pas de la science, puisque la science est une pratique, une activité (sauf à considérer la science comme un savoir).
Y aurait-il des connaissances qui viennent de la science, et d'autres qui n'en proviendraient pas? Sans doute, mais cela ne suffit hélas pas à justifier l'usage de "connaissance scientifique". Les connaissances produites par la science ne doivent pas être nommées connaissances scientifiques, sous peine de faute de langue, et donc confusion de pensée. Comment les nommer, les distinguer des connaissances venues d'ailleurs? Je crois que nous devons nous résoudre à les nommer "connaissances produites par la science". Est-ce vraiment grave? Devons-nous à toute force synthétiser au delà de ce que la langue permet?
Je ne crois pas... ou alors, il faut à cela de nouveaux mots, et un nouveau langage. Formel?

Vive les "Matériels et Méthodes"

L'examen d'un article d'Antoine Laurent de Lavoisier consacré aux bouillons de viande est troublant, parce que les données sont "ajustées" : Lavoisier a mesuré la densité des bouillons de viande, et il a cherché une relation entre ces densités et la quantité de matière sèche dans les bouillons. Jusque là, rien de particulier.
Sauf que Lavoisier donne des densités avec six chiffres décimaux, qu'un calcul d'incertitudes bien fait montre hors d'atteinte par la méthode qu'il avait utilisée, et que le quotient des densités par les matières sèches montre une relation exacte, absolument exacte, entre les deux séries de données, ce qui n'est pas possible.

Toutefois, je ne propose pas de démolir ici Lavoisier, dont l'article en question révèle en réalité le génie, mais plutôt de considérer pourquoi des imbéciles comme nous sont en mesure, aujourd'hui, de discuter l'article : nous sommes des nains perchés sur les épaules des géants.

La lecture de l'article, essentiellement, montre que la science a considérablement progressé en réclamant de ceux qui la pratiquent une partie intitulée "Matériels et Méthodes", où tout est décrit : les matériels, leurs caractéristiques, les raisons du choix de ces matériels, les produits, les méthodes, les raisons du choix des produits et des méthodes... Tout!

N'est-ce pas une garantie que l'on n'a pas fait les choses au hasard, et, donc, que l'on a fait du mieux que l'on pouvait? L'exercice est parfois fastidieux, mais si les "rapporteurs" des publications sont des gens bienveillants (il faudra un billet à ce sujet), alors nous sommes poussés à faire bien, ce qui est quand même une grande satisfaction : la vertu est sa propre récompense!

Chérissons donc les "Matériels et Méthodes", comprenons que c'est un acquis de la science moderne... et généralisons : dans nos activités, ne pourrions-nous pas nous comporter selon cette idée? Nos comportements s'en trouveraient un peu rationalisés, et des choix arbitraires apparaîtraient mieux. Après tout, on a le droit de dire "j'aime".

Une thèse?

Cette fois-ci, un billet pour aider les étudiants qui préparent une thèse.

Qu'est-ce qu'une thèse ? Avant d'être un cadre administratif, cela reste absolument une idée que l'on soutient, que l'on défend, face à des gens bienveillants qui ont pour devise : "tenir le probable pour faux jusqu'à preuve du contraire" (car c'est ainsi que l'on peut faire de la bonne science, non?).

Donc, dans le document de thèse, comme lors de la soutenance, le candidat a intérêt à bien éclaircir le point qu'il soutient, afin que toute son argumentation converge vers l'affermissement de ses propositions.

La structure du document peut évidemment varier, quand on est génial (la thèse de Louis de Broglie est réduite à quelques pages!), mais pour tout autre cas, il y a une vraie logique à faire :

Un résumé : il énonce la thèse soutenue

Une introduction : elle pose la question que l'on va étudier, identifie l'idée que l'on veut explorer.

Une partie bibliographique : elle est là pour donner des indications sur la question posée, ce qui a été fait, ce qui reste à faire, ce qui est à refaire (parce que cela a été mal fait). La bibliographie ne doit pas être une accumulation de données de la littérature, mais une accumulation ordonnée et critique. L'expérience prouve à l'envi que nombre de publications sont mauvaises, ou dépassées, et il ne faut certainement pas tout mettre sur le même plan.

La bibliographie étant faite, on doit alors préciser la question initialement posée... et annoncer la stratégie et la tactique d'étude. Pourquoi n'y aurait-il pas, entre la bibliographie et les Matériels et méthodes, une partie : plan raisonné de l'étude?

Vient ensuite la partie "Matériels et méthodes". Je sors d'avoir lu une thèse où elle était reportée en fin de document, et c'était insupportable : il faut que, lecteur de la thèse, je sache les expériences qui ont été faites pour en apprécier les résultats. Sinon, j'ai le sentiment soit que l'on me bourre le mou, soit que tous les résultats tombent du ciel.
Et là, il y a une grave question, parce que, si les Matériels et méthodes sont bien faits, la thèse fait environ 1000 pages et pèse plusieurs kilogrammes.

Je propose donc de donner seulement l'idée générale des Matériels et méthodes, dans le corps principal du document (qui sera limité à une centaine de pages : les collègues estiment que le candidat doit faire preuve d'esprit de synthèse), et de faire un document séparé, contenant tout le détail des Matériels et méthodes, des résultats, etc.

Après les Matériels et méthodes viennent les résultats, que je propose de bien séparer des interprétations. Ce n'est pas une originalité que de réclamer que les faits soient séparés des interprétations, et je ne comprends pas pourquoi certaines publications scientifiques réclament de regrouper les deux parties. C'est un mauvais exemple à donner.

Les discussions : ah! on n'a pas assez dit qu'il ne s'agit pas de faire des interprétations à partir de la bibliographie, en écrivant des phrases en français. Je réclame des calculs pour "asseoir" les interprétations. Sinon, on fait de la poésie.

Enfin, la conclusion s'assortit de perspective. Personnellement, comme je milite pour que tout travail soit assorti d'une évaluation, je propose que la conclusion inclue une évaluation (critique : il vaut mieux se faire à soi même des critiques que de les voir venir par ailleurs) du travail effectué.

Donc, j'ignore si une thèse, c'est ou non trois ans de travail, et cela seulement, mais je sais que le document remis au rapporteur ne sera pas trop mal jugé a priori s'il est structuré comme je l'ai indiqué ici.

N'hésitons pas à discuter ces idées, et à les diffuser à tous ceux qui en ont besoin!