Overblog Suivre ce blog
Editer l'article Administration Créer mon blog
22 octobre 2012 1 22 /10 /octobre /2012 16:58

Ce week end, j'ai lu une nouvelle à la fois drôle et triste. Là voilà .  (Le blog original en anglais annonçant la nouvelle est ici ) Pour la première fois (en tout cas la première fois répertoriée), un article scientifique a été accepté dans un journal de mathématiques (peu connu il est vrai), certes "sous réserves de modifications". Le problème est que cet article a été composé par un générateur de texte aléatoire et ne contenait absolument rien qui ait la moindre signification mathématique. Les références ont été aussi engendrées aléatoirement à partir de mathématiciens connus ... dont beaucoup sont morts depuis bien longtemps ! 

Les anglicistes pourront lire le texte de l'article sur ce lien. Même sans être mathématicien, il paraît assez clair que le texte n'est qu'une suite de phrases et de formules sans aucun lien logique ....

Les commentaires du référé et les réponses à ces commentaires sont assez savoureux. 

Exemples 

"Anyway, the manuscript has some flaws are required to be revised :

(1) For the abstract, I consider that the author can’t introduce the main idea and work of this topic specifically. We can’t catch the main thought from this abstract. So I suggest that the author can reorganize the descriptions and give the keywords of this paper."

"Le manuscrit a cependant quelques défauts qui demandent à être revus :

(1) pour l'abstract, je considère que l'auteur ne peut pas introduire spécifiquement l'idée principale et le travail sur le sujet [sic ?]. Nous ne pouvons pas saisir l'idée principale à partir de cet abstract. Je suggère donc que l'auteur réorganise ses descriptions et donne les mots-clés de son article"

Réponse de l'auteur :

The referee’s objection is well taken; indeed, the abstract has not the slightest thing to do with the content of the paper.

"L' objection du référé est bien vue. Effectivement l'abstract n'a strictement rien à voir avec le contenu du papier " (NB bien sûr les deux ont été engendrés aléatoirement !!) 

2e remarque

(2) In this paper, we may find that there are so many mathematical expressions and notations. But the author doesn’t give any introduction for them. I consider that for these new expressions and notations, the author can indicate the factual meanings of them.

(2) Dans ce papier, on peut trouver qu'il y a beaucoup d'expressions mathématiques et de notations. Mais l'auteur ne donne aucune introduction pour elles. Je considère que pour ces nouvelles expressions et notations, l'auteur peut indiquer leur signification factuelle.

 

Réponse :

The paper certainly does contain a plethora of mathematical notation, but it is to be hoped that readers with the appropriate background can infer its meaning (or lack thereof) from context.

"Le papier contient certainement une pléthore de notations mathématiques, mais on peut espérer que le lecteur muni d'un bagage suffisant peut déduire leur signification (ou le manque total de celle-ci) à partir du contexte ..."

Etc, etc... on imagine l'hilarité de l'auteur répondant au référé.

Bon, c'est comique , mais c'est un peu triste. D'autant que le journal faisant payer les droits d'édition, la publication serait l'occasion pour le journal de recevoir la somme coquette de 500 € ... une raison qui a paru suffisante à l'auteur pour ne pas chercher à "améliorer" son texte en renvoyant une version convenable pour le référé ! 

Moins franchement caricatural, mais peut être tout aussi préoccupant, a été la publication d'une étude très médiatisée "démontrant" l'action d'un maîs génétiquement modifié NK603 (et de l'herbicide "Round Up" associé contre lequel le maïs OGM a été rendu résistant) sur le développement des tumeurs chez les rats, par le Professeur Gilles-Eric Seralini. L'affaire a bien sûr connu un retentissement médiatique important, mais l'étude a soulevé immédiatement de très vives suspicions et même une critique publique des Académies Scientifiques, en particulier à cause du nombre très faible de rats ayant servi de témoin. 

http://sciences.blogs.liberation.fr/.a/6a00e5500b4a648833017c327022df970b-320pi

A titre personnel, je partage tout à fait les critiques sur la faible valeur statistique de l'étude. Mais cela pose une question de fond : comment et pourquoi un tel article a pu franchir le cap d'une publication à référé ? pourquoi et comment a-t-il pu faire l'objet d'une campagne médiatique aussi bien orchestrée au moment de sa publication (et accessoirement de la sortie d'un livre écrit par le même auteur en librairie ... ?)

D'autres signaux d'un laxisme croissant dans les publications peuvent être trouvés dans cette nouvelle également reportée dans le blog de Sylvestre Huet : l'augmentation statistiquement significative (elle !) du nombre de cas de fraude et de plagiat dans le publications dans le domaine des Sciences de la Vie. 

http://sciences.blogs.liberation.fr/.a/6a00e5500b4a648833017ee3e97931970d-pi

Comment "lire" ses informations ? les cas de fraude scientifique ne sont pas nouveaux, mais on voit très clairement qu'ils apparaissent quand des interêts financiers et/ou idéologiques sont en jeu. Le monde scientifique est un monde d'humains, gouverné par des passions humaines. Malheureusement, l'évolution de la Science vers une activité "de masse" a mis aussi en branle un certain nombre d'interêts financiers, à la fois dans les conséquences économiques des découvertes et dans le "marché" des publications. De plus, les procédures actuelles d'évaluation des chercheurs donnent une place grandissante à l'évaluation "quantitative" , à la fois en taux de publications et en taux de citation (mesuré par le fameux "h-index", qui est défini comme le rang de l'article dans un classement par nombre de citations décroissant, tel que son no de rang est égal à son nombre de citations). Mais  l'évaluation se fait de moins en moins, voire plus du tout, sur le contenu  réel. Après tout qui connait le nombre d'articles publiés par des grands physiciens, Einstein, Bohr, Feynmann et qui s'en préoccupe ? Or il est bien connu par exemple qu'un article médiatisé mais comportant des erreurs, voire carrément faux, va être beaucoup cité ... pour démontrer ses erreurs ! 

La leçon de tout cela, c'est qu'il faut toujours garder une solide distance par rapport à l'argument que "les scientifiques ont toujours raison", ou même que "les publications à référé ont toujours raison". Cela ne signifie pas à l'inverse que tout est faux et que le monde scientifique est globalement pourri, bien évidemment. La science fait constamment la preuve de son efficacité, après tout si vous vous servez quotidiennement de GPS et de lecteurs MP3, c'est que les scientifiques ne disent pas que des bêtises. Mais la leçon, c'est la confirmation que "l'argument d'autorité" n'a pas de valeur. Il y a plusieurs cas de dérives collectives de scientifiques plongés dans un contexte politique et idéologique particulier (comme les scientifiques sous l'Allemagne Nazie , pardon pour le "point Godwin", ou l'affaire Lyssenko dans l'ex URSS, baptisée "la plus grande aberration rencontrée dans l'histoire des sciences de tous les temps").  Ce qui compte, c'est la critique scientifique raisonnée. Tout le monde n'est naturellement pas capable de tenir une discussion scientifique serrée,  qui demande parfois un socle de connaissances assez solides. Mais ceux qui n'en sont pas capables devraient se méfier de l'argument "moi j'y crois parce qu'on m'a dit que c'était vrai", et se rappeler à quelles aberrations ont pu conduire cette attitude ...

Partager cet article

Repost 0
Published by climatenergie - dans Société
commenter cet article

commentaires

reglisse 25/10/2012 08:59


Hmmm...ce que montre surtout cet épisode, c'est que les générateurs aléatoires de texte sont relativement perfectionnés...et que le relecteur en question n'était vraisemblablement pas au mieux de
sa forme. Maintenant, est-ce qu'il parait totalement improbable qu'un jour arrive où un article écrit de cette façon pourrait faire vraiment illusion? Entre autres parce que les réactions du
relecteur auront servi de point de départ à une amélioration des performances du générateur de texte aléatoire? Et ce jour-là, c'est une tout autre question qu'il faudra se poser...

climatenergie 25/10/2012 10:02



Bonjour Réglisse


le générateur de texte est relativement élaboré dans la mesure où il produit des phrases grammaticalement correctes. En revanche il est certain que le sens scientifique est strictement nul -
c'est à dire qu'il n'y a strictement aucune information "utilisable" (par exemple un résultat qui ait un sens pour d'autres chercheurs) dans l'article. C'est un peu comme si je dis : "L'action
bleue est trivialement un chat". c'est grammaticalement correct, mais bien sûr tu n'as aucune idée de ce que ça peut vouloir dire (bien sûr ça ne veut rien dire). Tu pourrais supposer que j'ai
créé auparavant une théorie mathématique dans laquelle j'aurais donné une signification à "action", "bleue" et "chat" (après tout les mathématiciens ont bien défini des objets appelés "corps",
"groupes", "anneaux", "matrices" dans des sens différents, et donnent un sens à la phrase "l'ensemble des matrices inversibles forment un groupe", qui n'en a pas pour le commun des mortels). Mais
dans ce cas tu es obligée de me faire aveuglément confiance si je t'affirme que ce que j'ai dit a un sens. Le problème ici est qu'on est censé avoir une procédure de "flitration" efficace par des
pairs, qui sont censés savoir ce qui a du sens ou pas, et que cette procédure a manifestement connu un énorme bug.


La question intéressante est : pour UN énorme bug très spectaculaire, combien de petits bugs bien plus anodins ? malheureusement il semble qu'il soit bien plus élevé que ce qu'on imagine en
général.



claix 24/10/2012 11:36


entre les intérêts fianciers, les croyances de certain scientifique, etc … difficle de se faire une opinion pour le peuple …


Avoir du recul par rapport à l'information est difficle, le reportage sur le lait hier (France 5) parlait justement de cela, et des difficultés d'un journaliste scientifique pour avoir des
informatiosn fiables …


alors pour le citoyen lambda … on a parfois l'impression que tout n'est que manipulation !


AC

alphagruis 23/10/2012 14:10


Oui, ma foi, rien de vraiment neuf sous le soleil d'automne.


Les scientifiques (et donc les referees) ne sont que des humains et ont TOUS peu ou prou leurs préjugés, biais et autres idées préconcues. Les meilleurs sont justement conscients de ça et faire
de la vraie science n'est en fait rien d'autre que de les surmonter et lire à travers les idéologies.  Le problème de l'évaluation est lui aussi vieux comme la science et n'a pas de solution
vraiment satisfaisante. Seul le temps permet d'y voir plus clair et de résoudre bien des incertitudes sur la valeur et qualité du travail des uns et des autres.


Le problème est aussi beaucoup plus ardu et grave dans les sciences de la vie que la physique ou les mathématiques et l'article mentionné aurait eu bien moins de chance de passer à travers les
mailles du filet d'un journal mathématique vraiment réputé.


Comparée à la physique nous comprenons bien moins bien voire pas du tout les phénomènes du vivant d'une part et ils nous touchent beaucoup plus directement d'autre part. Tout est donc infiniment
plus incertain et donc A JUSTE TITRE controversé et passionné.


Et nous sommes condamnés à faire avec.