Les réseaux sociaux scientifiques bruissent d’un scandale : des chercheurs ont intentionnellement écrit des articles scientifiques ridicules, et qui auraient dû être rejetés par un comité éditorial un tant soit peu scrupuleux, et ont pu les faire publier dans des revues traitant notamment de questions de genre. Leur but était de démontrer que les revues de ces domaines scientifiques publient n’importe quoi à condition que ce n’importe quoi s’inscrive dans les bonnes thématiques, utilise le bon vocabulaire, les bonnes citations, et produise des conclusions conformes aux préjugés idéologiques du champ considéré, reprenant ici les objectifs et la méthode du fameux canular de Sokal.

Les réactions à cette annonce ont été sans surprise. Ceux qui estimaient que certains champs universitaires relèvent de l’opinion et non de la science, et masquent leur manque de justification scientifique sous un vocabulaire pompeux, ont été confortés dans leur opinion : voilà la preuve que leurs intuitions étaient bonnes ! D’autres, dans les champs de recherche visés ou dans des champs voisins, ont dénoncé une manœuvre politique de droite menée par des chercheurs eux-mêmes médiocres, ne démontrant rien, les revues visées n’étant pas centrales dans le champ du savoir visé. On retrouve là encore largement la polémique suivant le canular de Sokal.

Je ne désire pas ajouter du bruit à cette polémique, donc ne pas parler de ce cas d’espèce, mais seulement éclairer la question des publications de mauvaise qualité voire totalement bidon, et leurs conséquences sur le champ scientifique.

J’ai déjà évoqué ici le cas des revues et conférences totalement bidon. Celles-ci ne sélectionnent pas du tout les articles qu’elles acceptent — on a vu des articles générés aléatoirement être acceptés — et visent un but lucratif (frais d’inscription, frais de publication). Elles ne posent finalement guère de problèmes : certes, des fonds ont été dépensés pour aller en conférence à Orlando ou Las Vegas, mais cela ne représente pas une part importante des budgets de recherche ; par ailleurs, la mention de telles publications, dans un dossier de demande de financement ou de promotion ou dans un bilan de laboratoire, vaudra en général des conséquences négatives. Il y a donc des incitations fortes à ne pas publier dans de tels lieux, du moins dans les institutions de recherche dotées de procédures d’évaluation un tant soit peu sérieuses.

Toutefois, dans le cas de l’affaire Sokal ou de la récente affaire sur les études de genre, il ne s’agissait apparemment pas de ces revues totalement bidon et à but lucratif, que personne ne prend au sérieux, mais de revues scientifiques reconnues comme telles, dont certaines étaient éditées par des universités prestigieuses ou recevaient des articles de chercheurs de ces universités. Il me semble qu’il ne s’agit pas de la même question. Voyons donc les problèmes qui se posent si des revues considérées comme sérieuses, même si « peu centrales », publient des articles qui n’auraient pas dû être publiées.

Le premier problème, à mon avis le plus important, serait que des gens se basent sur des conclusions insuffisamment étayées pour guider des activités dont le dysfonctionnement aurait des conséquences sensibles : par exemple, une étude médicale ou pharmaceutique erronées pour prescrire un traitement, un algorithme incorrect utilisé dans un produit ou service, ou encore promouvoir une réforme économique ou sociale… Normalement, on ne base pas un projet avec des conséquences humaines ou financières importantes sur un article scientifique sans l’étudier en profondeur (examiner chaque justification et non seulement les conclusions) et/ou valider soi-même l’utilisation envisagée ; plus généralement on s’en remet plutôt à des articles de revue, résumant les travaux de plusieurs chercheurs, ou des monographies résumant l’état de l’art.

A priori, l’impact d’un article erroné isolé est donc très limité. Toutefois, il arrive parfois que des conclusions erronées soient reprises dans d’autres articles, et finissent, à force d’être reprises partout, par être considérées comme fiables, alors que tout remonte en fait à une unique source originale incorrecte. Richard Feynman cite ainsi (The Seven Percent Solution, dans Surely you’re joking Mr Feynman) le cas d’une extrapolation erronée dans une étude expérimentale sur la désintégration β, reprise par toute une communauté scientifique qui se demandait comment faire coïncider des modèles et des résultats expérimentaux qui différaient… jusqu’à ce que Feynman eût des doutes, reprît les citations et les calculs depuis l’origine et s’aperçût de l’erreur. Il n’est donc pas à exclure que des idées erronées, reprises par une communauté qui se cite elle-même, aient été mises en place dans des politiques publiques ou dans des protocoles médicaux.

Outre ce problème pour la société en général, il y a un second problème, interne au monde scientifique. Les postes de chercheurs et les financements sont en quantité limitée, de sorte que ceux qui sont attribués à un sujet ne le sont pas à un autre. Un domaine de recherche médiocre et qui s’auto-entretient par des citations, invitations d’articles, et renvois d’ascenseurs divers peut nuire à la science en général de part les ressources qu’il accapare. Ces inconvénients internes au monde scientifique peuvent d’ailleurs produire des effets qui lui sont extérieurs : obligation pour des étudiants de suivre des cours sur la théorie évoquée, voire d’être notés en fonction de leur adhésion à celle-ci ; mise en place de politiques publiques ou de procédures médicales suivant les prescriptions du champ (le Lyssenkysme est un cas exacerbé de ce phénomène, étant soutenu par un pouvoir totalitaire). Tout ceci relève donc de problèmes systémiques, mettant en jeu un champ scientifique et non telle ou telle revue dysfonctionnelle.

Il me semble que certaines analyses qui ont été faites suite à des publications scandaleuses mélangent des phénomènes sans grand rapport les uns avec les autres. Par exemple, si l’accusation est l’existence d’un système de promotion de recherches sans valeur scientifique à l’intérieur de certaines disciplines dans le monde universitaire occidental, il n’est pas pertinent de pointer la publication d’articles générés aléatoirement dans des revues totalement bidon et reconnues comme telles d’un champ de « sciences exactes ».