Les chercheurs en informatique un tant soit peu expérimentés savent qu’il existe depuis longtemps (enfin, au moins depuis une vingtaine d’années) des conférences scientifiques bidons, c’est-à-dire des événements qui se donnent quelques apparences d’un vrai colloque, mais ne contrôlent pas valablement la qualité des interventions. Se sont rajoutées des revues bidons, c’est-à-dire des publications qui se donnent l’apparence de revues de publication scientifique mais qui, là encore, ne contrôlent pas valablement la qualité des articles publiés.

Dans certains cas, le manque de contrôle est tel que des articles générés aléatoirement, et absolument sans sens, ont été acceptés. L’outil SCIgen permet de produire des documents ayant superficiellement l’apparence d’articles de recherche en informatique (présentation, vocabulaire) mais absolument sans aucun sens ; son dérivé MathGen produit des documents ayant superficiellement l’apparence d’articles de recherche en mathématiques (y compris des formules), mais sans aucun sens là non plus. Dans un cas, un « article » consistant en la phrase Get me off Your Fucking Mailing List (« enlevez mon adresse de courrier électronique de votre putain de liste de diffusion ») répétée a été accepté, ce qui indique une absence totale de lecture avant acceptation.

Pourquoi ces revues et conférences bidons existent-elles ?

Sans prétendre lire dans les pensées des organisateurs de ces publications et événements, je soupçonne que leurs motivations sont les suivantes :

  1. Dans certains cas, il s’agit tout simplement d’une activité lucrative : la personne qui assiste au colloque (notamment pour y intervenir), l’auteur d’un article publié, payent une participation aux frais. Il suffit que celle-ci dépasse sensiblement les coûts d’organisation ou de publication pour qu’un bénéfice soit dégagé. (Notons que cela n’est pas propre aux publications bidons : certains grands éditeurs de revues scientifiques dégagent des marges considérables pour les mêmes raisons.)

  2. Dans certains cas, il s’agit d’une activité d’auto-promotion : un groupe de scientifiques ayant du mal à se faire reconnaître monte son colloque, sa revue, où ils s’évaluent les uns les autres.

Quant aux chercheurs qui soumettent des communications à ces revues ou conférences, je pense qu’il existe les cas suivants :

  1. Par inexpérience : ils ne font pas la différence avec une revue ou conférence sérieuse. Ceci me semble d’autant plus probable qu’ils sont écartés des circuits scientifiques habituels.

  2. Dans le cas de conférences organisées dans des endroits « intéressants », ils peuvent vouloir se faire payer un voyage aux frais de leur université, de leur organisme de recherche ou de l’organisme qui finance leurs travaux.

  3. Ils peuvent vouloir, en toute connaissance de cause sur la nullité de la revue ou conférence, allonger leur CV.

Rappelons que les chercheurs subissent une pression constante pour démontrer qu’ils font réellement de la recherche valable. La vérification de cela se fait souvent bureaucratiquement, par l’examen d’une liste de publications et d’autres activités (exposés dans des conférences internationales…). Il y a donc une incitation permanente à multiplier les publications et en tout cas à ne surtout pas apparaître comme « non publiant ». On voit parfois des obligations couperet, par exemple la délivrance d’un doctorat est subordonné à la publication d’au moins un article dans une revue internationale.

Comment distinguer les revues et conférences sérieuses des bidons ?

Il ne s’agit pas d’une science exacte, mais plutôt de l’application de bon sens et d’une connaissance des usages scientifiques. Ce qui suit est issu de mon expérience en informatique, il est cependant possible que certains points s’appliquent à d’autres disciplines.

Prendre l’avis de chercheurs expérimentés

Les chercheurs expérimentés dans un domaine connaissent les revues et conférences habituelles de ce domaine ainsi que leur niveau de sélectivité.

Caveat : ce critère peut encourager à toujours publier dans les mêmes revues rassurantes de quelques grands éditeurs, même quand ces revues sont essoufflées et ne méritent plus la réputation qu’elles ont pu avoir, tandis qu’on ignorera comme suspectes des revues plus jeunes.

L’appel à publications

Les revues sérieuses sollicitent rarement les chercheurs pour qu’ils leur envoient des articles. À l’inverse, les publications bidons envoient des courriers électroniques de masse.

Caveat : il peut arriver que des coordinateurs de numéros spéciaux de revue cherchent à s’assurer d’un nombre suffisant de soumissions et sollicitent leurs collègues.

Les conférences sérieuses envoient un appel à communication, ne serait-ce que parce que les auteurs doivent respecter des dates précises d’envoi qu’il faut rappeler. Cet appel est diffusé via des listes ou sites thématiquement adaptés. À l’inverse, les conférences et publications bidons envoient souvent leurs sollicitations à des chercheurs hors de la discipline concernée.

Des appels répétés, avec décalage des dates de soumission, indiquent que la conférence s’inquiète de ne pas recevoir suffisamment de soumissions. Cela ne veut pas dire que la conférence est bidon, mais plutôt qu’il ne s’agit pas d’un événement des plus prestigieux.

Dans tous les cas, une conférence ou journal sérieux met en avant son comité scientifique (comité de sélection, comité éditorial…).

En revanche, les conférences ou journaux bidons tendent à mettre en avant des critères extra scientifiques tel que leur « facteur d’impact » ou l’indexation de la publication par des systèmes bibliométriques comme SCOPUS, voire Google Scholar — ce qui est d’autant plus ridicule que Google Scholar indexe tout le contenu d’apparence scientifique ouvertement accessible sur le Web. De même, certains journaux peu sérieux indiquent qu’ils sont « prestigieux » — or quand on est véritablement prestigieux, on n’a pas besoin de le dire, tellement cela va de soi.

L'évaluation

Une conférence ou une revue sérieuse doit avoir le temps d'expertiser les articles, ce d'autant plus qu'elle en reçoit beaucoup et que ceux-ci sont longs et techniques. Les referees doivent placer le travail d'évaluation dans un emploi du temps souvent déjà très chargé. Un article accepté en quelques jours n'a donc probablement pas été sérieusement expertisé.

Le lieu de la conférence

Les conférences bidon cherchant à attirer les chercheurs peu scrupuleux en quête de vacances frais payés tendent à être organisées dans des lieux touristiques (Las Vegas, Orlando, les îles grecques…).

Caveat : il peut exister d’excellentes raisons d’organiser une conférence sérieuse dans de tels lieux, notamment la présence d’une bonne capacité hôtelière, de centres de congrès, d’un aéroport bien desservi... Par ailleurs, il ne faut pas oublier qu’un lieu touristique peut avoir des habitants y compris des scientifiques — je suis ainsi allé deux fois en conférence à Venise tout simplement car ces années là c’étaient des collègues de l’Université de Venise qui organisaient.

Le comité scientifique

Une conférence ou journal sérieux fait sélectionner les communications acceptées par un comité composé de scientifiques compétents du domaine, de préférence jouissant d’une certaine reconnaissance de leur pairs. (Cela ne veut pas dire que le comité doit être composé exclusivement de « mandarins », car on sait bien que ceux-ci sont souvent trop occupés pour bien faire leur travail éditorial.)

S’agissant de disciplines où l’on s’attaque à des problèmes qui ne sont pas propres à un pays ou une langue, on s’attend à un comité international. En informatique, cela veut dire qu’il y aura des membres en poste aux États-Unis et/ou Canada, en Europe occidentale et centrale, au Japon et/ou Corée, éventuellement en Australie et/ou Nouvelle-Zélande, en Inde, parfois en Chine, Brésil, Argentine, Chili. Un comité ne comprenant que des membres d’un seul pays peut être suspecté d’être une « bande de copains » pratiquant l’autopromotion.

Caveat : il va sans dire qu’il est normal que le comité d’une conférence française, destinée à faciliter les rencontres, les collaborations et la vie d’une communauté scientifique française, soit principalement composé de chercheurs français.

Les membres du comité doivent être clairement identifiés. En informatique, on donne généralement un lien vers leur page Web professionnelle, qui comprend elle même généralement un lien vers une liste de publications ou d’autres indications démontrant leur activité scientifique.

À l’inverse, les publications et conférences bidons n’indiquent pas leur comité scientifique, ou encore celui-ci est composé d’inconnus.

Caveat : il arrive que des conférences et publications bidons ajoutent des scientifiques sérieux comme membres d’un supposé comité scientifique sans le consentement de ceux-ci (bien évidemment, ils ne sont pas sollicités lors du processus éditorial). Il arrive aussi que des scientifiques sérieux soient bernés : sollicités par un collègue pour être membre d’un comité, ils acceptent et découvrent trop tard qu’ils servent de caution à un processus non respectueux de la rigueur scientifique.

Les sollicitations à être membre du comité scientifique

La sollicitation pour être membre d’un comité scientifique vient ordinairement d’un collègue et non d’une maison d’édition. On peut d’autant plus suspecter une escroquerie si le courrier est exagérément flatteur mais semble ignorer le domaine d’activité précis de la personne sollicitée. Aucune revue respectable ne sollicite des chercheurs « à l’aveuglette » pour peupler son comité scientifique.

Les thématiques

Une conférence scientifique, un revue sérieuse a une thématique d’ensemble bien identifiée, souvent explicitée par une liste de sous-thèmes (voir par exemple l’appel à communications de CAV 2017). Ceci s’explique aisément : dans le cas d’une conférence ou d’une revue destinée à la publication de résultats originaux, et non de vulgarisation, il faut bien que le comité éditorial soit spécialiste des sujets traités ; par ailleurs l’assistance d’une conférence n’est souvent pas en mesure de suivre la présentation de résultats de recherche trop éloignés de ses thématiques.

Caveat : on sollicite parfois, dans une conférence thématique, des exposés hors de cette thématique ; il existe par ailleurs des conférences destinées à des échanges entre plusieurs champs scientifiques. Les exposés sollicités ne sont alors normalement pas des présentations de résultats originaux de recherche, mais plutôt des tutoriels, introductions, exposés de vulgarisation.

À l’inverse, les conférences bidons ont souvent des thématiques vastes et floues, utilisant des termes ronflants mais imprécis (par exemple « cybernétique » ou « systémique »), parfois groupant plusieurs disciplines sans grand rapport, ou encore mettent en avant des mots-clefs à la mode (par exemple Big Data ou Cloud).

Caveat : il existe dans les thématiques à la mode de vrais problèmes scientifiques et il peut donc être légitime d’organiser des conférences dessus. Par ailleurs, dans certaines disciplines scientifiques, il est de coutume d’organiser des grandes conférences à spectre thématique très large, mais qui sont en fait l’agrégation d’un très grand nombre de sessions thématiques, chacune gérée par des spécialistes de leur thème.

Il n’y a bien entendu rien de mal à pratiquer l’interdisciplinarité. Toutefois, les travaux interdisciplinaires posent des problèmes d’évaluation certains. Les domaines flous et mal définis, sans thèmes, méthodes ou communauté scientifique bien identifiée, attirent les escrocs.

L’éditeur ou l’organisation organisatrice

Une conférence organisée par une société savante reconnue (par exemple l’ACM) ou encore des chercheurs d’une université réputée, une revue ou compte-rendu de conférence publié par un éditeur connu (Springer LNCS...), peuvent jouir d’une présomption de sérieux. À l’inverse, il existe des éditeurs, notamment en Inde, spécialisés dans les publications peu sérieuses. Plus près de chez nous, mes collègues de sciences humaines me disent que certaines collections d’un éditeur parisien bien connu relèvent largement d’une publication à compte d’auteur sans véritable filtre éditorial (en clair, l’auteur est publié tant qu’il paye).

Caveat : Ce critère est à manier avec précaution.

  1. On a vu de grands éditeurs publier des ouvrages ou des revues de piètre qualité, des sociétés savantes (je pense notamment à l’IEEE) être insuffisamment regardants…

  2. Ce critère tend à conforter l’oligopole des grands éditeurs scientifiques (Elsevier, Springer) qui font des bénéfices considérables avec l’argent du contribuable.

Le faible rapport avec la fraude scientifique au sens ordinaire

Les revues et conférences vraiment bidons publient n’importe quoi, mais en même temps personne ne consulte leurs articles.

La fraude scientifique au sens ordinaire consiste d’une part à truquer des résultats (prétendre que des expériences ont réussi alors que non, ignorer délibérément que des expériences ont échoué, etc), d’autre part à plagier des résultats existants (ce qui peut d’ailleurs se faire de façon plus adroite qu’un simple copier-coller), dans le but de publier dans des lieux prestigieux, ceci afin de promouvoir sa carrière ou de solliciter des financements.

Or, en informatique du moins, on ne promeut pas efficacement et à long terme sa carrière en publiant dans des revues bidons (si on les liste dans son CV, on se « grille » vite — il ne faut d’ailleurs pas oublier que les collègues parlent entre eux et que les comportements douteux finissent par être connus bien au-delà du laboratoire). Par ailleurs, il n’y a pas besoin d’inventer des résultats enthousiasmants pour publier dans les revues bidons, puisque celles-ci ne vérifient pas le contenu des articles.

Il s’agit donc de deux phénomènes séparés, même s’ils ont une cause commune : la volonté d’embellir CV et compte-rendus d’activité.