Une part importante du travail d'un chercheur consiste à évaluer le travail d'autres chercheurs. La partie visible du travail du chercheur, la seule selon laquelle il est évaluée le plus souvent, c'est la publication d'un article dans une revue scientifique, ou plus généralement dans une publication à comité éditorial. Un article scientifique résume des travaux, les conclusions auxquels ils ont abouti, leur hypothèses, les démonstrations et les expériences qui ont permis ces conclusions à partir de ces hypothèses. Un article n'a de valeur que s'il est accepté pour publication par un comité éditorial ; ce comité s'appuie sur l'avis d'experts scientifiques, qui jaugent de la valeur de la publication.

Dans la plupart des domaines scientifiques, la majeure partie de la publication se fait dans des revues (Nature, Science, etc.) où toute publication est soumise pour approbation à un comité éditorial ou comité de lecture. En informatique, les revues spécialisées sont excessivement lentes, et il n'est pas rare qu'un article soit publié quatre ans après sa soumission. En revanche, il existe un système de conférences à comité de lecture : à l'opposé des autres disciplines, il ne suffit pas pour être admis à s'exprimer à une conférence de soumettre un vague résumé des travaux, il faut soumettre un article complet qui est évalué et imprimé dans les compte-rendus du colloque (lesquels sont imprimés avant le colloque). Les conférences sérieuses ont donc un comité de programme, qui établit le programme de la conférence à partir des soumissions. Les conférences les plus cotées sont plus sélectives que la plupart des journaux. Une différence : le comité de programme des conférences change en grande partie chaque année.

Le comité éditorial ne peut bien entendu couvrir au meilleur niveau tous les domaines d'expertise de la revue ou de la conférence, c'est pourquoi il fait appel à des experts externes. Je suis fréquemment mis à contribution pour cela. Je me retrouve donc, ces temps-ci, avec deux comités de programme (PEPM 2010 et CAV 2010), donc avec des articles à expertiser personnellement, un rapport pour une autre conférence, et une thèse à lire avant de participer au jury.

Quand on doit expertiser à la chaîne 7, 10, voire 15 articles, alors qu'on a de nombreuses autres choses à faire, on a tendance à être plus expéditif que lorsqu'on en a une ou deux. Pour ma part, j'ai tendance avec l'âge et le manque de temps qui s'installe chroniquement à faire de plus en plus attention à la qualité de l'exposé : je déteste passer longtemps sur un article juste pour me rendre compte qu'au fond il raconte des trivialités, ou du moins des choses qui pourraient s'exprimer plus clairement. De nombreux articles scientifiques sont tout simplement mal écrits : certes, ils exposent des choses intéressantes, mais d'une manière tellement alambiquée que seuls les auteurs pourraient tirer pleinement partie de l'article. Les défauts les plus courants :

  • La plupart des remarques faites dans l'article n'ont de sens que pour une personne qui suivrait étape par étape le raisonnement, les difficultés et les parades que les auteurs ont menés.

  • L'article n'a de sens qu'une fois lue et intégrée une lourde bibliographie.

  • Les auteurs utilisent des notations personnelles et une terminologie non standard, de préférence sans les introduire.

  • Les auteurs se lancent tête baissée dans des subtilités sans prendre la peine d'expliquer ce qu'ils font, pourquoi, et vers quoi ils vont.

J'ai sans doute été moi-même coupable de ces faiblesses. Celles-ci, au fond, montrent que l'auteur écrit pour lui, et non pour son lectorat, et que sans doute il manque de recul par rapport à sa recherche et à son domaine scientifique. Le rôle du comité éditorial n'est pas seulement de sélectionner des articles ayant un intérêt scientifique, il est aussi de sélectionner des articles compréhensibles pour le lectorat de la revue ou de la conférence.

Les travaux scientifiques ne sont acceptés pour publication que s'ils expriment des idées originales. Jauger l'originalité d'une publication est sans doute une des tâches les plus difficiles du membre de comité éditorial. En effet, il est souvent assez facile de juger de la clarté et de la solidité d'un article, même si l'on n'est que modérément familier du domaine : au pire, on juge étape par étape de la qualité des raisonnements. En revanche, jauger l'originalité demande de connaître toute la bibliographie de la question étudiée, ce qui est le plus souvent impossible au regard du temps qu'il est loisible d'accorder à l'expertise d'articles.

J'insiste encore sur un point qui me semble important : le fait qu'un article soit accepté par une revue ou une conférence n'implique pas qu'il soit vrai. En sciences de la nature, il est impossible pour l'expert qui évalue un article de refaire les expériences des auteurs ; tout au plus peut-il juger si ces expériences sont bien décrites, si le protocole expérimental est bien décrit, s'il est raisonnable, et si les raisonnements qui sont menés sont solides. En mathématiques et domaines apparentés (informatique théorique, par exemple), il est possible que des erreurs soient cachées au sein de démonstrations complexes. Lorsque l'on dispose de beaucoup de temps pour expertiser un article (typiquement plusieurs mois, pour une recvue en informatique), on peut se dégager suffisamment de temps pour une étude fouillée. Quand le temps disponible est plus limité, il est possible que l'on soit moins exigeant.

Les conférences, en informatique, imposent un délai d'expertise court et limitent les possibilités de demandes de correction : en pratique, soit on refuse l'article, soit on l'accepte, éventuellement en suggérant des modifications, mais il est difficile de s'assurer que celles-ci seront suivies. En revanche, en ce qui concerne les revues, il est possible de faire des choix plus nuancés.

Quel choix embarassant, entre accepter un article mal ficelé mais qui semble raconter des choses intéressantes, d'une part, et le refuser au motif qu'on n'a pas tout compris ! Avec les revues et leurs délais plus longs, il est possible pour l'expert de demander des éclaircissements. D'un autre côté, les conférences garantissent une publication dans des délais raisonnables, comparables à ceux des revues en sciences de la nature — un thésard, qui a 3 ans de financement et doit ensuite soutenir et préparer ses candidatures, ne peut pas se permettre d'attendre les délais usuels des revues en informatique.