Je vais tenter de synthétiser ici une discussion sur Twitter, d’autant plus que mon propos d’origine était un peu trop schématique.

Parmi les observations du Gouvernement au Conseil constitutionnel au sujet de la « loi Avia » on trouve

« D’autre part, il est établi que les grandes plateformes disposent déjà de solutions technologiques, notamment d’algorithmes, leur permettant de détecter des contenus illégaux »

Cette phrase mérite commentaire, notamment parce qu’elle me semble avoir un sens faible peu contestable et un sens fort très contestable : s’agit-il de dire que des algorithmes permettent de signaler à des humains des propos possiblement illégaux, à charge pour ces humains de vérifier ce qu’il en est, ou que des algorithmes pointeront à coup sûr des contenus illégaux ? On peut également s’interroger sur l’article indéfini « des » : s’agit-il de prétendre détecter une très large classe de contenus illégaux, ou seulement certains ?

Avant toute chose, je dois préciser que si je m’y connais raisonnablement en matières d’algorithmes, je ne suis pas spécialiste de traitement automatique de la langue naturelle ou d’apprentissage automatique. Je serai donc enchanté que des personnes plus savantes nuancent mes propos.

Le champ lexical

S’il s’agit de dire que des algorithmes permettent de pointer certains contenus suspects, alors il s’agit d’une banalité. On peut ainsi très facilement rechercher dans les textes publiés une liste de mots utilisés comme insultes homophobes ou racistes, des mots très connotés en ce sens.

Toutefois, une telle méthode ne satisfera pas au sens fort de l’affirmation gouvernementale. En effet, la simple présence d’un mot connoté comme insultant ou discriminatoire ne suffit pas à fonder l’illégalité d’un texte. Quelques exemples :

  • Le mot « pédé » est utilisé comme insulte à l’encontre des hommes homosexuels. Toutefois ceux-ci l’utilisent entre eux comme une forme de signe de connivence. De même, en anglais américain, le terme « nigger » (« négro ») n’aura pas la même connotation suivant qu’il est employé par un blanc ou un noir.

  • Les historiens, les enseignants, les militants, sont parfois amenés à rapporter les propos de personnes racistes, antisémites ou homophobes, sans pour autant adhérer à ceux-ci.

Bien sûr, on pourrait raffiner les méthodes. Le traitement automatique de la langue naturelle ne se limite heureusement pas à détecter la présence de mots-clefs. Il existe par exemple des techniques, toujours basées sur le champ lexical, qui tentent de repérer des caractéristiques plus fines découlant d’associations de mots ; par exemple on pourra associer un concept « train de voyageurs » à un texte parlant de voitures et de locomotive, et un concept « automobile » à un texte parlant de voiture, d’essence et de volant. Peut-être pourrait-on arriver à distinguer lexicalement d’authentiques insultes racistes (texte généralement vulgaire) de leur citation dans un cadre historique (contexte avec vocabulaire professoral) ?



Parler de ce que pensent les racistes

Pourrait-on distinguer ce qui relève de la citation de ce qui relève du propos personnel ? Pas sûr (notamment au risque que les racistes se mettent à tout présenter comme des citations). Que l’on juge également de ce propos :

« Si le bicot n’existait pas, on inventerait quelqu’un d’autre. »

Le personnage qui parle, du roman Élise ou la vraie vie de Claire Etcherelli, explique que les racistes ont besoin d’une catégorie de personnes à détester en employant le vocabulaire que les racistes utilisent. Étant lui-même dans la catégorie visée par ce vocabulaire, il peut se permettre de l’employer, à titre ironique. Il n’y a pas ambiguïté de cela dans le contexte du roman, à la teneur antiraciste. Je me demande cependant comment des algorithmes fondés sur les champs lexicaux réagiraient ; et même, je me demande comment des personnels chargés de la censure des contenus « manifestement illégaux », soumis à de fortes cadences, réagiraient à la lecture de cette phrase.

Plus profondément, la détection automatique de contenus illégaux par le champ lexical se heurte au fait que le système ne comprend pas ce à quoi les mots réfèrent. Ces systèmes associent des catégories à des mots ou des associations de mots, qu’il faut d’ailleurs faire étiqueter par des humains — même si un algorithme construit tout seule une catégorie lexicale correspondant à des insultes racistes envers les maghrébins, il faudra obtenir l’information que cette catégorie est effectivement répréhensible, par exemple en constatant qu’elle est souvent présente dans des propos qui ont été manuellement retirés pour cause de racisme.

Le contexte

Des propos peuvent être racistes sans employer des mots connotés comme racistes, voire employer un langage très châtié. Là encore, l’information lexicale peut donner des indications, notamment par certaines associations. Il n’y a rien d’en soi antisémite à parler de « juifs », ni de parler de médias, ni de parler de banques, mais un texte qui semble à la fois parler de juifs, de médias et de banques peut porter sur le cliché antisémite que les juifs contrôleraient les médias et les banques. N’étant pas juriste, je ne sais pas à quel point un texte racontant cela serait illégal en France, mais en tout cas il me semble que la détermination de son caractère illégal demanderait un examen assez fin.

Le caractère légal ou illégal de propos peut dépendre non seulement du texte en tant que tel, mais également de la réalité. Le qualificatif de « pédophile » est insultant ; les actes pédophiles étant punis par la loi, il suggère que la personne ainsi qualifiée a commis des délits ; enfin, il expose la personne visée à la vindicte publique voire à des agressions. L’usage de ce terme est donc (là encore je ne suis pas juriste) diffamatoire, et on pourrait attendre la plus grande promptitude des plates-formes d’hébergement à retirer des propos utilisant ce qualificatif à l’encontre de personnes vivantes en raison des risques qu’il leur fait courir.

Toutefois… l’usage de ce qualificatif peut être parfaitement légitime, par exemple dans la phrase « Gabriel Matzneff est pédophile. ». Il n’y a pas en effet diffamation si les faits reprochés sont vrais (encore que cette exception de vérité souffre, si j’ai bien compris, elle-même d’exceptions au cas où les faits sont anciens ou relevant de la vie privée). Pour déterminer si un propos est légal ou illégal, l’algorithme devrait avoir une compréhension du monde suffisamment fine pour savoir si le texte dit la vérité ou non, ce qui semble supposer une véritable intelligence artificielle, dont les possibilités dépasseraient largement la détection de contenus illégaux.

Bien sûr, là encore on pourrait imaginer des mécanismes plus fins : si une personne est qualifiée de pédophile, mais que ce qualificatif lui est attribué dans de nombreux articles de presse, alors ce n’est probablement pas un qualificatif illégal. On mesure toutefois la difficulté à utiliser ce type d’analyses, ne serait-ce que parce qu’une personne peut être accusée et voir son nom traîné dans la boue dans les médias, puis innocentée et qu’alors les nouveaux propos lui attribuant l’accusation peuvent relever de la diffamation.

Plus généralement, on peut raffiner et complexifier à l’infini les mécanismes censés pointer le caractère légal ou illégal d’une expression. Sur un réseau social, par exemple, on pourra analyser le graphe des « amis », ou encore de qui parle à qui. On pourrait par exemple ainsi différencier des militants racistes d’historiens, ou encore des homophobes employant le mot « pédé » comme insulte d’homosexuels l’employant comme signe de connivence et de revendication. Je relève toutefois qu’obtenir pareil résultat impliquerait, au passage, d’établir plus ou moins automatiquement des fichiers de personnes selon leur orientation sexuelle, leur « ethnicité », ou leur orientation politique, ce afin de déterminer si les propos qu’elles profèrent relève d’un usage légitime ou non ; cela me semble aller à l’encontre d’autres dispositions législatives !

Le solutionnisme

Comme dans d’autres domaines de l’informatique, le caractère heuristique du traitement automatique de la langue naturelle et de l’intelligence artificielle rend difficile la critique de ses limites : à chaque limitation pointée, on peut objecter qu’avec tel ou tel raffinement, telle ou telle extension on peut faire mieux. La question, au fond, n’est pas là.

Les solutions technologiques, les « algorithmes », ne devraient être là que pour « dégrossir » le travail. Bien entendu, il n’est pas inutile, si l’on veut diminuer la charge de travail des personnels chargés de lutter contre les propos illégaux, d’avoir des dispositifs automatiques qui signalent des propos suspects. Toutefois, ces dispositifs ne sauraient se substituer totalement à un jugement humain informé. Le risque est grand que sinon des propos ne soient censurés parce que « l’ordinateur l’a dit », sans voies de recours ; ou encore que des propos potentiellement illégaux soient négligés car ne rentrant pas dans le cadre détecté par l’algorithme.

Rappelons que, même pour des humains, il est difficile de déterminer le caractère illégal d’un propos, à telle enseigne qu’à Paris il y a une chambre spécialisée du tribunal de grande instance (la 17e) spécialisée dans les délits de presse. C’est d’ailleurs pour cela que certains textes de loi n’imposent d’action que par rapport à des contenus « manifestement » illégaux.

Le succès apparent des « algorithmes » dans les moteurs de recherche ou les systèmes de suggestion de contenus ou de publicités ne doivent pas nous leurrer sur leurs capacités. Nous savons tous comment parfois ces moteurs nous font des suggestions hors sujet, et nous en sourions ; nous souririons moins si un dispositif automatique nous censurait pour de mauvaises raisons. Les enjeux d’une mauvaise décision de censure ne sont pas les mêmes. Les difficultés sont également différentes : on est clairement ici dans un cadre « adversariel », avec des gens qui vont tenter de dissimuler à l’algorithme le caractère illégal de leurs propos, voire tenter de mettre en cause comme illégaux des propos de personnes à qui ils veulent nuire.

Plus généralement, nous devons nous interroger collectivement sur le « solutionnisme technologique », soit la tendance, lorsqu’il y a un problème social, à vouloir le résoudre par des moyens technologiques souvent peu maîtrisés. Je pense d’ailleurs que ce solutionnisme est plus couramment le fait de responsables politiques et d’entrepreneurs qui veulent leur vendre des solutions que des scientifiques qui travaillent dans les domaines concernés.