L'informatique suscite parfois certaines inquiétudes, notamment en ce qu'elle substitue la décision des machines à celle des hommes.

En 2007, je publiai une récension critique du livre de ma collègue Barbara Cassin, philosophe, où elle dénonçait la sélection automatisée des articles Web « intéressants » par les moteurs de recherche et notamment par Google, préférant une sélection par les « maîtres » au processus statistique de Google, qui ne fait que propager les goûts de la foule. On peut aussi mentionner les peurs suscitées par le projet de loi sur le renseignement et son usage d'« algorithmes » de détection de comportements suspects.

Récemment, la philosophe Cynthia Fleury affirmait dans La Croix

« On va donc liquider la pensée – qui est liée au jugement – en s’en remettant à une machine qui fait des probabilités. »

« Espérons que le médecin, demain, n’aura pas l’obligation de tenir compte des probabilités, quant à telle ou telle maladie, afin de déterminer une action thérapeutique. »

Cynthia Fleury ne le sait sans doute pas, mais cela fait belle lurette que des ordinateurs prennent des décisions de vie et de mort.

Dans un avion de ligne moderne (Airbus A320 et suivants, Boeing 777 et suivants...), la transmission des ordres des pilotes aux gouvernes ne passe plus par des liaisons hydromécaniques mais par des calculateurs électroniques (on parle de « commande de vol électrique » ou de fly-by-wire). Ceux-ci mettent en œuvre divers algorithmes qui vont bien au-delà de la transmission simple des ordres du pilote ; par exemple, la commande de vol peut pratiquer automatiquement une manœuvre anti-décrochement. Certains d'ailleurs opposent sur ce point les philosophies d'Airbus et de Boeing : chez Boeing, les pilotes ont la possibilité de mettre l'avion dans une configuration dangereuse (hors enveloppe de vol) en forçant sur les commandes au-delà d'un durcissement, tandis que chez Airbus, lorsque l'avion fonctionne en « loi normale », c'est impossible.

Lorsque nous évoquions l'utilisation de notre logiciel Astrée pour la vérification de certaines propriétés sur les systèmes de commande de vol, des personnes, inquiètes, nous disaient qu'elles espéraient bien que l'on puisse « repasser en manuel », en quelque sorte en débrayant le pilote automatique. Or, comme expliqué ci-dessus, il est impossible de débrayer totalement une commande de vol électrique… (on peut prévoir un système hydromécanique de secours sur certaines gouvernes, mais pas sur toutes).

Depuis 1993 (États-Unis) ou 2000 (Europe), les avions de ligne doivent mettre en œuvre un système d'alerte anti-collision (TCAS / ACAS). Ce système avertit les pilotes de la proximité d'autres appareils et, en cas de risque imminent de collision, leur fournit un « avis de résolution » (habituellement, l'un des avions doit monter et l'autre descendre). On peut bien sûr arguer qu'il ne s'agit que d'un avis et non d'un ordre aux pilotes… mais la réglementation de l'Organisation de l'aviation civile internationale (Airborne Collision Avoidance System (ACAS) Manual, 2006, §5.2.1.2) est claire

« Lorsqu'un avis de résolution [resolution advisory, RA] est produit, le pilote aux commandes doit réagir immédiatement en lisant les indications et effectuant la manœuvre indiquée, sauf si agir ainsi mettrait en danger la poursuite du vol. La réaction instinctive du pilote devrait toujours être de réagir sans attendre à un RA en suivant la direction et le degré indiqués. »

Cette réglementation, donnant notamment la priorité aux RA de l'ACAS par rapport aux indications des contrôleurs aériens, fait suite notamment à l'accident d'Überlingen, où les contrôleurs aériens et l'ACAS avaient donné des ordres incohérents. La solution est simple : à moins qu'il n'y ait une raison évidente et pressante, « on doit toujours suivre ce que dit l'ordinateur ».

Quant aux « probabilités » dénoncées par Mme Fleury, la nouvelle version de l'ACAS (ACAS X) est basée sur des calculs assez complexes de probabilités, le choix proposé par l'ordinateur résultant en quelque sorte d'une minimisation de la probabilité de collision.

Bien entendu, le cas des trajectoires d'avions est assez particulier. Leur physique est bien connue et donne un modèle mathématique relativement simple (relativement, par exemple, à la complexité biologique) ; par ailleurs, en cas de collision imminente, il faut une réaction rapide (pas le temps pour les pilotes de dialoguer avec les contrôleurs aériens ou à chercher à comprendre ce qui se passe). On ne saurait donc généraliser leur cas à d'autres domaines.

Pour autant, il me semble bien qu'en médecine, cela fait là aussi belle lurette que l'on est passé, du moins en théorie, de la pure intuition du médecin à la « médecine fondée sur les faits », basée sur des études statistiques et probabilistes. Autrement dit, là aussi, Mme Fleury semble s'alarmer d'une possible évolution qui est en fait déjà en vigueur.

Bien entendu, comme pour tout autre genre de modèle mathématique, il existe des usages corrects et des usages incorrects des probabilités et des statistiques. Chaque modèle est une image sélective de la réalité, et il n'est évidemment pas de mon propos, bien au contraire, d'encourager à leur usage aveugle et sans réflexion (hors de cas très particuliers comme l'aviation, où chaque seconde compte).

Venons-en maintenant à une question d'actualité. J'ai évoqué l'inquiétude de ceux qui voudraient que l'on puisse forcément « piloter en manuel ». Or, dans la dernière catastrophe aérienne en France, le vol 9525 de Germanwings, le drame est justement qu'on a laissé faire ce qu'il voulait au pilote : celui-ci a délibérément choisi une trajectoire de descente menant à une collision avec la montagne, et l'a maintenue malgré les alertes de l'avertisseur de proximité du sol (voir rapport préliminaire du BEA).

On pourrait envisager que l'informatique de bord interdise ce genre de trajectoires… (ce qui n'est pas si facile, car il faut tout de même prévoir les possibilités d'atterrissage d'urgence comme celui de l'A320 sur l'Hudson, ou celle du vol TACA 110 sur une digue). On avait même parlé de tels dispositifs pour contrer d'éventuels pirates de l'air suicidaires, comme ceux des attentats de 2001 (mais on a préféré l'installation de portes tenant les méchants hors du cockpit, ce qui n'a évidemment pas fonctionné alors que le méchant était dans le cockpit).

Les questions se posent là en nombre de vies sauvées et non en spéculations sur l'avenir de la Pensée. Il s'agit de peser ce qui est faisable ou non, à quel niveau de sûreté, et à quel coût.