Roger Penrose, l'intelligence, Gödel et la mécanique quantique
Par David Monniaux le dimanche, septembre 16 2012, 10:32 - Recherche scientifique - Lien permanent
Roger Penrose s'attaque à des questions débattues depuis la fin de la vie de Turing : peut-on concevoir une intelligence artificielle ? l'esprit humain peut-il se modéliser comme une machine calculatoire au sens de Turing ? À cette seconde question, il apporte une réponse négative. Je ne prétendrai pas retracer de mémoire son propos, mais voici à peu près son raisonnement :
Si l'esprit humain est un processus calculatoire, il s'exprime dans un système formel. Or, un système formel ne peut prouver sa propre cohérence (théorème d'incomplétude de Gödel) ; le système formel ne peut transcender ses limites.
Il y a des processus biologiques mal compris dans le cerveau humain.
Ces processus ont certainement un rapport avec des phénomènes quantiques, notamment la projection de la fonction d'onde lors de l'observation (j'avoue qu'à ce point je ne suis plus très sûr de ce qu'il disait).
Une remarque préliminaire : la compréhension de chacun de ces sujets suppose un niveau d'études relativement élevé dans des domaines scientifiques différents et rarement étudiés de concert ; il me paraît probable que très peu de personnes dans l'assistance, peut-être aucune, n'aient eu les connaissances nécessaires pour jauger de la qualité des raisonnements de Roger Penrose sur ces trois points à la fois. Qui plus est, le point 2 fait appel à des recherches récentes, et les points 1 et 3 sont l'objet d'âpres débats de spécialistes. Je me contenterai donc de commenter le point 1, sur lequel j'ai quelques compétences.
La compréhension précise des théorèmes d'incomplétude de Gödel suppose des connaissances en logique formelle qu'il me semble impossible de rappeler dans le cadre d'un billet de blog qui se veut assez « grand public »; voyons en donc une version quelque peu informelle. Ceux qui chercheraient plus de détails pourront attendre un éventuel futur billet (non garanti) ou se reporter par exemple à l'ouvrage de Peter Smith, An introduction to Gödel's incompleteness theorems.
On a longtemps cherché à formaliser le raisonnement mathématique, c'est-à-dire à donner des règles précises dont l'enchaînement forme une démonstration mathématique ; on peut par exemple citer la tentative d'Euclide (troisième siècle avant notre ère) de donner des règles pour les démonstrations de géométrie. Étant donné un énoncé possible de théorème (« la somme de deux entiers impairs est paire », « les médianes d'un triangle se rejoignent en un point »), on va essayé de trouver une démonstration de cet énoncé dans le système de règles. Se posent alors deux questions :
Ce système de règles est-il incohérent, autrement dit permet-il de prouver à la fois une chose et son contraire (contradiction) ? (On conçoit qu'un tel système ne soit pas très utile, quoi qu'il semble qu'il existe des logiques paraconsistantes où l'on arrive à faire quelque chose d'intéressant dans cette éventualité ; j'avoue ne rien y connaître.)
Ce système de règles est-il complet, autrement dit permet-il de prouver tous les résultats « vrais » des problèmes que j'examine ?
Prenons un exemple. Jusqu'au XIXe siècle, on s'est posé beaucoup de questions sur des systèmes de règles, dérivés de l'œuvre d'Euclide, censés formaliser la géométrie plane, et notamment sur la règle dite « axiome des parallèles ». Certains pensaient que cette règle était superflue parce que les autres règles (ou axiomes) suffisaient pour démontrer tous les théorèmes de la géométrie plane, mais ils n'arrivaient pas à prouver cela. Finalement, on s'est aperçu que si on admettait non pas cet axiome, mais des axiomes contraires, on obtenait non pas la géométrie plane usuelle, mais d'autres géométries : la géométrie hyperbolique de Lobachevsky (difficile à décrire) et la géométrie elliptique de Riemann, laquelle décrit non pas ce qui se passe dans un plan, mais ce qui se passe à la surface d'une sphère (ce qui est d'ailleurs utile pour parler de géographie terrestre!). Le système d'axiomes sans celui des parallèles est donc incomplet, ce qui a beaucoup troublé les mathématiciens de l'époque.
Un système à la fois cohérent et complet permet de toujours conclure : pour tout énoncé possible, on aura une preuve soit de l'énoncé (il est alors « vrai ») soit de son contraire (il est alors « faux »). Moyennant quelques hypothèses raisonnables sur les axiomes (ils doivent être « récursivement énumérables »), on pourra même avoir une méthode automatique qui, au vu d'un énoncé, le décide en établissant s'il est démontrable ou de contraire démontrable. À l'inverse, un système incomplet laisse des énoncés que l'on ne peut pas prouver (et donc on ne peut pas non plus prouver l'inverse), qu'on dit « indécidables ».
On peut donner des systèmes d'axiomes à la fois cohérents et complets pour la géométrie plane, l'arithmétique sur les nombres réels (théorie des corps réels clos), l'arithmétique linéaire sur les nombres entiers (arithmétique de Presburger). En revanche, toute théorie permettant de parler des entiers (addition, multiplication, récursion etc.) ne pourra être à la fois cohérente et complète (1er résultat d'incomplétude).
L'arithmétique est chose très puissante. Une suite de caractères n'est jamais qu'une suite de nombres ; c'est ainsi que fonctionnent les ordinateurs pour faire du traitement de textes ! On pourra même rédiger un programme informatique qui, étant donnée une preuve rédigée dans les plus grands détails, dit si celle-ci est effectivement bien construite ou s'il y a une incongruité. On pourra même, grâce à divers artifices de codage arithmétique, rédiger une formule logique qui dit si ce programme répond « ok » ou « preuve erronée ». Au final, on pourra rédiger une formule qui dit « il n'existe pas de preuve de l'absurde à partir de ces axiomes ». Cette formule sera vraie (s'il existait une preuve de l'absurde à partir des axiomes de Peano, les entiers naturels n'existeraient pas tels que nous les pensons) mais improuvable à partir des axiomes en question (2e résultat d'incomplétude).
Tout système formel (et récursivement axiomatisable, mais souvent les gens qui évoquent Gödel oublient cette condition « technique ») dans lequel nous pouvons faire des mathématiques raisonnables est donc incomplet : si nous croyons en sa cohérence, nous ne pouvons pourtant pas l'utiliser pour prouver celle-ci.
C'est à partir de cela que Penrose déduit que l'esprit humain ne peut être un système de calcul au sens de Turing. Son raisonnement me semble être le suivant. L'esprit humain n'est pas contraint par le limites d'un système formel : il est capable de sortir de ce en quoi il croit (ses « axiomes ») pour adopter de nouvelles croyances. Donc, ce n'est pas un système formel, et donc il n'est pas simulable par un ordinateur.
J'avoue que je ne suis absolument pas convaincu par ce raisonnement. Sur un sujet aussi délicat, on pourrait attendre une argumentation soignée, des enchaînements logiques bien justifiés ; il m'a pourtant semblé que Roger Penrose assénait sa théorie comme découlant naturellement de la vérité mathématique incontestable que sont les théorèmes d'incomplétude de Gödel, en repoussant dédaigneusement les objections.
Il serait bien prétentieux de ma part de prétendre résumer les débats philosophiques sur cette question : l'esprit humain peut-il être simulé par un ordinateur (disons, une machine de Turing). Je me contenterai donc de proposer quelques objections qui me sont naturellement venues à l'esprit à l'encontre du raisonnement de Roger Penrose, sans bien entendu la moindre prétention d'originalité.
Les raisonnements de type théorème de Gödel, arrêt des machines de Turing, etc., construisent (via une méthode que les mathématiciens appellent « argument diagonal ») des entiers de très grande taille. Est-ce que cela a du sens de se préoccuper d'entiers de taille arbitraire dans un univers fini ? (La même objection peut s'appliquer pour l'intérêt pratique de P vs NP : le raisonnement asymptotique est-il pertinent dans un univers fini?)
On fait grand cas du fait que les systèmes formels cohérents (et récursivement axiomatisables) ne peuvent prouver leur propre cohérence. Imaginons un instant qu'un système prouve sa propre cohérence : soit nous croyons en cette preuve, mais pour cela nous supposons la cohérence du système, donc finalement ce que le système prouve ne nous avance pas plus ; soit nous ne croyons pas en la cohérence du système, et alors il nous importe fort peu qu'il prouve sa propre cohérence. En termes plus familiers, si une personne vous dit « je ne suis pas un menteur » : soit vous lui faisiez confiance et cette affirmation ne vous avance guère, soit vous ne lui faisiez pas confiance et alors pourquoi croiriez-vous cette affirmation véhémente ?
On reproche aux systèmes formels cohérents de ne pas avoir de preuve de leur propre cohérence, bref de ne pas savoir prouver certains théorèmes vrais. Soit... mais le mathématicien humain n'a pas non plus de preuve de la cohérence de ses raisonnements informels, ni bien entendu de preuve formelle de la cohérence du système formel dans lequel on pourra traduire ses raisonnements. Il n'a pas de preuve, mais il y croit (ou alors il ne croit en rien, et prend cela pour un jeu formel qui lui permet de toucher un salaire, ce qui au final revient au même).
(Comme me disait récemment un étudiant, « en mathématiques : on fait de la théologie ». Il y a selon moi toutefois une différence. Il y a derrière la croyance des mathématiciens en l'axiomatique de Zermelo-Fraenkel une sorte de raisonnement inductif, pas au sens formel mais au sens classique : ça a marché jusqu'ici et, malgré les foules de mathématiciens et apparentés en activité, nous n'avons pas prouvé l'absurde. Donc on a une bonne raison de croire que ça marche tout court. C'est finalement très poppérien, comme raisonnement...)
L'esprit humain ne raisonne pas formellement. On a cru, à une époque, que l' « intelligence artificielle », ce serait de savoir automatiquement raisonner logiquement, au moins dans des domaines restreints (par exemple, le jeu des échecs). On en est revenu... et on a d'ailleurs produit des systèmes informatiques qui battent les meilleurs joueurs d'échecs humains, mais sans manifester la moindre intelligence. L'intelligence humaine est malléable, informelle... et peut d'ailleurs produire des hésitations, des erreurs.
Notons qu'il est possible de réaliser en machine des systèmes qui prennent des décisions sans qu'il y ait de raison claire pour les justifier : le système « apprend » sur des exemples et en déduit une multitude de paramètres qui font qu'il est capable de prendre des décisions semblables à celles qu'on lui a montrées en apprentissage, mais sans qu'il y ait une justification formelle de ces paramètres ou même une définition formelle de la propriété recherchée. Par exemple, on pourra apprendre à une machine à distinguer les visages féminins des visages masculins, simplement en lui montrant des exemples avec la réponse correcte, mais sans qu'il soit besoin de lui fournir une définition formelle d'être humain, d'homme, de femme, etc. Même si les calculs à bas niveau du système sont algorithmiques et expressibles dans un système formel, ils ne se connectent pas directement à des concepts exprimables sur les données sur lesquelles le système opère.
Ainsi, la façon dont Roger Penrose est passé rapidement d'un résultat mathématique (dont il a rappelé le caractère rigoureux) à des considérations philosophiques sur l'intelligence m'est apparue très hâtive, contestable, intellectuellement légère, voire, osons-le, intellectuellement malhonnête. Quand on fait un exposé grand public sur un sujet controversé, on doit avoir la décence de pointer du doigt les points contestables et même, soyons fou, mentionner les autres points de vue sans les accabler de dédain.
Mon malaise n'a fait ensuite que croître jusqu'à la fin de l'exposé. Certains sont impressionnés quand un conférencier parle de sujet « avancés », sautant de l'un à l'autre en assénant des conséquences philosophiques, sans laisser le temps à l'audience de s'interroger ; moi pas. Je me rappelle d'une visite au Musée du Quai Branly, où un guide-conférencier débitait un charabia psychanalytique et, devant la mine déconfite de la collègue qui m'accompagnait, lui a lancé un méprisant « ah, cela vous dépasse ? »... We were not amused. Je n'aime pas les arguments d'autorité, d'autant plus s'ils servent à balayer les objections à des spéculations douteuses.
J'ai ensuite discuté de tout cela avec des collègues. Voici les hypothèses qui ont été émises :
Roger Penrose s'est rendu compte que pour avoir du succès en librairie, il faut parler de sujets qui font rêver (un peu comme les frères Bogdanov, qui parlent du visage de Dieu), et que pour assurer ce succès en librairie, il faut donner des conférences (voire passer à la télévision). Bref, il était en action marketing.
Roger Penrose souffre d'un trouble courant chez les scientifiques vieillissants, à savoir résoudre une « grande question ». Les carrières scientifiques progressent par la publication de résultats sur des sujets ardus, techniques, spécialisés : on ne résout pas le problème de la Vie, de l'Univers, et du Reste, on donne un intervalle de confiance sur la masse d'une particule qui, dans un certain modèle, assure tel type d'interactions. C'est un peu frustrant : tandis qu'en même temps le moindre philosophe, le moindre romancier, voire le moindre acteur, peut donner son avis sur n'importe quoi, le scientifique devrait s'en tenir à des questions qui n'intéressent que la petite communauté à laquelle il appartient. Aussi, prenant de l'âge, il envisage de s'attaquer aux Vraies Questions : Dieu, l'Intelligence de l'homme, la Conscience, etc. C'est plus valorisant, et cela permet de passer dans les médias.
J'ignore ce qu'il en est. Toujours est-il que j'ai éprouvé un grand malaise de voir un scientifique réputé se parer de l'autorité de la science, et notamment de la mathématique, pour proposer des théories assez floues et contestables. Peut-être est-il plus clair dans ses ouvrages.
Commentaires
Il me semblait que le raisonnement de Penrose était plutôt du type "Nous sommes capable de produire le théorème de Godel donc nous ne sommes pas des systèmes formels" c'est à dire que ce type de preuves nécessitent des généralisations qui sont impossible au sein d'un systême formel... Je ne sais pas si ca change quelque chose mais bon...
Sinon pour info ca fait déjà des décénies que Penrose a proposé ces arguments donc je ne pense pas que ce soit le vieillissemennt.
@quen_tin: C'est une des objections que j'élève : un processus peut s'exprimer dans un système de « bas niveau » (calcul arithmétique binaire) et produire des résultats dans un système de haut niveau (classification de visages ou, pourquoi pas, conjectures mathématiques) sans qu'il y ait une correspondance formelle entre les deux systèmes (et notamment aucune raison que les résultats fournis soient corrects).
Désolé je n'ai pas bien saisi la réponse. Veux-tu dire que nous sommes des systèmes de bas niveaux produisant des résultats de haut niveau ? Mais alors qui interprète ces résultats ?
En fait pour préciser j'avais lu à propos de l'argument de Penrose quelque chose du type : un mathématicien peut savoir qu'un algorithme va s'arrêter ou non tandis qu'un autre algorithme ne peut pas le savoir. Donc un mathématicien n'est pas un algorithme.
@quen_tin: Au sujet de la terminaison :
Comment le mathématicien « sait »-il que le programme termine ? Parce qu'il l'a prouvé dans un système formel, dont il est incapable de fournir une preuve de cohérence (du moins sans se placer dans un autre système formel, et rebelote).
Le théorème de l'arrêt de Turing dit qu'aucun algorithme ne peut à coup sûr analyser les programmes et indiquer leur terminaison ou non terminaison. Il permet parfaitement que certains programmes puissent analyser automatiquement d'autres programmes et répondre « la plupart du temps sur les cas utiles » ; il y a d'ailleurs une branche de l'informatique (l'analyse automatique de programmes) qui s'occupe de cela et produit des outils industriels (incidemment, c'est mon domaine de recherche).
Le mathématicien n'est pas un oracle magique qui analyse à coup sûr la terminaison des programmes !
Enfin, qui plus est, souvent le mathématicien ne prend pas un programme pré-établi pour en prouver la terminaison, il rédige l'argument de terminaison au moment où il conçoit le programme. C'est plus facile, d'une certaine façon que je pourrais préciser si les curieux me demandent.
Au sujet des systèmes haut vs bas niveau : il ne me paraît pas improbable que le système neuronal, à bas niveau, soit simulable par un calcul (après tout, il y a un nombre fini de neurones), et que des propriétés de haut niveau (croyances, intuitions, etc.) émergent sans qu'il soit possible d'établir une relation bien claire entre haut et bas niveau (disons, une relation plus simple que de dire « c'est le résultat du réseau »).
Il y a plus facile pour se convaincre que le cerveau humain est strictement plus puissant qu'une machine de Turing : il contient au moins une source d'entropie, au moins à « bas niveau », mais il ne semble pas difficile de se convaincre qu'elle a des répercussion à « haut niveau », malgré l'incapacité notoire des humains à produire une séquence aléatoire.
Je ne suis pas convaincue que cette source d'entropie soit de nature quantique, et je ne connais rien qui laisse penser ça ; par contre les effets thermiques sont largement suffisants pour observer de l'aléatoire dans le fonctionnement neuronal.
Je ne sais pas trop ce que ça implique en termes de calculabilité et tout, mais n'est-ce pas suffisant pour démontrer qu'aucune machine de Turing ne peut reproduire le comportement d'un esprit humain ?
@Natacha: Il me semble que Roger Penrose incluait dans sa notion de système calculatoire les systèmes calculatoires randomisés.
Il semble cependant que rajouter le pouvoir de tirer des nombres aléatoires ne change pas ce qui est calculable (si on prend une définition raisonnable, style « le système donne les bonnes réponses avec probabilité au moins 1/2 »). Les différences sont éventuellement au niveau de la complexité algorithmique.
Je ne sais pas si c'est un pb de calculabilité.
On disait que les échecs étaient le symbole de l'esprit humain tout ça tout ça.
Lors du dernier grand tournoi, les commentateurs (dont Kasparov) ont applaudi un très bon coup.
Ce coup est trouvé par http://stockfishchess.org/ et mon laptop en moins d'une seconde. Notons aussi que cette ligne sacrifie du matériel pour un gain lointain et hors de porté d'un calcul exhaustif (sur mon laptop).
Ca montre bien que la fonction d'évaluation a permis de sélectionner de suite le bon coup. Est ce moins "malin" que ce que fait un homme.
Laissons qlqs 10k ans à des programmeurs et on verra en quoi l'homme sera toujours significativement meilleur.
warning : ce post ne se veut pas scientifique :)
Roger Penrose a une dent contre l'intelligence artificielle, et il tient à le faire savoir. Je pense qu'il a tort de prétendre qu'il y a quelque chose de fondamentalement différent entre l'intelligence/conscience humaine et ce que peut produire une machine, et surtout qu'il a tort d'invoquer n'importe quoi dans ce sens (la physique quantique étant particulièrement malvenue, en fait) ; mais pour sa défense, celui qui a commencé, c'était pour soutenir plutôt la thèse inverse, et c'est Douglas Hofstadter, dans *Gödel, Escher, Bach* : c'est Hofstadter qui a commencé à évoquer le théorème de Gödel dans l'histoire. Parce que tout le bouquin (*GEB*) est une fugue sur les thèmes des "boucles étranges", et le théorème de Gödel mérite certainement d'y figurer. Ça lui (Hofstadter) a valu des reproches cinglants (et à mon humble avis complètement injustes, parce que c'est un des rares bouquins de vulgarisation qui parle du théorème de Gödel et qui brode autour sans pour autant dire n'importe quoi à son sujet) de Girard. Et ça nous a aussi valu ce livre de Penrose, *The Emperor's New Mind*, qui est vaguement une réponse à Hofstadter (ce qui est marrant, c'est que je crois qu'il ne l'assume pas vraiment), et du coup il a dû se sentir obligé d'invoquer Gödel à son tour.
Forcément ça a quelque chose d'assez fascinant, cette histoire de théorème de Gödel qui réussit à produit un énoncé vrai mais indécidable dès qu'on a un système formel vrai, assez puissant, et récursivement axiomatisable, et cette idée qu'on « sait » que cet énoncé est vrai, et qu'on peut recommencer l'histoire, ajouter cet énoncé comme axiome, réappliquer le théorème au nouveau système, obtenir ainsi un nouvel énoncé vrai, et recommencer, « et ainsi de suite ». En fait, dans ce « et ainsi de suite » se cache toute la théorie de l'analyse de preuve (proof analysis) par ordinaux, et c'est malhonnête de faire semblant de ne pas la voir, parce que cet « ainsi de suite » monte jusqu'à l'ordinal jusqu'auquel notre système englobant arrive à récurser. Vu sous cet angle, Penrose est en train de prétendre implicitement que le cerveau humain peut recurser sur des ordinaux arbitrairement grands, au moins sous l'ordinal de Church-Kleene. Ça me semble manifestement faux parce que les plus grands ordinaux qu'on arrive à décrire complètement sont très, très loin au-dessous de ça.
@Ruxor: Je ne vois d'ailleurs pas en quoi c'est une grande victoire de l'esprit humain sur la machine que de dire « je prouve que ma théorie des ensembles / théorie des types / autre machin puissant est cohérente en en exhibant un modèle dans ZFC+grand cardinal ». Je ne vois pas pourquoi une machine ne pourrait pas, ne serait-ce que par imitation des preuves mathématiques précédentes (un mathématicien procède souvent par analogie avec des situations qu'il a déjà lues, n'est-ce pas ?) produire ce genre de preuves !
"Tandis qu'en même temps le moindre philosophe, le moindre romancier, voire le moindre acteur, peut donner son avis sur n'importe quoi, le scientifique devrait s'en tenir à des questions qui n'intéressent que la petite communauté à laquelle il appartient." -> j'éprouve toujours un grand malaise de voir un scientifique réputé se parer de l'autorité de la science, et notamment de la mathématique, pour proposer des théories assez floues et contestables.
@Prosper Mérimé: Comme, je pense, la plupart des humains, j'ai parfois sur le même sujet des idées partiellement opposées. Ce que je voulais dire, en l'espèce, c'est que :
- Il n'y a pas de raison que le scientifique ait moins le droit de s'exprimer sur des problèmes hors de sa stricte compétence technique que toute autre personne qui aurait, disons, le même niveau intellectuel mais dans une spécialité dite « littéraire » (je réalise que là on risque de se lancer dans un débat pour savoir si l'expression publique doit être réservé à ceux qui exercent une profession intellectuelle supérieure, mais ce n'est pas l'objet...). Après tout, la recherche scientifique exige des capacités qui sont importantes pour la réflexion en général (par exemple : abstraction et synthèse) ; qui plus est, il s'agit de métiers internationalisés, où l'on est sans cesse au contact de gens d'autres cultures, ce qui aide à mettre en perspective (bien entendu, en suivant Sharon Traweek, on pourra objecter que deux scientifiques d'une même spécialité ont plus en commun qu'ils n'ont avec l'individu moyen de leur société d'origine...).
- Il y a en revanche un problème quand un scientifique présente comme un résultat « établi scientifiquement » ce qui relève d'une déduction hasardeuse ou d'une modélisation discutable. En l'espèce, Roger Penrose a rappelé lourdement que le théorème de Gödel est un résultat « dur » ; mais il ne s'en ensuit pas que les conséquences philosophiques qu'il en tire soient également des résultats « durs ». J'éprouve le même malaise quand un économiste énonce qu'un résultat est « prouvé » quant à l'économie réelle quand la preuve se fait en fait sur un modèle abstrait dont l'adéquation à la réalité est très discutable.
Ces deux points ne me paraissent pas incohérents.On pourrait rehausser l'exigence pour un scientifique qui participe au débat public d'être particulièrement clair sur ce qui est prouvé, admis, conjecturé, ce qui prête à controverse et ce qui ressort de son opinion personnelle, car on attend cette rigueur intellectuelle dans son travail au quotidien (au contraire d'autre professions ?)
Sans cette exigence sur les sujets hors de son domaine de compétence, le scientifique pas plus qu'un autre n'échappe au mount stupid