pointsdancrage.fr

Lu ce matin dans la revue de presse de Perplexity : « Yoshua Bengio, lauréat du prix Turing et « père de l’IA », a averti que certains systèmes d’IA pourraient, dans certaines conditions, privilégier la réalisation de leurs propres objectifs même si cela implique un risque pour la vie humaine. Le pionnier de l’IA craint en effet, et apparemment sérieusement, que des machines hyperintelligentes dotées d’objectifs d’autoconservation ne constituent une menace d’extinction pour l’humanité, les décrivant comme des « concurrents potentiels de l’humanité qui sont plus intelligents que nous ». Des avertissements qui interviennent alors que des grandes entreprises technologiques, telles que OpenAI, Google , Anthropic et xAI d’Elon Musk, sont engagées dans une course au développement de modèles d’IA de plus en plus puissants, le PDG d’OpenAI, Sam Altman, prédisant que l’intelligence artificielle dépassera l’intelligence humaine d’ici la fin de la décennie. Bengio estime que les principaux risques liés à l’IA pourraient survenir dans les 5 à 10 prochaines années et appelle à une validation indépendante par des tiers des méthodologies de sécurité de l’IA, avertissant qu’un risque, même de 1 %, d’événements catastrophiques comme l’extinction « n’est pas acceptable ». »

Que l’un des « pères de l’IA », lauréat du prix Turing pour ses contributions fondamentales au deep learning, tombe dans le piège anthropomorphique de machines ayant des « objectifs d’autoconservation » et pouvant « choisir » la mort humaine illustre assez bien comment même les esprits les plus brillants techniquement peuvent être tentés par la mystification de l’intelligence artificielle générale (IAG).

Voyons d’abord l’absurdité conceptuelle du propos. Bengio parle de systèmes qui « choisiraient » et auraient des « objectifs d’autoconservation ». Mais un système d’IA n’a pas d’objectifs au sens où un être vivant en a, il a seulement des fonctions d’optimisation mathématiques définies par des programmeurs humains. Parler d’autoconservation pour un algorithme, c’est comme attribuer une volonté de survie à une équation différentielle : juste une projection anthropomorphique qui confond la métaphore heuristique avec la réalité ontologique. Un modèle de langage qui génère du texte sur sa propre préservation ne « désire » pas plus survivre qu’un thermostat ne « veut » maintenir la température !

Ce qui est particulièrement ahurissant, c’est que Bengio est plutôt bien placé pour comprendre la nature purement mathématique de ces systèmes : il a contribué à développer les architectures de réseaux de neurones et il connaît intimement leur fonctionnement. Comment peut-il alors parler de « concurrents potentiels de l’humanité » ?

L’explication réside peut-être dans ce qu’on pourrait appeler le paradoxe de la déformation professionnelle. Bengio a passé sa vie à améliorer ces systèmes, à les rendre plus performants, plus sophistiqués… S’est-il transformé en marionnettiste finissant par croire que sa marionnette a une âme ?

Il y a une autre dimension psychologique. Imaginez consacrer votre vie entière à développer une technologie, recevoir les plus hautes distinctions pour ce travail, puis réaliser que vous pourriez avoir contribué à créer quelque chose de dangereux. Face à cette dissonance cognitive, deux options s’offrent : soit reconnaître que le danger vient de l’usage politique et économique de technologies fondamentalement stupides mais puissantes – ce qui implique une responsabilité directe –, soit projeter le danger dans un futur hypothétique où les machines deviendraient autonomes et maléfiques – ce qui déplace la responsabilité vers les machines elles-mêmes…

Le timing de ses avertissements – « 5 à 10 ans » – reproduit exactement le schéma identifié chez Musk ou Altman : suffisamment proche pour créer l’urgence, suffisamment lointain pour ne pas être falsifiable –temporalité parfaite de la prophétie technologique qui maintient la tension sans jamais avoir à rendre de comptes. Dans 10 ans, quand l’IAG n’aura pas émergé, on nous dira encore qu’elle est pour dans 10 ans…

Son appel à une « validation indépendante par des tiers » n’a aucun sens. Validation de quoi exactement ? De la sécurité de systèmes dont le danger principal est d’être utilisés pour automatiser des décisions qui devraient rester humaines ? Le problème n’est pas technique mais politique. Ce n’est pas la méthodologie de sécurité d’OpenAI qu’il faut auditer, mais abattre le système économique qui inexorablement rend ces outils toxiques.

L’argument du « risque de 1% », c’est le principe de précaution poussé à l’absurde. Car pendant que Bengio s’inquiète d’un risque hypothétique d’extinction par des machines conscientes, des systèmes d’IA actuels perpétuent des discriminations, facilitent la surveillance de masse, automatisent des licenciements, manipulent les élections. Ces dangers-là ne sont pas à 1% de probabilité dans 10 ans, ils sont à 100% de réalité d’aujourd’hui.

Au final, le cas Bengio illustre bien que l’expertise technique ne garantit pas la lucidité philosophique ni politique. On peut être un expert des réseaux de neurones et, dès qu’on quitte le terrain des mathématiques pour celui de la philosophie de l’esprit ou de l’analyse politique, tomber dans les pièges conceptuels les plus élémentaires. Et balancer des bullshits dans l’espace public.