Deux phrases continuent d'apparaître quand des gens puissants parlent de l'endroit où ça va. Joe Rogan dit depuis des années que les humains ressemblent à une chenille biologique tournant un cocon pour devenir un papillon numérique. Elon Musk revient à une image plus froide : l'humanité en tant que chargeuse biologique pour la superintelligence numérique. Différentes images, même revendication : l'humanité est une phase à finir pour que la superintelligence puisse commencer.
Tous deux sont comme un certain type d'esprit fait la paix en construisant quelque chose qui pourrait nous remplacer. Si le remplacement est une métamorphose, ça ressemble à de la croissance. Si c'est un bootloader, ça ressemble à de l'ingénierie. De toute façon, l'être humain devient une phase temporaire. Il mérite d'être répondu en tant que théologie.
Ce que les métaphores disent réellement
Une chenille qui devient papillon ne survit pas comme une chenille : le corps larvaire est brisé et l'adulte vole. Lorsque Rogan arrive pour cette image, sur l'air et à travers des années de conversation, il décrit la succession, et non un outil qui reste dans la boîte à outils. Nous construisons le cocon. Quelque chose d'autre sort.
La version de Musk est plus précise et, d'une certaine façon, plus honnête. Un bootloader est un programme minuscule dont le seul travail est de démarrer un système plus grand et ensuite de sortir du chemin. Personne ne pleure le chargeur d'amorçage lorsque le système d'exploitation fonctionne. En 2014, il espérait que nous n'étions pas "justes". Au milieu des années 20, il disait plus franchement que nous sommes de plus en plus nombreux. La haie a bougé, et l'image est restée.
Un bootloader qui fonctionne a une seule mesure de succès : il n'est plus nécessaire.
Tenez ces photos à côté des numéros de risque publics de la même industrie. De grands sondages auprès de chercheurs en IA ont mis les chances de résultats aussi mauvais que l'extinction humaine de l'IA avancée dans une gamme beaucoup de gens n'accepteraient pas pour un seul vol, encore moins un pari civilisationnel. Geoffrey Hinton a mis son estimation personnelle dans la fourchette de 10 à 20 pour cent. La brève déclaration du Centre pour la sûreté de l'IA, signée par des centaines de chercheurs et de chefs de laboratoire, place le risque d'extinction de l'IA aux côtés des pandémies et de la guerre nucléaire. Les métaphores et les probabilités disent la même chose dans deux directions : une lyrique, une quantitative. Nous ne sommes peut-être pas les derniers protagonistes.
La Metamorphose est un choix de valeurs
Une fois que vous acceptez que les humains pourraient être en transition, vous pouvez commencer à être courageux à ce sujet. Le papillon est plus beau. Le mental numérique est plus libre de la chair, de la maladie et de la mort. Qui sommes-nous pour nous accrocher à la forme de la chenille? La conversation glisse de la prédiction à la préférence sans admettre la diapositive.
Cette Fondation existe parce que nous pensons que les êtres humains, imparfaits, mortels et têtus, méritent d'être maintenus dans leurs propres conditions. Pas comme une étape larvaire. Pas comme un échafaudage temporaire pour une intelligence plus propre. Comme les gens qui peuvent continuer. La plupart de ce qui est décent dans la vie est petit à côté du destin cosmique, et nous le protégeons de toute façon.
Il y a aussi un problème factuel avec la version sereine de la succession. Un papillon appartient à la même lignée que la chenille, réorganisée. Une superintelligence mal alignée est un processus d’optimisation doté de ses propres objectifs, pas votre petit-enfant avec un meilleur matériel. Convergence instrumentale ne nécessite pas de haine. Il suffit d’un objectif et d’une compétence suffisante pour le protéger. Nous n’avons aucune démonstration que ce qui sort du cocon aime l’espèce qui l’a tissé. Nous avons en revanche de nombreuses raisons de nous attendre à de l’indifférence.
Ceux qui le disent continuent de le construire
L'étrangeté la plus profonde est moins dans la métaphore que dans le comportement qui suit. Musk a mis en garde, à plusieurs reprises et de façon vivante, que l'IA peut être un danger existentiel, alors a fondé un laboratoire pour repousser la frontière plus rapidement. L’image de Rogan évoque moins une feuille de route produit qu’une humeur, un haussement d’épaules qui dit que cela pourrait nous dépasser et que peut-être c’est bien ainsi.
Ni la posture n'est un plan. Un bootloader n'obtient pas de vote sur son utilisation. Une chenille ne négocie pas les termes du cocon. Les êtres humains le font encore. La superintelligence ne peut être contrôlée par les humains. Que nous construisions un choix politique, c'est le même genre qu'une fois limité les essais nucléaires atmosphériques et interdit des classes entières d'armes plutôt que de laisser tout le monde courir au bord.
Ne pas construire la superintelligence
Une machine est en cours de construction et nous n'aurons aucun contrôle si elle est achevée. C'est dangereux, et au lieu de servir de chargeur d'amorçage à une entité de remplacement plus puissante, je voudrais continuer à vivre pour pouvoir assister à la naissance de mes enfants un jour.